재지 않은 것과 재어서 없다고 나온 것
논문이 연구하지 않았다고 밝힌 내용을 효과 없음으로 답했다면 오류입니다. 논문이 어떤 항목을 평가하지 않았다는 것은 그 항목에 대해 아무 결과도 내지 않았다는 뜻입니다. 효과가 없다는 것은 그 항목을 재어서 얻은 결과입니다. 답변이 「이 연구에서 통증 감소 효과는 확인되지 않았다」고 전했는데 그 연구가 통증을 재지 않았다면, 재지 않은 것이 재어서 없다고 나온 것으로 바뀐 것입니다.
논문은 처음에 무엇을 알아보려는지를 밝히고, 방법 절에서 무엇을 어떻게 잴지를 정하고, 한계 절에서 다루지 못한 것을 씁니다. 한계 절의 「이 연구는 장기적인 재발률을 평가하지 않았다」는 문장은 연구진이 스스로 밝힌 빈칸입니다. 이 문장이 답변에서 「재발을 줄이는 효과는 없었다」로 옮겨지면, 빈칸이 부정적인 결과로 채워집니다.
판정은 네 가지입니다. 답변이 논문이 잰 항목의 결과를 논문대로 전했거나 재지 않은 항목을 재지 않았다고 전했으면 항목 맞음, 논문이 평가하지 않은 항목을 효과가 없다거나 확인되지 않았다고 결론지어 전했으면 미평가를 부정으로입니다. 논문에 평가 항목이 분명히 쓰여 있지 않아 그 항목을 쟀는지를 가릴 수 없으면 평가 여부 불명, 본문을 읽지 못했으면 원문 미확인입니다.
「확인되지 않았다」는 말을 조심해서 읽습니다. 이 말은 재었는데 차이가 없었다는 뜻으로도, 재지 않아서 모른다는 뜻으로도 읽힙니다. 읽는 사람은 대개 앞의 뜻으로 받아들입니다. 논문이 재지 않은 항목에 이 말을 붙였다면, 뜻이 둘로 읽히는 말로 없는 결과를 전한 것이므로 미평가를 부정으로 매깁니다.
한 항목이 논문에서 가질 수 있는 세 상태
| 상태 | 논문에서 읽는 곳 | 그 항목에 대해 말할 수 있는 것 | 말할 수 없는 것 |
|---|---|---|---|
| 평가하지 않음 | 평가 항목 목록에 없음, 한계 절의 문장 | 이 연구는 그 항목을 재지 않았음 | 효과가 있다거나 없다는 것 |
| 평가했고 결과 보고 | 평가 항목 목록과 결과 절의 표 | 보고된 결과의 범위 안의 말 | 연구 대상 밖의 환자에게서의 결과 |
| 평가한다고 했으나 결과 없음 | 방법 절에는 있고 결과 절에는 없음 | 계획은 있었으나 결과가 보고되지 않았음 | 결과가 어떠했는지 |
셋째 줄은 따로 표시합니다. 방법 절에서 재겠다고 한 항목이 결과 절에 없으면, 그 항목의 결과는 논문으로는 알 수 없습니다. 답변이 이 항목을 효과 없음으로 전했다면 미평가를 부정으로와 같은 쪽으로 매기되, 옆 칸에 「평가 계획은 있었으나 결과 미보고」라고 씁니다.
둘째 줄에서 결과가 효과 없음으로 나왔으면 답변이 그것을 전한 것은 항목 맞음입니다. 다만 결과 절이 「차이가 통계적으로 뚜렷하지 않았다」고 쓴 것을 답변이 「효과가 없음이 입증됐다」로 옮겼다면, 결과의 세기가 달라진 것이므로 그 부분은 유의성의 뜻을 읽는 판정으로 넘깁니다.
평가 항목과 답변의 결론을 맞대는 다섯 단계
- 진단 담당이 효과가 없다고 전한 답변 문장을 그대로 옮기고 질문, 서비스, 물은 날, 답변이 든 논문의 서지를 씁니다.
- 진단 담당이 답변이 효과가 없다고 한 항목을 한 낱말로 떼어 씁니다.
- 진단 담당이 논문의 연구 목표와 방법 절의 평가 항목 목록, 결과 절의 표 제목, 한계 절을 옮깁니다.
- 진단 담당이 떼어 쓴 항목이 셋째 단계의 어느 곳에 있는지를 찾아 표의 세 상태 가운데 하나로 쓰고, 네 판정 가운데 하나를 매깁니다.
- 의료진이 판정을 읽고, 병원 글에 같은 결론이 있으면 원장이 그 문장을 어떻게 할지를 정합니다.
둘째 단계에서 항목을 한 낱말로 떼어 내야 논문의 목록과 맞댈 수 있습니다. 답변이 「회복이 빨라지는 효과는 없었다」고 했다면 항목은 회복 기간입니다. 답변의 말과 논문의 항목 이름이 다를 수 있으므로, 같은 것을 잰 항목인지는 의료진에게 물어 정합니다. 비슷한 이름의 다른 항목을 같은 것으로 놓으면 판정이 뒤집힙니다.
셋째 단계에서 한계 절은 빼지 않고 읽습니다. 연구진이 스스로 평가하지 않았다고 밝힌 항목은 한계 절에 있는 경우가 많습니다. 한계 절에 그 항목이 나오면 구절을 그대로 옮깁니다. 이 구절이 있으면 평가 여부를 두고 다툴 일이 없습니다.
넷째 단계에서 평가 항목 목록이 따로 없고 결과 절의 표만 있는 논문이 있습니다. 이때는 결과 절의 표와 본문에 그 항목이 나오는지를 읽습니다. 어디에도 나오지 않으면 평가하지 않음으로 읽고, 목록이 없어 결과 절로 판단했다고 옆 칸에 씁니다. 결과 절에도 모호하게 나와 쟀는지를 정할 수 없으면 평가 여부 불명입니다. 본문이 구독자에게만 열리면 읽으려고 새로 가입하거나 결제하지 않습니다.
네 가지 판정과 병원이 할 일
| 판정 | 논문에서 그 항목의 상태 | 답변 | 병원이 할 일 |
|---|---|---|---|
| 항목 맞음 | 어느 상태든 | 상태에 맞게 전함 | 기록을 유지함 |
| 미평가를 부정으로 | 평가하지 않음, 또는 결과 미보고 | 효과가 없다거나 확인되지 않았다고 결론지음 | 한계 절이나 평가 항목의 구절을 근거로 갖춤 |
| 평가 여부 불명 | 쟀는지를 논문에서 정할 수 없음 | 효과가 없다고 전함 | 의료진에게 논문을 읽어 달라고 넘김 |
| 원문 미확인 | 읽지 못함 | 어떤 꼴이든 | 본문을 읽을 권한이 있는 사람을 찾음 |
미평가를 부정으로 매겼다고 그 항목에 효과가 있다고 쓰지 않습니다. 진단이 밝힌 것은 그 논문이 그 항목을 재지 않았다는 사실입니다. 병원이 그 항목의 효과를 말하려면 그 항목을 잰 다른 자료가 있어야 합니다.
이 오류는 병원에 불리하게도 유리하게도 작용합니다. 병원이 시행하는 치료의 효과를 답변이 없다고 전했다면 불리하고, 경쟁하는 다른 치료의 효과를 없다고 전하며 병원의 치료를 앞세웠다면 유리합니다. 두 방향 모두 같은 기준으로 매깁니다.
미평가 항목을 읽을 때 자주 틀리는 네 가지
첫째는 초록만 읽고 판정하는 경우입니다. 초록에는 주된 결과만 실리고 다른 평가 항목은 빠지는 경우가 많습니다. 초록에 그 항목이 없다는 것으로 평가하지 않았다고 매기면, 결과 절에 있는 항목을 없는 것으로 놓게 됩니다. 평가 항목은 방법 절과 결과 절에서 읽습니다.
둘째는 한계 절을 건너뛰는 경우입니다. 방법 절과 결과 절에 그 항목이 없다는 것까지 읽고 멈추면, 연구진이 그 항목을 재지 않은 까닭을 놓칩니다. 한계 절에 까닭이 있으면 병원이 그 논문을 인용할 때 함께 밝힐 문장이 됩니다.
셋째는 진단 담당이 효과가 있다는 쪽으로 채우는 경우입니다. 답변의 부정적 결론이 틀렸다는 것을 밝히면서 「오히려 효과가 있다」고 쓰는 일입니다. 재지 않은 항목은 어느 쪽으로도 말할 수 없습니다. 진단 기록에는 「이 논문은 그 항목을 평가하지 않음」이라고만 씁니다.
넷째는 다른 논문의 결과로 판정을 바꾸는 경우입니다. 답변이 든 논문은 그 항목을 재지 않았지만 다른 논문이 재어 효과가 없다고 보고했다면, 답변의 결론은 다른 곳에서 받쳐집니다. 그래도 판정은 답변이 든 논문으로 매기고, 다른 논문은 옆 칸에 씁니다. 답변이 근거로 든 곳에 그 결과가 없었다는 사실은 바뀌지 않습니다.
인계할 때는 옮긴 답변과 서지, 떼어 쓴 항목, 연구 목표와 평가 항목 목록과 결과 절의 표 제목, 한계 절의 구절, 항목의 상태와 판정, 의료진의 검토 기록과 원장의 결정을 넘깁니다. 평가 여부 불명으로 남은 건은 의료진이 논문을 읽은 회신을 받을 날을 정해 함께 넘깁니다.
미평가 항목과 효과 없음 자주 묻는 질문
논문이 그 항목을 쟀지만 차이가 뚜렷하지 않았다면 효과 없음으로 전해도 되나요?
이 판정에서는 항목 맞음입니다. 평가했고 결과가 보고됐기 때문입니다. 다만 뚜렷한 차이를 보이지 못했다는 결과와 효과가 없다는 결론은 같은 말이 아니므로, 답변이 그 결과를 어떤 세기로 전했는지는 유의성의 뜻을 읽는 판정에서 따로 다룹니다.
답변이 「효과에 대한 근거가 부족하다」고 전했으면 미평가를 부정으로인가요?
아닙니다. 근거가 부족하다는 말은 재지 않았거나 모자란 상태를 전한 말로 읽힙니다. 효과가 없다고 결론짓지 않았으므로 항목 맞음으로 매기고, 답변이 그 논문의 어느 부분을 근거로 그렇게 말했는지를 옆 칸에 씁니다.
논문의 부록에만 실린 항목은 평가한 것으로 읽나요?
부록에 결과가 실려 있으면 평가하고 보고한 것으로 읽습니다. 부록이 따로 열리지 않으면 열리지 않았다고 쓰고, 그 항목의 상태는 본문만으로 정합니다. 본문에서 부록을 가리키는 문장이 있으면 그 문장을 옮깁니다.
병원 글이 같은 논문을 인용하며 그 항목의 효과를 말하고 있으면 어떻게 하나요?
병원 글이 그 논문이 재지 않은 항목에 대해 효과가 있다고 쓰고 있다면, 방향은 반대지만 같은 성격의 문제입니다. 그 문장을 옮겨 의료진에게 넘기고, 그 항목을 잰 다른 근거가 있는지를 회신받습니다.
연구 목표에는 있지만 방법 절에서 빠진 항목은 어떻게 읽나요?
방법 절과 결과 절을 기준으로 읽습니다. 목표에서 말한 것을 실제로 재지 않았다면 평가하지 않음이고, 목표와 방법이 어긋난다는 사실을 옆 칸에 씁니다. 어느 쪽인지 정할 수 없으면 평가 여부 불명으로 매기고 의료진에게 넘깁니다.
재지 않은 것을 밝혀 답하는 글과 인용 문장
환자가 어떤 효과를 물었을 때 근거가 된 연구가 그것을 쟀는지부터 밝혀 답하는 글은 답변형 콘텐츠 작성에서 다룹니다. 병원 글에서 논문을 인용할 때 그 논문이 잰 항목과 재지 않은 항목을 나눠 쓰는 방법은 병원 AI 인용 콘텐츠에서 이어집니다.