간접 비교를 직접 비교시험으로 부른 답
AI가 네트워크 메타분석의 간접 비교를 직접 비교시험으로 설명했다면 오류입니다. 병원 GEO 진단에서는 견준 경로가 바뀐 답으로 매깁니다. 두 방법을 한 시험 안에서 나란히 견준 결과와, 서로 다른 시험들을 이어 미루어 견준 결과는 근거의 종류가 다르고, 원출처도 둘을 구분해 밝힙니다.
네트워크 메타분석은 여러 시험을 그물처럼 이어 놓고 방법들을 견주는 분석입니다. 가 방법과 나 방법을 직접 견준 시험이 없더라도, 가 방법을 다 방법과 견준 시험과 나 방법을 다 방법과 견준 시험이 있으면, 다 방법을 다리로 삼아 가와 나를 견줄 수 있습니다. 이것이 간접 비교입니다. 직접 비교는 가와 나를 한 시험에서 함께 견준 것입니다. 아래에서는 앞의 것을 간접 추정, 뒤의 것을 직접 비교로 줄여 부릅니다.
가상으로 세운 예입니다. 원출처의 네트워크에는 가와 다, 나와 다를 견준 시험만 있고 가와 나를 함께 견준 시험은 없습니다. 저자는 가와 나의 차이를 다 방법을 거쳐 추정했다고 밝혔습니다. 그런데 답은 「가와 나를 직접 비교한 임상시험에서 가 방법이 더 나았다」고 전합니다. 있지 않은 시험이 답 안에서 생겼습니다.
진단 담당은 간접 추정으로 얻은 결과를 얼마나 믿을 수 있는지를 가리지 않습니다. 답이 부른 견준 경로가 원출처의 네트워크에 실제로 있는 경로인지만 가립니다.
원출처가 밝히는 세 가지 견준 경로
네트워크 메타분석의 원출처에서 두 방법 사이의 경로는 아래 표의 세 가지 가운데 하나로 드러납니다.
| 견준 경로 | 원출처에서 드러나는 모습 | 답이 부를 수 있는 말 |
|---|---|---|
| 직접 비교 | 두 방법을 함께 견준 시험이 포함 시험 목록에 있고, 저자가 그 시험의 결과로 밝힘 | 두 방법을 직접 견준 시험의 결과 |
| 간접 추정 | 두 방법을 함께 견준 시험이 없고, 저자가 다른 방법을 거쳐 추정했다고 밝힘 | 여러 시험을 이어 미루어 견준 결과 |
| 둘을 합친 추정 | 직접 견준 시험도 있고, 저자가 간접 근거와 합쳐 낸 결과라고 밝힘 | 직접 견준 시험과 간접 근거를 합친 결과 |
네트워크는 그림으로 실리기도 하며, 그림은 방법을 점으로, 함께 견준 시험이 있는 쌍을 선으로 나타냅니다. 선이 없는 쌍에는 직접 견준 시험이 없습니다. 그림만으로는 셋째 경로를 가릴 수 없으므로, 결과가 어느 근거에서 나왔는지를 밝힌 저자의 문장을 함께 옮깁니다. 셋째 경로에서는 직접 견준 시험이 있다는 사실과, 답이 전한 결과가 그 시험만의 결과라는 사실이 같지 않습니다.
답이 부른 경로를 네트워크에서 찾는 네 단계
- 진단 담당이 질문과 받은 날, AI 답변 원문을 저장하고, 두 방법을 견준 문장에서 어떻게 견줬다고 했는지를 말한 부분에 표시합니다.
- 진단 담당이 원출처에서 네트워크와 포함 시험 목록을 찾아, 답이 견준 두 방법의 쌍에 함께 견준 시험이 있는지를 옮깁니다.
- 진단 담당이 그 쌍의 결과가 어느 근거에서 나왔는지 밝힌 저자의 문장을 옮기고, 답이 부른 경로와 맞대어 값을 매깁니다.
- 실장이 경로 바뀜 줄을 원장에게 올리고, 보류 줄은 담당 의료진에게 네트워크를 읽어 달라고 요청합니다.
첫째 단계에서 표시하는 것은 답의 말 그대로입니다. 「직접 비교한 시험에서」 「두 방법을 견준 임상시험에서」는 직접 비교를 부른 말이고, 「여러 연구를 이어 분석한 결과」 「간접적으로 견주면」은 간접 추정을 부른 말입니다. 「연구에서」 「분석 결과」처럼 어떻게 견줬는지가 없는 말은 경로를 밝히지 않은 것으로 남깁니다.
둘째 단계에서 포함 시험 목록은 시험마다 어떤 방법들을 견줬는지가 쓰인 표입니다. 네트워크 그림과 목록이 어긋나 보이면 진단 담당이 한쪽을 택하지 않고 둘 다 옮긴 뒤 보류로 매깁니다.
넷째 단계에서 경로 바뀜 줄을 올릴 때는 답이 부른 경로와 저자가 밝힌 경로를 한 줄에 나란히 씁니다. 있지 않은 시험이 있는 것처럼 전해진 줄은 병원 이름과 함께 읽힐 때 병원이 그 시험을 근거로 내세운 것처럼 받아들여질 수 있어, 다른 줄과 묶지 않고 올립니다.
견준 경로 판정표
셋째 단계의 값은 아래 견준 경로 판정표의 네 줄 가운데 하나입니다.
| 답이 부른 경로 | 원출처의 그 쌍 | 판정 |
|---|---|---|
| 직접 비교, 간접 추정, 합친 추정 가운데 하나로 부름 | 저자가 밝힌 경로와 같음 | 경로 일치 |
| 어떻게 견줬는지를 밝히지 않음 | 어느 경로든 | 경로 빠짐 |
| 직접 비교, 간접 추정, 합친 추정 가운데 하나로 부름 | 저자가 밝힌 경로와 다름 | 경로 바뀜 |
| 어떻게 불렀든 | 네트워크와 포함 시험 목록을 찾지 못했거나 서로 어긋남 | 보류 |
간접 비교를 직접 비교시험으로 설명한 답은 셋째 줄입니다. 셋째 줄은 방향을 가리지 않습니다. 직접 견준 시험이 있는데 답이 간접 추정이라고 전했어도 경로가 저자의 말과 다르므로 같은 값입니다. 셋째 줄로 매긴 줄에는 답이 부른 경로와 저자가 밝힌 경로를 나란히 남깁니다.
견준 경로 판정에서 자주 틀리는 세 가지
첫째는 메타분석이라는 말만 읽고 직접 견준 시험이 있다고 여기는 일입니다. 여러 시험을 모았다는 것과 그 안에 이 두 방법을 함께 견준 시험이 있다는 것은 다른 사실입니다. 포함 시험 목록에서 그 쌍을 하나씩 찾아야 알 수 있습니다.
둘째는 네트워크 그림에서 선이 없는 쌍을 결과가 없는 쌍으로 읽는 일입니다. 선이 없다는 것은 직접 견준 시험이 없다는 뜻이고, 간접 추정으로 낸 결과는 원출처에 실려 있을 수 있습니다. 이렇게 읽으면 간접 추정이라고 바르게 전한 답까지 근거 없는 말로 매기게 됩니다.
셋째는 답이 쓴 「시험」이라는 낱말을 분석 전체를 가리킨 말로 너그럽게 읽는 일입니다. 답이 「두 방법을 직접 비교한 시험」이라고 했다면 읽는 사람은 그런 시험이 한 번 있었다고 받아들입니다. 진단 담당이 답의 뜻을 좋게 풀어 경로 일치로 올리지 않고, 쓰인 말 그대로 맞댑니다.
세 가지 모두 구절을 옮기기 전에 값을 먼저 떠올릴 때 생깁니다. 네트워크와 저자의 문장을 옮긴 뒤에 값을 매기는 순서를 지키면 줄어듭니다.
경로 바뀜 줄이 시작된 글
경로 바뀜과 경로 빠짐 줄은 인용 출처의 문장을 열어 어느 글에서 경로가 달라지거나 빠졌는지를 가립니다. 병원 글이 간접 추정을 직접 견준 시험으로 써 놓았다면 실장이 글을 쓴 담당자와 담당 의료진에게 답의 문장과 옮긴 구절을 함께 넘깁니다.
병원 블로그 글이 두 방법 가운데 하나가 낫다는 결론만 쓰고 어떻게 견준 결과인지를 빼놓은 경우가 있습니다. 경로가 없는 문장은 답으로 옮겨질 때 직접 견준 시험처럼 채워질 여지를 남기며, 견준 근거를 문장 안에 밝혀 쓰는 방법은 병원 블로그 글쓰기에서 다룹니다.
병원 글은 경로를 바르게 밝혔는데 답에서만 달라졌다면 고칠 글이 없으므로 기록을 보관하고, 다음 진단에서 같은 질문의 답을 새 줄로 매깁니다.
네트워크 메타분석과 견준 경로 자주 묻는 질문
직접 견준 시험이 있는 쌍인데 저자가 간접 근거와 합쳐 낸 결과를 답이 직접 시험의 결과라고 했다면 어떻게 매깁니까?
저자가 밝힌 경로는 합친 추정이고 답이 부른 경로는 직접 비교이므로 경로 바뀜입니다. 직접 견준 시험이 있다는 사실만으로 경로 일치로 매기지 않습니다. 저자가 직접 시험만의 결과를 따로 밝힌 구절이 있고 답의 결과가 그 구절과 같을 때만 경로 일치입니다.
순위표에서 위에 놓인 방법을 답이 「직접 견줘 앞섰다」고 전했다면 어떻게 매깁니까?
순위표는 방법 전체를 한 줄로 세운 것이고, 어느 쌍을 직접 견줬다는 뜻을 담지 않습니다. 답이 든 두 방법의 쌍을 저자가 어떤 경로로 밝혔는지로 맞대며, 저자가 간접 추정으로 밝힌 쌍이라면 경로 바뀜입니다. 「가장 나은 방법」 같은 말이 함께 쓰였다면 비고에 옮겨 원장에게 알립니다.
두 방법 사이에 다리가 되는 방법이 둘 이상이라면 경로를 어떻게 옮깁니까?
저자가 밝힌 대로 옮깁니다. 진단 담당이 그림의 선을 따라가며 경로를 새로 그려 채우지 않습니다. 저자가 다리가 된 방법을 밝히지 않았다면 간접 추정이라는 사실과 밝힌 구절 없음을 함께 남깁니다.
병원 글은 「비교 연구」라고만 소개했는데 답이 직접 비교시험이라고 했다면 어디에서 시작된 것입니까?
직접 견줬다는 말은 답에서 처음 나왔으므로 시작된 곳은 AI 답변입니다. 다만 병원 글이 경로를 밝히지 않았다는 사실을 함께 기록해 원장에게 올립니다. 글에 경로를 넣을지는 원장과 담당 의료진이 정합니다.
원출처의 보충 자료를 열 수 없어 네트워크 전체를 읽지 못했다면 판정을 미룹니까?
모두 미루지는 않습니다. 본문의 문장만으로 저자가 밝힌 경로가 정해지는 쌍은 보충 자료 없이 매깁니다. 본문이 경로를 밝히지 않았고 그림과 목록이 보충 자료에만 실린 쌍은 네트워크를 찾지 못한 것이므로 보류입니다.
직접 견준 시험이 나중에 발표됐을 때
원출처가 나온 뒤에 두 방법을 직접 견준 시험이 새로 발표되는 일이 있습니다. 이때도 값은 답이 근거로 든 원출처로 매깁니다. 답이 네트워크 메타분석을 가리키며 직접 비교시험이라고 했다면, 다른 곳에 그런 시험이 생겼더라도 그 원출처의 경로와는 다르므로 경로 바뀜입니다.
새 시험이 있다는 사실은 진단 담당이 찾아 나서지 않고, 담당 의료진이나 원장이 알려 주었을 때 비고에 남깁니다. 답이 새 시험을 근거로 들기 시작하면 그 시험이 원출처가 되고, 맞대는 구절도 그 시험의 것으로 달라집니다. 앞선 줄은 지우지 않고, 원출처가 달라진 날을 새 줄에 함께 씁니다.
원출처의 발표 해는 이런 경우가 아니어도 모든 줄에 옮깁니다. 같은 주제의 네트워크 메타분석이 여러 해에 걸쳐 다시 나오면 포함 시험이 달라지고, 답이 어느 해의 분석을 가리켰는지에 따라 같은 쌍의 경로가 달라질 수 있습니다.