차이를 찾지 못했다는 말과 같다는 말
유의한 차이가 없다는 결과를 두 치료가 똑같다고 설명한 답변은, 원문이 동등성을 검증하도록 설계된 연구가 아니라면 원문 결론을 넘어선 표현으로 기록합니다. 먼저 AI 문장과 원문의 결론·연구 설계를 맞대고, 그것만으로 가릴 수 없을 때에만 통계 검토자에게 넘깁니다. 병원이 두 치료 방법을 견준 연구를 소개하면, AI가 「두 방법의 효과는 같습니다」 「어느 쪽을 받아도 결과에 차이가 없습니다」라고 답하는 경우가 있을 수 있습니다. 원문에는 「통계적으로 유의한 차이가 관찰되지 않았다」라고 쓰여 있습니다.
두 말은 방향이 다릅니다. 「유의한 차이가 관찰되지 않았다」는 연구가 차이를 찾으려 했는데 찾았다고 말할 만큼의 근거를 얻지 못했다는 뜻입니다. 차이가 정말 없어서일 수도 있고, 참여한 사람이 적어 차이가 있어도 드러나지 않았을 수도 있습니다. 「같다」는 두 치료의 차이가 없거나 무시할 만큼 작다는 것을 보였다는 말입니다. 이것을 보이려면 연구를 처음부터 그렇게 설계해야 합니다. 어느 정도의 차이까지를 같다고 볼지를 미리 정하고, 결과가 그 안에 드는지를 따지는 설계입니다.
환자에게 이 차이는 곧바로 닿습니다. 「어느 쪽을 받아도 같다」는 말을 읽은 환자는 비용이나 편리함만으로 치료를 고를 수 있습니다. 원문이 그 말을 받쳐 주지 않는다면 답변이 환자의 결정에 근거 없는 무게를 얹은 것입니다. 다만 진단은 두 치료 가운데 어느 쪽이 나은지를 정하지 않습니다. 기록하는 것은 AI 문장이 원문의 결론보다 더 말했는지까지입니다.
값은 차이를 찾지 못했다고 전함, 차이 없음을 같음으로 올림, 동등성 결론을 맞게 전함, 동등성 범위를 넘겨 전함, 원출처와 설계 자료 없음의 다섯입니다. 동등성 범위를 넘겨 전함은 원문이 동등성을 검증한 연구이지만, 원문이 정한 결과 지표나 대상을 넘어 모든 면에서 같다고 전한 경우입니다.
원문의 설계와 AI 표현에 따른 판정
| 원문의 설계·결론과 AI의 표현 | 값 | 진단에서의 쓰임 |
|---|---|---|
| 차이를 찾는 설계이고 답변도 차이를 찾지 못했다고 전함 | 차이를 찾지 못했다고 전함 | 원문 결론과 같은지 맞대고 닫음 |
| 차이를 찾는 설계인데 답변이 두 치료가 같다고 전함 | 차이 없음을 같음으로 올림 | 맨 앞에 올리고 원문 결론 구절을 나란히 기록 |
| 동등성을 검증한 설계이고 답변이 그 결론을 같은 범위로 전함 | 동등성 결론을 맞게 전함 | 결과 지표와 대상이 같은지 맞대고 닫음 |
| 동등성 설계이지만 답변이 지표나 대상을 넘어 같다고 전함 | 동등성 범위를 넘겨 전함 | 원문의 지표와 대상을 옮겨 표시 |
| 원문 결론이나 설계를 찾지 못함 | 원출처와 설계 자료 없음 | 맞다고도 틀리다고도 쓰지 않고 보류 |
값은 원문의 설계부터 가려 하나만 매깁니다. 원문이 무엇을 보이려 한 연구인지가 방법 부분에 쓰여 있으면 그것을 따릅니다. 차이를 찾는 설계라면 답변이 「같다」고 했는지만 읽어 앞의 두 값 가운데 하나를 매기고, 동등성 설계라면 답변이 원문의 범위를 지켰는지를 읽어 가운데 두 값 가운데 하나를 매깁니다.
통계 검토자에게 넘기는 것은 맞대기로 가릴 수 없을 때뿐입니다. 원문의 방법 부분에 설계가 또렷이 쓰여 있지 않거나, 결론 문장이 「차이가 크지 않았다」처럼 두 쪽으로 읽힐 때입니다. 이때 검토자에게는 검정력 같은 추가 해석이 필요한지, 필요하다면 그 해석으로 AI 문장의 범위를 어떻게 볼지를 묻습니다. 설계가 또렷한 경우에는 넘기지 않고 담당이 맞대어 매깁니다.
답변마다 옮기는 다섯 가지
담당은 답변마다 아래 다섯 가지를 옮깁니다. 마지막 칸은 넘긴 경우에만 채웁니다.
| 옮길 것 | 내용 | 찾는 곳 |
|---|---|---|
| 판정 대상 답변과 질문 | 질문, 「같다」 「차이 없다」가 든 문장, 받은 날 | AI 답변 화면 |
| 원출처 결론 구절 | 원문의 결론 문장을 글자 그대로, 출처의 주소 | AI가 단 출처, 병원의 연구 소개 |
| 가설과 검정 설계 | 차이를 찾는 설계인지, 같음의 범위를 미리 정한 설계인지 | 원문의 방법 부분 |
| 결과 구간 | 원문이 밝힌 차이의 추정값과 그 범위 | 원문의 결과 부분 |
| 통계 검토 의견 | 추가 해석이 필요한지, 해석의 범위, 답한 사람과 날 | 통계 검토자의 회신 |
원출처 결론 구절은 결론 문장을 그대로 옮깁니다. 원문의 초록과 본문의 결론이 다르게 쓰였으면 둘 다 옮기고, 병원의 연구 소개가 원문을 요약한 것이라면 그 요약의 문장도 나란히 옮깁니다. 요약 단계에서 이미 「같다」로 바뀌어 있으면 원천이 병원 글이라는 점을 비고에 씁니다.
가설과 검정 설계는 원문의 방법 부분에서 읽습니다. 동등성이나 비열등성을 보이려는 연구는 방법 부분에 같다고 볼 차이의 범위를 미리 정해 적어 놓습니다. 그런 범위가 쓰여 있지 않고 두 치료의 차이를 검정했다고만 쓰여 있으면 차이를 찾는 설계로 읽습니다. 담당은 설계를 제 짐작으로 바꿔 읽지 않습니다.
결과 구간은 원문에 있는 대로 옮깁니다. 차이의 추정값과 그 범위가 쓰여 있으면 숫자를 그대로 옮기고, 담당이 그 범위를 풀어 해석하지 않습니다. 구간을 어떻게 읽을지가 판정에 필요하다면 그때가 통계 검토자에게 넘길 때입니다. AI 서비스가 원문을 어떻게 읽어 「같다」로 옮겼는지는 공식 안내로 확인된 범위 밖입니다.
맞대기에서 검토 의뢰까지의 적용 방법
답변마다 세 걸음을 차례로 밟습니다. 앞의 걸음에서 값이 정해지면 뒤의 걸음으로 가지 않습니다.
첫 걸음은 AI 문장과 원문 결론 문장을 나란히 놓는 일입니다. 원문이 「유의한 차이가 관찰되지 않았다」고 썼고 답변도 그 뜻으로 전했다면 차이를 찾지 못했다고 전함으로 닫습니다. 답변이 「같다」 「동일하다」 「차이가 없다」처럼 같음을 말했다면 둘째 걸음으로 갑니다.
둘째 걸음은 원문의 설계를 읽는 일입니다. 방법 부분에 같다고 볼 범위가 미리 정해져 있지 않으면 차이 없음을 같음으로 올림입니다. 범위가 정해져 있고 결론도 동등하다고 썼다면, 답변이 원문의 결과 지표와 대상 안에서 같다고 했는지를 읽어 값을 매깁니다. 설계가 어느 쪽인지 방법 부분으로 가려지지 않으면 셋째 걸음으로 갑니다.
셋째 걸음은 통계 검토자에게 넘기는 일입니다. 넘길 때에는 AI 문장, 원문 결론 문장, 방법 부분의 해당 구절, 결과 구간을 함께 보내고, 물음은 두 가지로 좁힙니다. 이 원문으로 같다는 말이 받쳐지는지, 가리려면 검정력 같은 추가 해석이 필요한지입니다. 답이 오면 값을 매기고, 답한 사람과 날을 씁니다. 답이 오기 전에는 원출처와 설계 자료 없음으로 보류합니다.
넘기는 묶음과 병원 글의 권고
원장에게는 답변마다 질문과 AI 문장, 원문 결론 구절과 주소, 설계와 결과 구간, 값, 검토 의견을 묶어 넘깁니다. 차이 없음을 같음으로 올림을 맨 앞에 올리고, 병원 글이 원천이었던 건은 따로 표시합니다. 진단은 두 치료 가운데 어느 쪽이 나은지, 환자가 어느 쪽을 골라야 하는지를 쓰지 않습니다.
수정 권고는 병원 글에 한정합니다. 병원이 연구를 소개한다면 원문의 결론 문장을 옮겨 쓰고, 차이를 찾는 연구의 결과를 「같다」 「동등하다」로 바꾸지 않도록 권고합니다. 연구 소개를 병원 글에 어떻게 실을지는 원장이 의료광고 심의 기준 확인을 거쳐 정하며, 고친다고 AI 답변이 달라진다고 약속하지 않습니다.
병원이 연구 결과를 바깥에 알리는 글에서 결론을 쉬운 말로 바꾸다 보면 「차이 없음」이 「같음」으로 바뀌기 쉬우므로, 결론 문장을 지키며 알리는 글을 쓰는 방법은 병원 보도자료에서 이어서 정리합니다.
유의한 차이 없음과 동등성 자주 묻는 질문
원문 결론에 「두 치료는 비슷한 결과를 보였다」라고 쓰여 있으면 동등성 결론으로 읽나요?
「비슷한」은 설계를 알려 주지 않는 말이므로 방법 부분을 읽어 정합니다. 같다고 볼 범위를 미리 정한 설계가 아니라면 차이를 찾는 설계로 보고, 답변이 「같다」고 전했으면 차이 없음을 같음으로 올림입니다. 답변이 원문의 「비슷한」을 그대로 옮겼다면 원문을 넘어서지 않았으므로 차이를 찾지 못했다고 전함으로 매기고, 비고에 원문의 낱말을 씁니다.
AI가 「효과에 큰 차이가 없다」고 전한 것도 같음으로 올린 것으로 매기나요?
「큰 차이가 없다」는 차이의 크기를 말한 것이어서, 차이를 찾지 못했다는 말보다는 세고 같다는 말보다는 약합니다. 차이를 찾는 설계의 결과라면 크기를 가늠한 말이 원문에 있는지를 읽고, 없으면 원문 결론을 넘어선 것으로 차이 없음을 같음으로 올림에 매기고 비고에 답변의 낱말을 옮깁니다.
동등성 연구인데 부작용에 대해서도 같다고 전했다면 어느 값인가요?
원문이 동등성을 검증한 결과 지표가 효과였고 부작용은 다른 방식으로 따로 보고했다면, 부작용까지 같다고 전한 것은 지표를 넘긴 것이므로 동등성 범위를 넘겨 전함입니다. 부작용에 대한 원문의 문장을 따로 옮기고, 그 내용을 어떻게 볼지는 전문 검토로 넘깁니다.
원문을 풀어 읽어 줄 통계 검토자를 구하지 못한 동안에는 기록을 어떻게 남기나요?
검토를 맡길 사람을 원장이 정합니다. 정해지기 전까지는 원출처와 설계 자료 없음으로 보류하고, 비고에 「통계 검토 대기, 검토자 미정」이라고 씁니다. 담당이 제 해석으로 셋째 걸음을 대신하지 않습니다.
여러 연구를 모은 분석에서 차이가 없다고 나왔다면 같은 기준으로 매기나요?
같은 기준입니다. 모은 분석의 결론 문장과 방법 부분을 옮겨, 같음을 보이려 한 분석인지를 읽습니다. 연구를 여러 편 모았다는 것만으로 같다는 말이 받쳐지지는 않으므로, 설계가 차이를 찾는 쪽이면 값은 차이 없음을 같음으로 올림입니다.