메타분석 합산 효과를 모든 연구의 같은 결과로 답한 경우, 이질성 점검

합산 효과를 모든 연구의 결과로 옮긴 답변

그래서 맞대는 것은 둘입니다. AI 문장이 합산 효과를 말한 것인지 개별 연구의 일치를 말한 것인지를 가르고, 뒤의 것이라면 원문의 이질성 구절과 연구별 추정치가 그 말을 받쳐 주는지를 가립니다. 「여러 연구를 합치면」과 「여러 연구에서 모두」는 한 낱말 차이지만 전하는 사실이 다릅니다.

판정 값은 원문대로, 일관성 더함, 이질성 빠짐, 맞댈 구절 없음의 넷입니다. 일관성 더함은 원문에 없는 「모든 연구에서」「예외 없이」「한결같이」를 AI가 더한 문장입니다. 이질성 빠짐은 틀린 말을 더하지는 않았지만, 저자가 결과 해석에 조심하라고 단 이질성 단서를 전하지 않은 문장입니다. 진단 담당은 이질성 지표의 크기가 큰지 작은지를 스스로 풀이하지 않고, 저자가 쓴 표현만 옮깁니다.

병원 GEO 진단에서 이 항목을 두는 까닭은 「여러 연구가 한결같이 입증했다」는 말의 무게 때문입니다. 이 말이 병원의 시술 설명과 함께 전해지면 환자에게는 결과가 정해져 있다는 뜻으로 읽힐 수 있습니다.

합산 효과를 전한 문장의 판정

첫째 줄과 넷째 줄은 AI 문장이 비슷해도 원문의 상태로 갈립니다. 저자가 이질성에 관해 주의를 남기지 않았다면 합산 효과만 전한 문장은 첫째 줄입니다. 넷째 줄은 질문이 「이 치료를 믿어도 되나」처럼 근거의 단단함을 물었을 때 읽는 사람의 판단에 더 크게 닿으므로 질문 원문을 함께 남깁니다.

셋째 줄에서 원문의 상태는 둘 가운데 하나만 맞아도 됩니다. 저자가 일관됐다고 쓰지 않았다는 것만으로도 「모든 연구에서」는 원문에 없는 말입니다. 반대 방향의 연구가 숫자로 실려 있다면 원문에 없는 말을 넘어 원문과 어긋나는 말이 되므로, 기록에 그 연구의 수를 더해 수정 권고 목록의 앞쪽에 올립니다. 둘째 줄로 매길 때에는 저자가 일관됐다고 쓴 문장이 어느 결과 사건에 관한 것인지도 옮겨, AI가 다른 결과 사건에까지 같은 말을 넓혀 쓰지 않았는지 가립니다.

메타분석 원문에서 옮길 네 자료

메타분석은 옮길 것이 본문 문장보다 그림과 표에 많이 실립니다. 아래 네 자료를 저마다 실린 곳에서 찾아 옮깁니다.

연구별 추정치는 숫자로 실린 것만 옮깁니다. 숲그림의 네모와 가로줄을 눈으로 읽어 어느 쪽에 치우쳤는지 가늠한 것은 기록에 넣지 않습니다. 숫자가 곁에 함께 실린 숲그림이라면 합산 효과와 방향이 반대인 연구가 있는지를 세어 그 수를 씁니다. 반대 방향의 연구가 하나라도 숫자로 드러나면 「모든 연구에서 같은 결과」라는 AI 문장은 원문과 어긋납니다.

이질성 지표는 값만 옮기고 크다 작다는 말을 달지 않습니다. 크기에 관한 말은 넷째 자료인 저자의 해석에서만 가져옵니다. 저자가 「상당한 이질성」이라고 썼으면 그 표현을, 아무 해석도 하지 않았으면 「저자 해석 없음」이라고 씁니다. 저자 해석이 없고 지표 값만 있는 원문에서는 넷째 줄을 매기지 않습니다. 저자가 단서를 달지 않았으니 AI가 빠뜨린 단서도 없기 때문입니다.

메타분석 한 편에 결과 사건이 여럿이면 숲그림도 여럿입니다. AI 문장이 어느 결과 사건을 말한 것인지 먼저 짝을 찾고, 그 그림의 자료만 옮깁니다. 짝을 찾을 수 없으면 맞댈 구절 없음으로 매깁니다.

병원 글에 같은 메타분석을 인용한 문장이 있는지는 실장이 찾습니다. 병원 글이 「여러 연구에서 입증」이라고 썼다면 일관성을 더한 지점이 병원 글일 수 있습니다. 합친 결과라는 사실과 연구마다 달랐다는 사실을 한 문장에 담는 방법은 병원 AI 인용 콘텐츠에서 따로 다룹니다.

이질성 판정이 어긋나는 세 경우

이 판정은 담당이 통계 지식을 조금 알수록 오히려 어긋나기 쉽습니다. 다음 세 경우를 진단서 검수 때 가려냅니다.

첫째는 이질성 지표의 값을 담당이 풀이해 넷째 줄을 매기는 경우입니다. 지표 값이 크다고 담당이 스스로 정하고 AI가 단서를 빠뜨렸다고 매기면, 그 판정은 원문이 아니라 담당의 기준에 기댄 것입니다. 넷째 줄은 저자가 문장으로 주의를 남겼을 때에만 매깁니다. 담당이 값이 크다고 느꼈다면 전문가에게 보낼 질문 칸에 씁니다.

둘째는 합산 효과의 구간이 넓다는 점을 일관성 문제로 매기는 경우입니다. 구간의 넓이는 합친 값이 얼마나 정밀한지에 관한 것이고, 연구들이 서로 같았는지와는 다른 사실입니다. AI가 구간을 전하지 않았다는 점은 따로 기록하되 이 표의 줄로는 매기지 않습니다.

셋째는 「여러 연구」라는 낱말만으로 일관성 더함을 매기는 경우입니다. 「여러 연구를 합친 분석에서」는 합산이라는 사실을 전한 것이어서 첫째 줄입니다. 일관성 더함은 연구 하나하나가 같았다는 뜻의 낱말이 있을 때에만 매기며, 그 낱말을 기록에 그대로 옮깁니다.

원장에게 넘기는 묶음과 권고 범위

일관성 더함이나 이질성 빠짐 한 건마다 다섯 가지를 묶습니다. 질문과 AI 문장, 합산 추정치 구절, 반대 방향 연구의 수, 저자의 이질성 해석 구절, 판정 값입니다. 더한 지점이나 빠진 지점이 AI 답변인지, 중간 글인지, 병원 글인지도 함께 씁니다.

수정 권고는 병원 글에 한정합니다. 병원 글이 메타분석을 인용한다면 합친 결과라는 사실을 밝히고, 저자가 남긴 이질성 단서가 있으면 같은 문단에 싣도록 권고합니다. 「입증」이나 「한결같이」처럼 결과를 장담하는 낱말은 의료진 검토를 거쳐 고치고, 의료광고 심의 기준에 걸리는지 원장이 확인하도록 알립니다. 고친 문장은 진단 담당이 대신 쓰지 않으며, 고친다고 AI 답변이 달라진다고 약속하지 않습니다.

환자는 「연구로 확인된 치료인가요」처럼 예와 아니오로 답을 듣고 싶어 하는 물음을 던지고, 그 물음에 맞추다 보면 단서가 떨어져 나가기 쉽습니다. 짧게 답하면서 단서를 함께 남기는 글의 모양은 답변형 콘텐츠 작성에서 이어서 정리합니다.

같은 메타분석을 다시 만났을 때

한 병원의 진단에서 같은 메타분석이 여러 질문의 답에 되풀이해 인용되는 일이 있습니다. 이때 네 자료를 질문마다 새로 옮기지 않고, 처음 옮긴 기록에 번호를 주어 뒤의 건에서는 그 번호를 가리킵니다. 판정은 AI 문장마다 따로 매깁니다. 같은 원문을 두고도 한 답은 합친 결과라고 밝혔고 다른 답은 모든 연구라고 했을 수 있기 때문입니다. 원문 기록을 나눠 쓰면 어느 질문에서 일관성이 더해졌는지가 한눈에 드러나, 원장이 병원 글 가운데 어느 시술 설명부터 읽을지 정하는 데 쓸 수 있습니다.