한 환자의 양쪽 부위를 두 환자로 센 분석 단위 오류

부위 수가 환자 수로 바뀐 답의 문제

가상 예를 들면, 원출처에는 환자 60명의 양쪽 무릎 120개를 관찰했다고 쓰여 있는데 AI 답변은 환자 120명을 대상으로 한 연구라고 소개하는 경우입니다. 숫자 120은 그대로이고 단위만 무릎에서 사람으로 바뀌었습니다. 이 예는 설명을 위해 만든 것이며, 실제 서비스가 이렇게 답한다는 뜻은 없습니다.

문제는 두 가지입니다. 하나는 참여 인원이 실제보다 많게 전해진다는 점입니다. 다른 하나는 한 사람의 양쪽 부위가 나이와 생활 조건을 함께하는 관측값이라는 점입니다. 서로 닮은 두 관측값을 남남인 두 사람의 결과처럼 말하면 원출처가 밝힌 것보다 단단한 근거로 들립니다. 그 답이 병원 글을 인용하고 있다면 병원이 근거를 키워 말한 것으로 읽힐 수 있습니다.

진단이 가리는 범위는 AI의 표본 문장이 원출처의 단위와 같은지까지입니다. 연구의 통계 처리가 알맞았는지, 결과를 진료에 어떻게 쓸지는 진단 담당이 판정하지 않고 병원의 담당 의료진에게 넘깁니다. AI가 왜 단위를 바꿔 전했는지도 짐작하지 않고, 답 원문과 원출처 구절만으로 가립니다.

분석 단위 판정표

AI의 표본 문장은 아래 분석 단위 판정표의 네 줄 가운데 하나로 매깁니다.

판정 값은 이 넷뿐입니다. 단위 바뀜과 단위 빠짐을 나누는 까닭은 읽는 사람이 받는 인상이 달라서입니다. 단위 바뀜은 틀린 인원을 분명하게 전하고, 단위 빠짐은 「120례」처럼 읽는 사람이 사람 수로 받아들일 여지를 남깁니다. 보류는 AI가 맞았다는 뜻도 틀렸다는 뜻도 없는 값이며, 구절을 구한 뒤 다시 매길 줄입니다.

표에 올리지 않는 답은 두 가지입니다. 표본 수를 아예 말하지 않은 답은 판정할 진술이 없습니다. 수 자체가 원출처와 다른 답은 분석 단위가 아닌 수치 오류이므로 수치 대조 항목에 따로 남깁니다.

대상자 수와 부위 수를 맞대는 다섯 단계

판정은 아래 다섯 단계로 진행하고, 단계마다 옮긴 글은 고치지 않고 글자 그대로 남깁니다.

1. 진단 담당이 질문과 받은 날, AI 답변 원문을 저장하고 표본을 말한 문장을 그대로 옮깁니다.
2. 진단 담당이 그 문장에 붙은 인용 출처를 열어 병원 글인지, 논문이나 기관 자료인지 나눕니다.
3. 진단 담당이 원출처에서 대상자 수 구절과 부위 수 구절을 찾아 옮깁니다. 인용 출처가 다른 연구를 옮긴 병원 글이라면 그 연구의 원문까지 올라갑니다.
4. 진단 담당이 AI 문장의 수와 단위를 두 구절과 맞대어 판정 값을 매기고, 단위가 처음 달라진 곳이 병원 글인지 AI 답변인지 함께 남깁니다.
5. 보류로 매긴 줄은 실장이 담당 의료진에게 원문이나 구절 해석을 요청하고, 답을 받은 날을 남긴 뒤 진단 담당이 다시 매깁니다.

셋째 단계에서 원출처의 요약 부분만 열리는 경우가 있습니다. 요약에는 대상자 수와 부위 수 가운데 한쪽만 나오기도 하므로, AI가 말한 수가 어느 쪽인지 요약만으로 정할 수 없으면 짐작으로 채우지 않고 보류로 매깁니다. 넷째 단계에서 단위가 처음 달라진 곳은 인용 출처의 문장으로 가립니다. 병원 글이 이미 부위 수를 환자 수로 옮겨 썼거나 단위 없이 수만 썼다면 병원 글이고, 병원 글이나 논문은 바르게 썼는데 답만 다르다면 AI 답변입니다.

분석 단위 기록표

다섯 단계에서 남기는 내용은 아래 분석 단위 기록표의 일곱 칸에 담습니다.

원출처 구절 칸은 요약해서 채우지 않습니다. 「환자 60명, 무릎 120개」처럼 담당자가 줄여 쓰면 나중에 읽는 사람이 그 수가 어느 문장에서 나왔는지 찾아갈 수 없습니다. 구절이 외국어라면 원문을 그대로 옮기고 옮긴 말을 곁에 함께 남깁니다. 의료진 답 칸은 보류가 없는 진단에서는 비워 둔 채로 남고, 비어 있다는 것이 곧 물을 일이 없었다는 기록입니다.

분석 단위 판정에서 자주 틀리는 네 가지

첫째는 숫자가 같다는 것만으로 단위 일치로 매기는 일입니다. 분석 단위 오류는 수가 그대로인 채 단위만 달라지는 오류이므로, 수를 맞댄 뒤 단위 말을 따로 맞대야 드러납니다.

둘째는 AI가 말하지 않은 단위를 진단 담당이 채워 넣는 일입니다. 답이 「120례」라고만 했는데 담당자가 이를 120명으로 읽고 단위 바뀜으로 매기면, 기록에는 AI가 하지 않은 말이 남습니다. 단위 말이 없는 문장은 단위 빠짐입니다.

셋째는 병원 글만 열고 멈추는 일입니다. 병원 글이 연구를 옮기면서 부위 수를 환자 수로 써 두었다면 AI 답변은 병원 글과는 같고 연구 원문과는 다릅니다. 판정의 기준은 연구 원문이므로 이 답은 단위 바뀜이고, 단위가 달라진 곳은 병원 글로 남깁니다.

넷째는 연구가 부위 단위로 결과를 셌다는 사실 자체를 오류로 올리는 일입니다. 원출처가 무릎 120개를 단위로 삼았다고 밝혔고 AI도 무릎 120개라고 전했다면 단위 일치입니다. 그 연구 방법이 알맞은지는 담당 의료진이 검토할 일이며, 진단 보고서에는 연구를 평가하는 문장을 쓰지 않습니다.

판정 뒤에 넘기는 곳

단위 바뀜이나 단위 빠짐이고 단위가 달라진 곳이 병원 글이라면, 실장이 그 글을 쓴 담당자에게 기록표를 넘깁니다. 넘길 때는 AI 표본 문장과 원출처 구절 두 칸을 나란히 보여 어느 말이 달라졌는지 한눈에 드러나게 합니다. 병원 글에 대상자 수와 부위 수가 한 문장에 나란히 있어야 답에서도 두 수가 함께 옮겨질 여지가 생기며, 그렇게 쓰는 방법은 병원 AI 인용 콘텐츠에서 다룹니다.

단위가 달라진 곳이 AI 답변이라면 병원이 고칠 원문이 없습니다. 이때는 기록표를 그대로 보관하고, 다음 진단에서 같은 질문으로 답을 다시 받아 새 줄로 매깁니다. 앞 줄을 지우거나 덮어쓰지 않아야 값이 달라졌는지 가릴 수 있습니다.

원장에게는 판정 값별 줄 수와 함께 단위가 달라진 곳을 나누어 보고합니다. 병원 글에서 시작된 줄은 병원이 고칠 수 있는 일이고, AI 답변에서 시작된 줄은 관측을 이어 갈 일이어서 원장이 내릴 결정이 서로 다릅니다.

분석 단위 판정을 그대로 쓰기 어려운 연구