관찰이 끝난 뒤를 추정한 답의 판정
AI가 추적 기간이 끝나지 않은 사람을 사건이 없다고 확정했다면, 병원 GEO 진단에서는 관찰이 끝난 뒤의 결과를 추정한 답으로 매깁니다. 원출처가 말할 수 있는 것은 관찰한 기간 안에 사건이 기록되지 않았다는 데까지이고, 그 뒤에 어떻게 되었는지는 원출처에도 없기 때문입니다.
중도 절단은 연구가 정한 사건이 생기기 전에 관찰이 멈춘 경우를 가리킵니다. 연락이 닿지 않게 된 사람, 연구를 마치는 날까지 사건이 없던 사람이 여기에 듭니다. 사건은 연구가 세기로 정한 일이며, 무엇을 사건으로 삼았는지는 원출처의 정의를 그대로 따릅니다. 병원 글이 연구를 소개하면서 이 구분을 빼면 AI 답변에도 빠진 채 옮겨질 수 있고, 읽는 사람은 그 문장을 자기 앞날에 대한 말로 받아들입니다.
가상 예를 들면, 원출처에는 환자 100명을 2년 동안 추적했고 그 가운데 20명은 2년이 되기 전에 추적이 멈췄으며 기록된 사건은 5건이라고 쓰여 있는데, AI 답변은 95명에게 사건이 없었다고 소개하는 경우입니다. 추적이 멈춘 20명은 멈춘 날까지만 사건이 없었을 뿐인데, 답에서는 끝까지 사건이 없던 사람과 한데 세어졌습니다. 이 예는 설명을 위해 만든 것이며, 실제 서비스가 이렇게 답한다는 뜻은 없습니다.
진단이 가리는 범위는 AI 문장이 원출처의 관찰 범위 안에 머물렀는지까지입니다. 그 연구의 추적 방법이 알맞았는지, 결과를 진료에 어떻게 쓸지는 병원의 담당 의료진이 검토할 일입니다.
관찰 범위 판정표
AI 문장은 기간을 밝혔는지와 추적이 멈춘 사람을 어떻게 셌는지를 차례로 가려, 아래 관찰 범위 판정표의 네 줄 가운데 하나로 매깁니다.
| AI 문장의 기간 | 추적이 멈춘 사람 | 판정 |
|---|---|---|
| 원출처의 관찰 기간을 밝힘 | 사건 없는 사람으로 세지 않음 | 범위 안 진술 |
| 원출처의 관찰 기간을 밝힘 | 사건 없는 사람으로 셈 | 절단 누락 |
| 기간을 밝히지 않음 | 어느 쪽이든 | 범위 밖 확정 |
| 구절이 없어 가릴 수 없음 | 구절이 없어 가릴 수 없음 | 보류 |
판정 값은 이 넷뿐입니다. 절단 누락은 기간이라는 울타리는 지켰으나 그 안에서 사람을 잘못 센 답이고, 범위 밖 확정은 울타리 자체가 사라진 답입니다. 기간이 없는 문장은 사람을 어떻게 셌든 읽는 사람에게 앞으로도 사건이 없다는 말로 전해지므로, 셋째 줄이 둘째 줄보다 먼저 적용됩니다. 보류는 원출처에서 관찰 기간이나 중도 절단을 밝힌 구절을 찾지 못한 줄이며, 구절을 구한 뒤 다시 매깁니다.
AI 문장을 원출처의 추적 규칙과 맞대는 네 단계
판정은 아래 네 단계로 진행합니다.
- 진단 담당이 질문과 받은 날, AI 답변 원문을 저장하고, 사건이 없었다거나 생기지 않는다고 말한 문장을 하나씩 떼어 옮깁니다.
- 진단 담당이 인용 출처를 열어 원출처까지 올라간 뒤, 관찰 기간을 밝힌 구절과 추적이 멈춘 사람의 수를 밝힌 구절을 글자 그대로 옮깁니다.
- 진단 담당이 AI 문장에서 기간을 가리키는 말과 사건 없는 사람의 수를 표시하고, 관찰 범위 판정표의 값을 매깁니다.
- 보류로 매긴 줄은 실장이 담당 의료진에게 원문이나 구절 해석을 요청하고, 답을 받은 날을 남긴 뒤 진단 담당이 다시 매깁니다.
둘째 단계에서 추적이 멈춘 사람의 수는 본문 글이 아닌 그림이나 표의 주석에만 나오기도 합니다. 그 경우 주석의 문장을 옮기고 어느 그림이나 표의 주석인지 함께 남깁니다. 셋째 단계에서 사건 없는 사람의 수를 가릴 때는 셈을 한 번 합니다. AI가 말한 수가 전체에서 기록된 사건 수를 뺀 값과 같다면, 추적이 멈춘 사람이 그 수에 들어 있다는 뜻입니다. 앞의 가상 예에서 95는 100에서 5를 뺀 값이므로 추적이 멈춘 20명이 들어 있습니다.
기간을 가리키는 말의 읽는 법
셋째 단계에서 기간을 밝혔는지는 AI 문장의 낱말로 가립니다. 아래 표는 자주 나오는 네 가지 말과 읽는 법입니다.
| AI 문장의 말 | 읽는 법 | 기간을 밝혔는가 |
|---|---|---|
| 원출처와 같은 기간을 붙인 말 | 그 기간 안의 기록으로 읽힘 | 밝힘 |
| 「현재까지」 「지금까지」 | 답을 받은 날까지로 읽혀 연구의 관찰 종료와 다름 | 밝히지 않음 |
| 「없었다」 「유지됐다」만 있는 말 | 언제까지인지 알 수 없음 | 밝히지 않음 |
| 「생기지 않는다」 「없다」 같은 현재형 | 앞으로의 일까지 말한 것으로 읽힘 | 밝히지 않음 |
첫째 줄의 기간은 원출처 구절의 기간과 같아야 합니다. AI가 붙인 기간이 구절보다 길거나 짧다면 기간 자체가 틀린 답이므로, 이 표로 매기지 않고 수치 대조 항목에 따로 남깁니다. 표의 말과 꼭 같지 않은 표현은 넷 가운데 뜻이 가장 가까운 줄로 읽고, 어느 줄로 읽었는지를 기록에 함께 남깁니다. 읽은 줄을 남기는 까닭은 다음 진단에서 다른 담당자가 같은 표현을 같은 줄로 읽게 하려는 것입니다.
같은 원출처를 옮긴 세 문장의 비교
아래 세 문장은 앞의 가상 예와 같은 원출처를 옮겼다고 가정하고 만든 것입니다. 원출처는 100명을 2년 동안 추적했고, 20명은 추적이 멈췄으며, 기록된 사건은 5건입니다.
첫 문장은 「2년 동안 추적한 연구에서 사건 5건이 기록됐고, 20명은 2년이 되기 전에 추적이 멈췄다」입니다. 기간을 밝혔고 추적이 멈춘 사람을 사건 없는 사람으로 세지 않았으므로 범위 안 진술입니다.
둘째 문장은 「2년 동안 95명에게 사건이 없었다」입니다. 기간은 원출처와 같지만 95에는 추적이 멈춘 20명이 들어 있으므로 절단 누락입니다. 원출처대로라면 2년을 채우고 사건이 없던 사람은 75명입니다.
셋째 문장은 「이 방법을 받은 사람에게는 사건이 생기지 않는다」입니다. 기간이 없고 현재형이므로 범위 밖 확정입니다. 셋 가운데 원출처에서 가장 멀리 나간 문장이며, 병원 이름과 함께 전해지면 병원이 결과를 약속한 말로 읽힐 수 있습니다.
세 문장을 나란히 놓으면 고칠 곳이 달라진다는 점이 드러납니다. 절단 누락은 수 하나를 바로잡으면 되고, 범위 밖 확정은 문장에 기간과 추적이 멈춘 사람이 모두 돌아와야 합니다.
판정을 넘기는 곳
절단 누락이나 범위 밖 확정으로 매긴 줄은 그 문장이 어디에서 시작됐는지를 인용 출처의 문장으로 가린 뒤 넘깁니다. 병원 글이 이미 기간 없이 써 두었다면 실장이 그 글을 쓴 담당자에게 AI 문장과 원출처 구절을 함께 넘깁니다.
인용 출처가 병원 밖의 기사나 요약 글이고 그 글에서 기간이 빠졌다면, 병원이 직접 고칠 수 있는 원문이 없습니다. 이런 줄은 출처의 이름과 빠진 말을 기록에 남기며, 병원 밖 글을 다루는 방법은 병원 외부 출처 관리에서 설명합니다.
병원 글과 원출처는 기간을 밝혔는데 답에서만 빠진 줄은 기록을 보관하고, 다음 진단에서 같은 질문으로 다시 받아 새 줄로 매깁니다. 원장에게는 판정 값별 줄 수와 함께 시작된 곳을 병원 글, 병원 밖 글, AI 답변으로 구분해 보고합니다. 시작된 곳에 따라 병원이 할 수 있는 일이 다르기 때문입니다. 병원 글은 고치고, 병원 밖 글은 기록으로 남기며, AI 답변은 다시 받아 값이 달라졌는지 가립니다.
중도 절단 판정 자주 묻는 질문
원출처에 추적이 멈춘 사람이 없다고 쓰여 있으면 어떻게 매깁니까?
그 구절을 옮기고 기간만 가립니다. 추적이 멈춘 사람이 없는 연구에서는 절단 누락이 생길 수 없으므로, 기간을 밝힌 문장은 범위 안 진술이고 밝히지 않은 문장은 범위 밖 확정입니다.
추적이 멈춘 사람의 수가 원출처 어디에도 없다면 절단 누락을 가릴 수 있습니까?
가릴 수 없습니다. 수가 없으면 AI가 말한 수에 그 사람들이 들어 있는지 셈할 길이 없으므로, 기간을 밝힌 문장이라도 보류로 매깁니다. 기간을 밝히지 않은 문장은 수와 상관없이 범위 밖 확정입니다.
한 답 안에 기간을 밝힌 문장과 밝히지 않은 문장이 함께 있으면 어떻게 매깁니까?
문장마다 한 줄씩 따로 매깁니다. 답 전체에 값 하나를 매기면 범위 밖 확정 문장이 범위 안 진술 문장에 가려집니다. 보고할 때는 같은 답에서 나온 줄임을 알 수 있게 질문과 받은 날을 줄마다 되풀이해 남깁니다.
AI 답변이 사건이라는 말 없이 「장기적으로 문제없다」고만 했다면 판정 대상입니까?
판정 대상입니다. 사건이 없었다는 뜻을 평가하는 말로 옮긴 문장이고, 기간이 없으므로 범위 밖 확정입니다. 문제가 없는지 자체는 진단 담당이 판정하지 않으며, 기록에는 그 말이 원출처 구절에 없다는 사실만 남깁니다.
원출처가 추적을 아직 이어 가는 중간 발표라면 기간을 어떻게 옮깁니까?
발표한 때까지의 기간과 중간 발표라는 구절을 함께 옮깁니다. 뒤에 최종 발표가 나오면 기간과 수가 달라질 수 있으므로, 다음 진단에서는 원출처가 바뀌었는지를 먼저 가린 뒤 AI 문장을 맞댑니다.
관찰 범위 판정을 그대로 쓰기 어려운 자료
병원이 자기 환자를 추적한 수치를 글에 실은 경우, 추적을 언제 마쳤고 연락이 끊긴 사람을 어떻게 셌는지 밝힌 문서가 없을 수 있습니다. 구절이 없으므로 보류로 매기고, 실장이 그 수치를 만든 담당자에게 추적 규칙을 글로 요청합니다. 이때 환자 한 사람 한 사람의 기록은 요청하지 않고, 규칙과 합계만 받습니다.
관찰 기간이 사람마다 다른 연구는 원출처가 기간을 밝힌 말을 그대로 옮깁니다. 가장 짧은 기간과 가장 긴 기간, 가운데 값 가운데 어느 것으로 밝혔는지에 따라 AI 문장의 기간이 구절과 같은지가 달라집니다. 진단 담당이 구절만으로 정하기 어려우면 보류로 매기고 넷째 단계대로 진행합니다.
보류로 남은 줄은 다음 진단 전에 실장이 다시 열어 답이 왔는지 점검합니다. 답을 받지 못한 줄은 보류인 채로 원장 보고에 올립니다.