독립이라는 말을 받칠 구절이 있는지의 판정
학습 자료와 겹치는 자료로 잰 성능을 AI 답변이 독립 검증으로 소개했다면, 병원 GEO 진단에서는 독립이라는 말을 받칠 구절이 원출처에 없는 답으로 매깁니다. 진단 보조 AI의 성능은 학습에 쓰지 않은 자료로 재야 뜻이 있고, 원출처는 두 자료를 어떻게 떼어 놓았는지를 방법 부분에 밝힙니다. 그 구절이 없으면 답이 쓴 「독립」은 원출처에서 나올 수 없는 말입니다.
자료 누출은 학습에 쓴 자료의 일부가 성능을 재는 자료에도 들어간 상태를 가리킵니다. 한 환자의 영상 여러 장이 학습 쪽과 시험 쪽에 흩어져 들어가는 경우가 그 예입니다. 프로그램은 시험에서 이미 본 환자를 다시 만나는 셈이어서 성능이 실제보다 높게 나올 수 있습니다. 그래서 원출처는 자료를 환자 단위로 떼었는지, 기관 단위로 떼었는지, 기간 단위로 떼었는지를 밝히고, 겹친 자료를 걸러 낸 절차를 함께 쓰기도 합니다.
가상으로 든 예입니다. 원출처에는 모은 영상을 장 단위로 무작위로 나눠 학습과 시험에 썼다고만 쓰여 있고, 같은 환자의 영상이 양쪽에 들어가지 않게 했다는 문장은 없습니다. 그런데 답은 「독립된 자료로 검증한 결과」라며 성능 수치를 전합니다. 원출처가 하지 않은 말이 답에 덧붙었습니다.
GEO 진단 담당은 누출이 실제로 있었는지를 판정하지 않습니다. 영상 목록을 맞대어 겹친 환자를 찾아내는 일도 하지 않습니다. 가리는 것은 누출이 없다고 말할 근거가 원출처의 구절로 있는지입니다.
자료를 떼는 세 단위
원출처가 학습 자료와 시험 자료를 떼었다고 밝히는 단위는 아래 표의 세 가지입니다.
| 떼는 단위 | 원출처에 쓰인 모습 | 구절이 알려 주는 것 |
|---|---|---|
| 환자 | 한 환자의 자료는 학습과 시험 가운데 한쪽에만 넣었다는 문장 | 같은 사람이 양쪽에 걸치지 않음 |
| 기관 | 시험 자료는 학습에 자료를 내지 않은 기관에서 모았다는 문장 | 자료를 모은 곳이 서로 다름 |
| 기간 | 시험 자료는 학습 자료보다 뒤의 기간에 모았다는 문장 | 자료를 모은 때가 서로 다름 |
영상 한 장이나 검사 한 건을 단위로 나눴다는 문장은 이 셋에 들지 않습니다. 장 단위나 건 단위로 나누면 한 환자의 자료가 양쪽에 함께 들어갈 수 있어서, 그 문장만으로는 두 자료가 떨어져 있다고 말할 수 없습니다. 원출처가 단위를 아예 밝히지 않고 「자료를 나눴다」고만 쓴 경우도 같습니다.
답의 말과 분리 구절을 맞대는 세 단계
- GEO 진단 담당이 질문과 받은 날, AI 답변 원문을 저장하고, 성능을 전한 문장에서 시험 자료를 어떤 자료라고 불렀는지를 표시합니다.
- GEO 진단 담당이 원출처에서 자료를 어느 단위로 떼었는지 밝힌 구절과, 겹친 자료를 걸러 낸 절차를 밝힌 구절을 찾아 옮깁니다. 없는 구절은 밝힌 구절 없음으로 남깁니다.
- GEO 진단 담당이 답이 부른 말을 옮긴 구절과 맞대어 값을 매기고, 실장이 근거 없는 독립 줄을 원장에게 올립니다. 원문을 열지 못한 줄은 실장이 담당 의료진에게 원문을 요청합니다.
첫째 단계에서 표시할 말은 「독립된」 「별도의」 「학습에 쓰지 않은」 「처음 접하는」처럼 시험 자료가 학습 자료와 떨어져 있다고 알리는 말입니다. 「시험 자료에서」 「검증 결과」처럼 떨어져 있는지에 대해 아무 말도 하지 않은 문장은 분리를 말하지 않은 것으로 남깁니다.
둘째 단계의 두 구절은 쓰임이 다릅니다. 떼는 단위를 밝힌 구절은 값을 정하고, 걸러 낸 절차를 밝힌 구절은 값을 정하지 않은 채 비고로 갑니다. 절차 구절에는 이름과 생년월일로 같은 사람을 찾아 뺐다거나, 같은 검사를 두 번 센 것을 지웠다는 식의 문장이 들어갑니다. 이 구절이 있으면 단위 구절이 말한 분리를 저자가 어떻게 지켰는지까지 기록에 남습니다.
분리 근거 판정표
셋째 단계의 값은 아래 분리 근거 판정표의 네 줄 가운데 하나입니다.
| 답이 시험 자료를 부른 말 | 원출처의 구절 | 판정 |
|---|---|---|
| 학습 자료와 떨어진 자료라고 전함 | 환자, 기관, 기간 가운데 하나를 단위로 떼었다고 밝힘 | 근거 있는 독립 |
| 학습 자료와 떨어진 자료라고 전함 | 떼는 단위를 밝히지 않았거나, 장 단위나 건 단위로 나눴다고만 밝힘 | 근거 없는 독립 |
| 떨어져 있는지에 대해 말하지 않음 | 어느 쪽이든 | 분리 말 없음 |
| 어떤 말이든 | 원문을 열지 못함 | 보류 |
학습 자료와 겹치는 자료로 잰 성능을 독립 검증으로 소개한 답은 둘째 줄입니다. 둘째 줄은 누출이 있었다는 값이 아닌, 독립이라고 말할 구절이 없다는 값입니다. 첫째 줄로 매긴 줄에는 구절이 밝힌 단위를 함께 남깁니다. 답이 「다른 병원의 자료로」라고 했는데 구절이 밝힌 단위는 환자였다면, 값은 첫째 줄이되 단위가 구절과 다르게 전해졌다는 점을 비고에 씁니다.
독립이라는 말을 받치는 구절과 받치지 못하는 구절
비슷하게 읽히지만 값이 갈리는 구절을 세 쌍으로 견줍니다. 모두 설명을 위해 만든 가상의 문장입니다.
첫째 쌍입니다. 「환자를 무작위로 두 묶음으로 나눠 한 묶음은 학습에, 다른 묶음은 시험에 썼다」는 환자를 단위로 떼었다고 밝힌 구절입니다. 「영상을 무작위로 두 묶음으로 나눴다」는 장 단위로 나눈 구절이어서 독립이라는 말을 받치지 못합니다. 두 문장은 낱말 하나가 다를 뿐이지만, 나뉜 것이 사람인지 영상인지가 값을 가릅니다.
둘째 쌍입니다. 「시험 자료는 학습에 참여하지 않은 기관 세 곳에서 모았다」는 기관을 단위로 뗀 구절입니다. 「여러 기관의 자료를 모아 학습과 시험에 썼다」는 기관이 여럿이라는 사실만 알릴 뿐, 시험 쪽 기관이 학습 쪽과 다른지는 말하지 않습니다.
셋째 쌍입니다. 「학습에는 앞의 세 해 자료를, 시험에는 그 뒤 한 해 자료를 썼다」는 기간을 단위로 뗀 구절입니다. 「다섯 해 동안 모은 자료를 썼다」는 모은 기간을 알릴 뿐 학습과 시험을 어느 때로 갈랐는지는 말하지 않습니다.
세 쌍에서 받치는 쪽 문장의 공통점은 학습 쪽과 시험 쪽을 한 문장 안에서 따로 부른다는 것입니다. 구절을 옮길 때 이 점을 먼저 찾으면 단위를 놓치지 않습니다.
근거 없는 독립 줄을 넘기는 곳
근거 없는 독립 줄은 인용 출처의 문장을 열어 「독립」이라는 말이 어느 글에서 붙었는지를 가립니다. 병원 글이 그 말을 썼다면 실장이 글을 쓴 담당자와 담당 의료진에게 답의 문장과 옮긴 구절을 함께 넘깁니다.
프로그램을 알리는 보도자료가 「독립 검증을 마쳤다」는 말을 제목에 세운 경우, 그 말의 근거가 되는 분리 단위가 본문에 없으면 기사에도 말만 옮겨집니다. 성능을 알리는 보도자료에 시험 자료의 분리 단위를 밝혀 쓰는 방법은 병원 보도자료에서 다룹니다.
병원 글과 보도자료에는 그 말이 없고 답에서만 나왔다면 고칠 글이 없으므로 기록을 보관하고, 다음 진단에서 같은 질문의 답을 새 줄로 매깁니다.
자료 누출과 독립 검증 자주 묻는 질문
원출처가 환자 단위로 나눴다고만 쓰고 겹친 자료를 어떻게 걸렀는지는 밝히지 않았다면 어떻게 매깁니까?
떼는 단위를 밝힌 구절이 있으므로 답이 떨어진 자료라고 전했다면 근거 있는 독립입니다. 절차를 밝힌 구절은 값을 정하지 않으므로, 비고에 밝힌 구절 없음으로 남기는 데서 끝납니다.
널리 공개된 자료 모음으로 성능을 잰 경우 학습 자료와 겹치는지는 누가 가립니까?
원출처의 구절이 가립니다. 그 공개 자료를 학습에 쓰지 않았다고 저자가 밝힌 문장이 있으면 기관이나 환자를 단위로 뗀 구절로 옮깁니다. 그런 문장이 없으면 GEO 진단 담당이 자료 목록을 맞대어 겹침을 찾아 나서지 않고, 떼는 단위를 밝히지 않은 원출처로 다룹니다.
기간 단위로 나눈 연구에서 같은 환자가 앞뒤 기간에 모두 있을 수 있다면 값이 달라집니까?
달라지지 않습니다. 기간을 단위로 떼었다고 밝힌 구절이 있으므로 표대로 매깁니다. 저자가 같은 환자가 두 기간에 걸칠 수 있다는 점을 한계로 쓴 문장이 있으면 비고에 옮기고, 그런 문장이 없으면 GEO 진단 담당이 그 가능성을 보태 쓰지 않습니다.
이 병원이 개발에 자료를 낸 기관인데 답이 이 병원에서 독립적으로 검증됐다고 했다면 어떻게 매깁니까?
원출처에서 이 병원의 자료가 학습 쪽에 들어갔다고 밝혔다면, 이 병원의 자료로 따로 떼어 쟀다는 구절이 있는지를 찾습니다. 없으면 떼는 단위를 밝히지 않은 것이므로 근거 없는 독립이고, 병원 이름이 들어간 문장이어서 실장이 그날 원장에게 알립니다.
답이 「엄격하게 검증됐다」처럼 분리가 아닌 다른 말로 성능을 꾸몄다면 이 표로 매깁니까?
떨어져 있는지에 대해 말하지 않았으므로 분리 말 없음입니다. 「엄격하게」 같은 꾸밈말이 원출처에 있는 말인지는 비고에 따로 남깁니다. 꾸밈말을 독립이라는 뜻으로 넓혀 읽어 둘째 줄로 매기지 않습니다.
보고서에 누출이 있었다고 쓰지 않는 까닭
근거 없는 독립 줄을 보고할 때 「자료 누출이 있었다」고 쓰지 않습니다. 구절이 없다는 것은 저자가 밝히지 않았다는 사실이고, 실제로 자료가 겹쳤는지는 원출처 밖의 자료를 열어야 알 수 있습니다. 보고서의 문장은 「답은 독립된 자료라고 했다. 원출처는 떼는 단위를 밝히지 않았다」의 두 문장으로 맺습니다.
반대쪽도 같습니다. 근거 있는 독립 줄에 「누출이 없음을 확인했다」고 쓰지 않습니다. 구절이 있다는 것은 저자가 그렇게 밝혔다는 데까지이고, 그 절차가 빈틈없이 지켜졌는지는 담당 의료진이 검토할 일입니다.
두 문장으로 맺는 방식은 뒤따르는 일에도 쓰입니다. 병원이 할 수 있는 일은 프로그램을 만든 곳에 분리 단위를 밝힌 문서를 요청하는 것이고, 그 요청에 보고서의 둘째 문장을 그대로 옮겨 쓸 수 있습니다.