보정했으니 교란이 없다는 답변의 판정
AI가 변수를 보정했다는 이유만으로 교란이 모두 사라졌다고 전하면, 원출처가 그렇게 쓰지 않은 한 원문 범위를 넘긴 주장으로 판정합니다. 변수 보정은 연구자가 측정해서 분석 모형에 넣은 변수의 영향을 줄이는 처리입니다. 측정하지 않았거나 모형에 넣지 않은 요인은 보정 뒤에도 결과에 섞여 있을 수 있고, 연구자는 이 가능성을 한계 문단에 「측정되지 않은 교란」이나 「잔여 교란」이라는 말로 남기곤 합니다.
병원 GEO 진단에서 이 판정이 필요한 까닭은 답변의 생김새에 있습니다. 병원 이름이나 진료 설명과 나란히 나온 AI 답변이 연구를 인용하면서 원문보다 강한 말을 쓰면, 읽는 사람은 그 문장을 병원의 주장처럼 받아들일 수 있습니다. 진단 담당은 통계 분석이 옳았는지를 따지지 않습니다. AI의 문장과 원출처의 구절이 같은 범위를 말하는지만 맞댑니다.
판정 값은 셋입니다. 원문 범위 안은 AI가 보정 사실을 원문대로 전하고, 원문에 없는 말로 남은 교란의 가능성을 지우지 않은 문장입니다. 범위 넘김은 원문에 없는 「모두 통제」「교란 없음」「다른 요인은 배제됨」 같은 말을 더한 문장입니다. 원문 미확보는 인용된 원출처를 열 수 없거나, 보정 변수와 한계를 적은 구절을 구하지 못한 경우입니다.
판정에 쓰는 자료는 네 가지입니다. 판정 대상인 AI 원응답과 질문, AI가 보정을 설명한 문장, 원출처에서 보정 모형과 변수를 밝힌 구절, 원출처에서 연구 한계를 적은 구절입니다. 뒤의 두 구절을 구하지 못하면 판정은 원문 미확보로 남깁니다.
AI 문장 유형별 판정
| AI 답변의 문장 | 원출처에서 맞댈 구절 | 판정 | 함께 남길 기록 |
|---|---|---|---|
| 보정한 변수와 한계를 원문대로 전함 | 변수 목록, 한계 구절 | 원문 범위 안 | 없음 |
| 보정했다고만 전하고 남은 교란은 말하지 않음 | 한계 구절 | 원문 범위 안 | 한계 누락 |
| 「모든 교란을 통제」「다른 요인은 배제」라고 전함 | 변수 목록, 한계 구절 | 범위 넘김 | 원문에 없는 낱말 |
| 원문에 없는 변수까지 보정했다고 전함 | 변수 목록 | 범위 넘김 | 더해진 변수 이름 |
| 원출처가 열리지 않거나 해당 구절을 찾지 못함 | 구하지 못함 | 원문 미확보 | 열지 못한 까닭과 날짜 |
둘째 줄은 틀린 말을 더하지 않았으므로 범위 넘김으로 올리지 않습니다. 다만 질문이 연구를 믿어도 되는지, 원인이 맞는지를 직접 물었다면 한계가 빠진 답은 읽는 사람에게 다른 뜻으로 전해질 수 있습니다. 그래서 한계 누락 기록에는 질문 원문을 함께 남깁니다.
셋째 줄과 넷째 줄은 같은 범위 넘김이어도 기록이 다릅니다. 셋째 줄은 더해진 낱말을, 넷째 줄은 더해진 변수 이름을 적어야 나중에 병원 글이나 중간 출처에서 같은 말을 찾을 수 있습니다.
AI 문장에서 원문으로 가는 다섯 단계
맞대는 방향은 AI 문장에서 시작해 원문으로 갑니다. 원문을 먼저 읽고 AI 문장을 고르면 진단 담당의 해석이 판정에 섞입니다.
- 질문과 AI 원응답을 날짜, 서비스 이름과 함께 그대로 보관합니다. 보정이나 교란을 말한 문장마다 번호를 매깁니다.
- AI가 붙인 인용 링크를 열어 그 문장이 가리키는 연구가 맞는지 가립니다. 링크가 연구 원문이 아니라 기사나 요약 글이면 그 글이 가리키는 원문까지 따라갑니다.
- 원문에서 보정 변수를 밝힌 구절을 찾아 그대로 옮깁니다. 방법 부분과 표의 각주에 따로 실려 있으면 둘 다 옮깁니다.
- 원문에서 한계를 적은 구절을 찾아 옮깁니다. 교란을 언급한 문장이 없으면 「한계 구절에 교란 언급 없음」이라고 씁니다.
- 번호를 붙인 AI 문장마다 판정표의 어느 줄인지 매기고, 판정 값과 함께 남길 기록을 채웁니다.
둘째 단계에서 기사나 요약 글만 있고 원문을 끝내 찾지 못하면 원문 미확보로 매깁니다. 원문을 찾았는데 중간에 놓인 기사가 이미 「모든 요인을 통제한 연구」라고 썼다면, 범위를 넘긴 지점은 AI가 아니라 그 기사입니다. 이때 판정은 그대로 범위 넘김이고, 기록에 범위를 넘긴 지점을 「중간 출처」로 표시합니다.
셋째와 넷째 단계에서 외국어 원문을 옮길 때는 원문 구절을 그대로 남기고 옆에 뜻을 덧붙여 씁니다. 번역문만 남기면 나중에 읽는 사람이 번역 과정에서 말이 세졌는지 약해졌는지 가릴 수 없습니다.
보정 방법이 적절했는지, 빠진 변수가 결론을 흔들 정도인지는 진단 담당이 판정하지 않습니다. 그 판단이 수정 권고에 꼭 필요하면 원장이나 해당 분야 전문가에게 문장 단위로 묻고, 회신이 없으면 「전문 판단 미확인」이라고 씁니다.
범위 넘김 뒤의 수정 권고 범위
범위 넘김을 찾았다고 해서 AI 답변을 직접 고칠 방법이 병원에 있는 것은 아닙니다. 권고는 병원이 손댈 수 있는 글에 한정합니다. 먼저 병원 홈페이지와 블로그에서 같은 연구를 인용한 글이 있는지 찾습니다.
병원 글에 「모든 요인을 통제한 연구」 같은 문장이 있다면, 그 문장을 원문이 말한 범위로 줄이라고 권고합니다. 의료 판단이 들어가는 문장은 의료진 검토를 거쳐 고치도록 함께 권고합니다. 병원 글이 범위 안인데 AI가 말을 더했다면, 보정 사실을 적은 문장 바로 옆에 원문의 한계를 한 줄 붙이라고 권고합니다. 보정 문장만 따로 인용되더라도 한계가 곁에 남게 하려는 뜻입니다. 이 권고가 AI 답변을 달라지게 한다고 약속하지는 않습니다.
넘긴 지점이 병원과 무관한 외부 글이면 병원이 고칠 수 없으므로, 진단서에 출처 주소와 넘긴 낱말을 기록으로만 남깁니다. 한계를 곁에 붙인 문장을 어떤 모양으로 써야 따로 인용돼도 범위가 남는지는 병원 AI 인용 콘텐츠에서 따로 다룹니다.
보정 판정에서 자주 틀리는 네 경우
이 판정은 낱말 하나에 기대면 쉽게 어긋납니다. 아래 네 경우는 진단 기록을 다시 읽을 때 먼저 가려낼 것들입니다.
| 틀리는 경우 | 어긋나는 까닭 | 바로잡는 방법 |
|---|---|---|
| 「보정」이라는 낱말만 있으면 범위 넘김으로 올림 | 보정했다는 사실은 원문에 있는 내용임 | 모두, 완전히, 배제처럼 더해진 낱말이 있을 때만 올림 |
| 본문을 열 수 있는데도 초록만 읽고 판정함 | 초록에는 한계가 실리지 않을 수 있음 | 본문의 한계 구절까지 옮긴 뒤 판정함 |
| 진단 담당이 빠진 변수를 스스로 꼽아 연구를 평가함 | 연구의 타당성 평가는 진단 범위 밖임 | 원문이 적은 한계만 옮기고 전문 판단은 따로 물음 |
| 무작위 배정 연구 인용에도 같은 낱말 기준을 그대로 씀 | 무작위 배정은 설계로 교란을 다뤄 원문의 설명 방식이 다름 | 연구 설계를 기록하고 원문이 쓴 표현을 기준으로 맞댐 |
첫째 경우는 범위 넘김 건수를 부풀려, 정작 고쳐야 할 한두 문장을 가립니다. 올릴지 망설여지는 문장은 원문 구절 옆에 나란히 놓고, AI 문장에만 있는 낱말을 따로 옮겨 씁니다. 옮겨 적을 낱말이 없으면 범위 안입니다.
셋째 경우에서 담당이 「이 연구는 소득을 보정하지 않았다」처럼 스스로 찾은 빈틈을 진단서에 쓰면, 그 문장은 연구에 대한 병원 쪽의 평가가 됩니다. 진단서에는 원문 저자가 한계로 든 내용만 옮기고, 담당의 의문은 전문가에게 보낼 질문 칸에 따로 씁니다.
넷째 경우에서 연구 설계는 원문이 스스로 밝힌 이름으로만 기록합니다. 원문에 설계가 드러나 있지 않으면 「설계 표기 없음」이라고 남기고 판정표의 줄만 매깁니다.
원장과 실장에게 넘기는 항목
범위 넘김 한 건마다 진단서에 다섯 항목을 묶어 넘깁니다. 번호를 붙인 AI 문장 원문, 원출처의 보정 변수 구절, 원출처의 한계 구절, 판정 값과 함께 남긴 기록, 범위를 넘긴 지점입니다. 넘긴 지점은 AI 답변, 중간 출처, 병원 글 가운데 하나로 씁니다.
실장은 병원 글 목록에서 같은 연구를 인용한 글을 찾아 주소를 함께 넘깁니다. 원장은 병원 글의 문장을 줄일지, 한계를 덧붙일지를 정하고 의료 판단이 들어가는 문장의 검토를 맡습니다. 진단 담당은 고친 문장을 대신 쓰지 않고, 어느 구절과 어긋났는지만 보여 줍니다.
넘긴 지점이 중간 출처로 드러났다면 병원 글이 기대던 근거를 원문 쪽으로 옮기는 일이 남습니다. 병원이 기댈 출처를 어떻게 갖추는지는 병원 GEO 출처 확보에서 이어서 정리합니다.
변수 보정 인용 판정 자주 묻는 질문
원문이 스스로 모든 교란을 통제했다고 쓴 경우에는 어떻게 판정하나요?
AI가 원문대로 전한 것이므로 원문 범위 안입니다. 기록에는 「원문 주장 그대로」라고 쓰고 해당 구절을 함께 남깁니다. 그 주장이 타당한지는 진단에서 다루지 않으며, 병원 글에 같은 말을 옮길 계획이 있다면 의료진 검토를 먼저 거치도록 권고합니다.
AI가 인용 링크 없이 연구를 언급하며 교란이 없다고 하면 어떻게 기록하나요?
맞댈 원출처가 없으므로 원문 미확보이고, 까닭 칸에 「출처 미표시」라고 씁니다. 연구 이름이나 학술지가 답변에 나와 있어도 진단 담당이 검색으로 짐작해 원문을 정하지 않습니다. 짐작으로 고른 논문이 AI가 가리킨 연구와 다를 수 있기 때문입니다.
민감도 분석을 했다는 AI 설명도 교란이 사라졌다는 주장으로 판정하나요?
추가 분석을 했다는 사실만 전했다면 범위 넘김이 아닙니다. 그 분석 덕분에 다른 요인의 영향이 없다고 덧붙였을 때에만 원문이 같은 결론을 썼는지 맞댑니다. 원문에 그 결론이 없으면 셋째 줄로 매기고, 더해진 낱말을 기록합니다.
한 답변 안에 범위 안 문장과 범위 넘김 문장이 섞여 있으면 답변 전체는 어떻게 매기나요?
답변 전체에는 값을 매기지 않습니다. 판정은 문장 단위이고, 진단서에는 범위 넘김 문장의 번호와 개수를 씁니다. 답변 하나에 값 하나를 붙이면 맞게 전한 문장까지 오류로 읽히거나, 넘긴 문장이 가려집니다.
원문 본문이 유료라 읽을 수 없을 때 초록만으로 판정해도 되나요?
초록에 보정 변수와 한계가 실려 있으면 그 구절로 매길 수 있는 줄까지만 판정하고 「초록 기준」이라고 표시합니다. 초록에 한계가 없으면 한계 구절이 필요한 줄은 원문 미확보로 남깁니다. 본문을 열 수 있는 연구에는 이 방식을 쓰지 않습니다.