제외 사유를 품질 탓으로 단정한 답의 판정
AI가 문헌고찰에서 제외된 논문을 품질이 나빠 탈락했다고 단정하면, 고찰 원문이 밝힌 제외 사유를 찾아 옮긴 뒤 그 사유가 품질이 아니면 원문 범위를 넘긴 주장으로 판정합니다. 문헌고찰은 미리 정한 포함 기준에 맞는 연구만 모읍니다. 기준에 맞지 않아 빠진 연구는 고찰이 묻는 범위 밖에 있었다는 뜻이고, 그 연구가 허술했다는 뜻은 아닙니다.
병원 GEO 진단에서 이 판정이 필요한 때는 병원 의료진이 쓴 논문이나 병원 글이 기대는 논문이 제외 목록에 있을 때입니다. AI가 병원 이름과 나란히 「그 연구는 품질 문제로 고찰에서 빠졌다」고 전하면, 읽는 사람은 병원의 연구 역량이 낮다고 받아들일 수 있습니다. 진단 담당은 그 논문이 잘된 연구인지를 가리지 않습니다. AI가 댄 까닭이 고찰 원문이 밝힌 까닭과 같은지만 가립니다.
판정에 쓰는 자료는 다섯 가지입니다. 판정 대상인 AI 원응답과 질문, AI가 제외 까닭을 설명한 문장, 고찰의 포함 기준 구절, 고찰의 제외 연구 목록과 사유, 그리고 해당 논문이 그 목록의 어느 줄에 있는지입니다.
인용이 달려도 사유까지 열어 읽는 까닭
챗GPT 공식 도움말은 검색을 쓴 답의 결과와 인용이 불완전하거나 틀릴 수 있으니, 인용된 출처를 열어 답을 뒷받침하는지 가리라고 안내합니다. 제외 사유처럼 부록이나 흐름도에만 실린 내용을 AI가 어떻게 읽어 요약하는지는 공식 안내에 나와 있지 않아 진단 기록으로 확인할 부분입니다.
고찰 본문에는 「몇 편을 제외했다」는 말만 있고 논문별 사유는 부록에 따로 실리는 일이 있습니다. 그래서 진단은 인용 링크가 가리키는 본문에서 멈추지 않고, 제외 목록이 실린 곳까지 찾아갑니다.
제외 사유 판정표
제외 까닭을 말한 AI 문장은 아래 제외 사유 판정표의 여섯 줄 가운데 하나로 판정합니다.
| AI 문장 | 고찰 원문이 밝힌 사유 | 판정 | 함께 남길 기록 |
|---|---|---|---|
| 제외 사실과 사유를 원문대로 전함 | 언어, 대상, 설계처럼 포함 기준에 맞지 않음 | 원문 범위 안 | 없음 |
| 제외 사실만 전하고 까닭은 말하지 않음 | 어느 사유든 | 원문 범위 안 | 사유 누락 |
| 품질이 낮아 제외됐다고 전함 | 포함 기준에 맞지 않음 | 범위 넘김 | 더해진 낱말과 원문 사유 |
| 품질이 낮아 제외됐다고 전함 | 논문별 사유를 밝히지 않음 | 범위 넘김 | 「원문 사유 없음」 |
| 품질 평가에서 제외됐다고 전함 | 품질 평가 결과로 제외했다고 밝힘 | 원문 범위 안 | 원문의 해당 구절 |
| 어느 쪽이든 | 제외 목록이나 사유 구절을 구하지 못함 | 원문 미확보 | 구하지 못한 까닭과 날짜 |
제외 사유 판정표의 판정 값은 원문 범위 안, 범위 넘김, 원문 미확보 셋입니다. 이 표의 둘째 줄은 틀린 말을 더하지 않았으므로 범위 넘김으로 올리지 않고 사유 누락만 기록합니다. 이 표의 넷째 줄은 원문이 까닭을 밝히지 않았는데 AI가 까닭을 지어 단 경우여서, 셋째 줄과 같은 값이어도 기록이 다릅니다.
AI 문장에서 제외 목록으로 가는 다섯 단계
- 진단 담당이 질문과 AI 원응답을 날짜, 서비스 이름과 함께 그대로 보관합니다.
- 진단 담당이 제외 까닭을 말한 문장마다 번호를 매기고, 품질이나 수준을 가리키는 낱말을 AI가 쓴 그대로 옮깁니다.
- 진단 담당이 인용 링크를 열어 어느 문헌고찰인지 가리고, 포함 기준을 밝힌 구절을 옮깁니다. 링크가 기사나 요약 글이면 그 글이 가리키는 고찰 원문까지 따라갑니다.
- 진단 담당이 고찰의 제외 연구 목록에서 해당 논문을 찾아 사유를 옮깁니다. 목록이 부록에 있으면 부록의 이름과 쪽을 함께 씁니다.
- 진단 담당이 옮긴 사유를 제외 사유 종류표의 종류로 나누고, 번호를 매긴 문장마다 제외 사유 판정표의 줄을 매깁니다.
둘째 단계에서 옮길 낱말은 품질만이 아닙니다. 수준 미달, 부실, 신뢰하기 어려움, 걸러짐처럼 연구의 됨됨이를 낮추어 말하는 낱말을 모두 옮깁니다. 이런 낱말이 하나도 없고 제외 사실만 있다면 제외 사유 판정표의 둘째 줄입니다.
넷째 단계에서 해당 논문이 제외 목록에 없다면 두 가지를 더 찾습니다. 포함 연구 목록에 있는지, 그리고 고찰이 검색한 기간 뒤에 나온 논문은 아닌지입니다. 포함 목록에 있거나 검색 기간 뒤에 나온 논문이라면 제외됐다는 말 자체가 원문에 없는 것이므로 범위 넘김이고, 기록에 「제외 사실 없음」이라고 씁니다.
제외 사유 종류표
옮긴 사유는 아래 제외 사유 종류표의 여섯 종류 가운데 하나로 나눕니다.
| 종류 | 원문이 말하는 내용 | 품질 탓인가 |
|---|---|---|
| 언어 | 고찰이 정한 언어로 쓰이지 않음 | 아님 |
| 대상 | 고찰이 정한 환자나 기간과 다름 | 아님 |
| 설계 | 고찰이 정한 연구 설계와 다름 | 아님 |
| 결과 지표 | 고찰이 모으려는 결과를 보고하지 않음 | 아님 |
| 전문이나 자료 | 전문을 구하지 못했거나 같은 자료가 겹침 | 아님 |
| 품질 평가 | 고찰이 정한 품질 기준에 미치지 못해 제외함 | 원문이 그렇게 밝힌 때에만 |
제외 사유 종류표에서 설계는 품질 평가와 헷갈리기 쉽습니다. 고찰이 특정 설계의 연구만 모으기로 했다면 다른 설계의 연구는 아무리 잘 수행되었어도 빠집니다. 원문이 「설계가 기준과 다름」이라고 밝힌 것을 담당이 「설계가 약해서」로 읽어 옮기면 담당이 원문을 넘긴 것이 됩니다. 종류는 원문이 쓴 말에 따라서만 나눕니다.
범위 부적합과 낮은 품질의 비교
범위 부적합은 고찰과 논문 사이의 관계를 말합니다. 같은 논문이 한 고찰에서는 대상이 달라 빠지고, 묻는 범위가 다른 고찰에서는 포함될 수 있습니다. 그래서 범위 부적합은 어느 고찰에서 빠졌는지를 함께 말해야 뜻이 통합니다.
낮은 품질은 논문 자체에 대한 평가입니다. 고찰이 정한 평가 도구로 연구를 따져 본 결과이고, 어느 도구로 어떤 항목이 문제였는지가 원문에 남습니다. 도구와 항목이 원문에 없는데 품질이 낮다고만 전한 문장은 평가의 근거가 없는 문장입니다.
둘을 가르는 물음은 하나입니다. 제외 까닭이 고찰의 포함 기준 구절에서 나오는지, 품질 평가 구절에서 나오는지입니다. 포함 기준에서 나오면 범위 부적합이고, 품질 평가에서 나오면 낮은 품질입니다. 담당은 이 물음의 답을 원문 구절로만 채우고, 논문을 읽고 받은 인상으로 채우지 않습니다.
병원에 미치는 영향도 다릅니다. 범위 부적합을 품질 탓으로 바꾼 답은 병원 의료진의 연구를 근거 없이 깎아내리므로 원장에게 먼저 올립니다. 원문이 품질 평가로 제외했다고 밝힌 경우에는 AI가 맞게 전한 것이어서 오류로 올리지 않고, 병원 글이 그 논문을 근거로 쓰고 있는지만 실장이 가립니다.
판정 뒤 병원이 손댈 수 있는 글
범위 넘김을 찾아도 병원이 AI 답을 직접 고칠 수는 없고, 고친 뒤 답이 달라진다고 약속할 수도 없습니다. 병원 글이 그 논문을 소개하고 있다면 어떤 환자를 대상으로 어떤 설계로 한 연구인지를 소개 문장 안에 밝히라고 권고합니다. 제외 사실을 병원이 나서서 해명하는 글은 권고하지 않습니다. 병원 글이 기댈 근거를 연구 원문 쪽으로 갖추는 방법은 병원 GEO 출처 확보에서 다룹니다.
품질 탓이라는 말이 AI가 아니라 중간에 놓인 기사나 블로그에서 시작되었다면 기록에 넘긴 지점을 「중간 출처」로 표시하고 주소를 남깁니다. 바깥 글에서 병원과 의료진이 어떤 말과 함께 불리는지를 점검하는 일은 브랜드 언급 확보에서 다룹니다.
문헌고찰 제외 사유 판정 자주 묻는 질문
문헌고찰이 아니라 진료 지침이 그 논문을 근거에서 뺐다고 AI가 전하면 같은 표로 판정하나요?
같은 표로 판정하되 맞댈 원문이 달라집니다. 진료 지침이 근거를 고른 방법과 채택하지 않은 문헌을 밝힌 부분을 찾아 옮깁니다. 지침이 채택하지 않은 문헌과 까닭을 따로 밝히지 않았는데 AI가 품질 탓이라 전했다면 제외 사유 판정표의 넷째 줄이고, 그 부분을 구하지 못했다면 원문 미확보로 매깁니다.
같은 논문을 한 고찰은 포함하고 다른 고찰은 제외했다면 어느 쪽으로 판정하나요?
AI 문장이 가리킨 고찰로만 판정합니다. 다른 고찰이 그 논문을 포함했다는 사실은 기록에 더하되 판정 값을 달리하는 근거로 쓰지 않습니다. 어느 고찰의 기준이 더 타당한지는 진단 담당이 가리지 않습니다.
제외 사유가 공개되지 않았을 때 고찰 저자에게 직접 물어 받은 답을 써도 되나요?
병원 의료진이 저자에게 묻는 것은 막지 않지만, 판정은 누구나 열어 볼 수 있는 공개 자료로만 합니다. 저자에게 받은 답은 「저자 답변」이라고 출처를 밝혀 따로 기록하고, 판정 값은 공개 자료에 따라 매긴 그대로 남깁니다.
고찰의 갱신판이 나와 예전 판에서 빠졌던 논문이 포함됐다면 어떻게 하나요?
AI 문장이 가리킨 판으로 판정하고, 기록에 판을 구별할 수 있는 발행 연도나 판 이름을 씁니다. 갱신판에서 포함됐다는 사실은 기록에 더합니다. 병원 글이 예전 판을 인용하고 있다면 실장이 갱신판으로 고칠지 원장에게 묻습니다.
병원과 관계없는 논문의 제외 까닭을 AI가 품질 탓으로 전한 것도 진단서에 올리나요?
병원 글이 그 논문을 근거로 쓰고 있거나 답 안에서 병원 이름과 함께 언급되었다면 올립니다. 둘 다 아니면 판정은 매기되 원장에게 올리는 건에서는 빼고, 진단 기록에만 남깁니다.
판정표를 그대로 쓰기 어려운 경우
한 논문에 제외 사유가 둘 이상 실린 경우가 있습니다. 대상도 다르고 품질 평가에서도 기준에 미치지 못했다고 원문이 밝혔다면, AI가 품질만 전해도 원문에 있는 말이므로 원문 범위 안입니다. 기록에는 AI가 빠뜨린 나머지 사유를 함께 씁니다.
원문이 사유를 「기타」나 「기준 불충족」처럼 뭉뚱그려 밝힌 경우에는 그 말을 그대로 옮기고, 어느 기준인지 담당이 짐작해 채우지 않습니다. 이때 품질 탓이라 전한 AI 문장은 제외 사유 판정표의 넷째 줄과 같이 다룹니다.
고찰 원문이 외국어라면 제외 사유 구절을 원문 그대로 남기고 옆에 뜻을 함께 씁니다. 번역문만 남기면 옮기는 과정에서 「기준과 다름」이 「기준 미달」로 세졌는지 나중에 가릴 수 없습니다.