앞서 알아냈다는 말을 받칠 시점 구절
AI가 후향 연구의 날짜 순서를 무시하고 예측했다고 소개했다면, 병원 GEO 진단에서는 원출처의 예측 시점과 변수 측정 시점, 결과 발생 시점을 시간 순서로 놓아 「앞서 알아냈다」는 말을 받칠 구절이 있는지로 진단합니다. 분석에 쓴 변수 가운데 결과가 난 뒤에야 얻을 수 있던 것이 하나라도 있으면, 그 분석은 결과를 미리 알아낸 것이 아니고 지난 일을 거슬러 설명한 것입니다.
후향 연구는 이미 쌓여 있는 기록을 뒤에서부터 거슬러 분석한 연구입니다. 기록에는 환자가 처음 왔을 때의 정보와 결과가 난 뒤의 정보가 한곳에 섞여 있습니다. 분석하는 사람 눈에는 모두 같은 표의 칸이지만, 실제 진료에서는 결과가 나기 전에 알 수 있는 칸과 알 수 없는 칸이 갈립니다. 예측이라는 말은 앞의 칸만 썼을 때 쓸 수 있습니다.
진단 담당이 가리는 것은 시간의 앞뒤입니다. 그 모형이 얼마나 잘 맞히는지, 진료에 쓸 만한지는 가리지 않으며, 그 검토는 병원의 담당 의료진이 합니다.
이 구분이 병원에 닿는 까닭은 「미리 알려 준다」는 말이 환자에게 약속처럼 들리기 때문입니다. 병원 이름과 함께 전해지면 그 병원이 결과를 앞서 알아내는 기술을 갖췄다는 말로 읽히고, 원출처가 그렇게 말한 적이 없다면 병원이 하지 않은 말이 병원의 말이 됩니다.
변수를 시간 순서로 놓은 예
아래 표는 설명을 위해 만든 가상의 연구입니다. 이 연구는 입원한 날에 수술 뒤 합병증을 예측한다고 밝혔고, 변수 네 가지를 썼습니다.
| 분석에 쓴 변수 | 원출처가 밝힌 측정 시점 | 예측 시점과의 앞뒤 |
|---|---|---|
| 나이와 앓던 병 | 입원한 날의 문진 | 같은 때 |
| 입원 때 혈액 검사 수치 | 입원한 날 | 같은 때 |
| 수술에 걸린 시간 | 수술을 마친 때 | 뒤 |
| 퇴원 때 쓴 진단 기록 | 퇴원한 날 | 뒤 |
입원한 날에 예측한다고 밝힌 연구라면 셋째와 넷째 변수는 그날 손에 없던 자료입니다. 넷째 변수는 합병증이 생긴 뒤에 쓰인 기록이어서 결과 자체가 섞여 들어갔을 수도 있습니다. 이 연구를 두고 답이 「입원할 때 합병증을 미리 알려 준다」고 전했다면, 네 변수 가운데 둘이 그 말을 받치지 못합니다. 표의 셋째 열은 원출처에 쓰인 말이 아닌 진단 담당이 앞뒤를 가려 채운 칸입니다. 그래서 기록에는 둘째 열의 구절을 빠짐없이 함께 남겨, 다른 사람이 같은 앞뒤를 다시 가릴 수 있게 합니다.
세 시점을 옮겨 앞뒤를 가르는 네 단계
- 진단 담당이 질문과 받은 날, AI 답변 원문을 저장하고, 연구를 소개한 문장에서 언제 무엇을 알아낸다고 했는지를 표시합니다.
- 진단 담당이 원출처에서 예측 시점을 밝힌 구절, 변수마다 측정 시점을 밝힌 구절, 결과가 언제 났는지를 밝힌 구절을 옮깁니다.
- 진단 담당이 변수를 측정 시점 순으로 한 줄에 늘어놓고, 예측 시점보다 뒤에 놓이는 변수가 있는지 가려 값을 매깁니다.
- 실장이 근거 없는 선행 예측 줄을 원장에게 올리고, 보류 줄은 담당 의료진에게 시점 구절을 읽어 달라고 요청합니다.
첫째 단계에서 표시할 말은 「미리 예측한다」 「앞서 알아낸다」 「사전에 가려낸다」처럼 결과보다 먼저라는 뜻을 담은 말입니다. 「지난 기록을 분석했더니 관련이 있었다」처럼 거슬러 분석했다는 사실을 그대로 전한 문장은 선행 예측을 말한 것이 아닙니다.
둘째 단계에서 변수의 측정 시점은 변수를 설명한 표의 머리말이나 주석에 실려 있기도 합니다. 「기록에서 뽑았다」고만 쓰여 있고 언제의 기록인지가 없으면, 그 변수의 측정 시점은 밝힌 구절 없음으로 남깁니다. 담당자가 변수의 이름만 읽고 입원 때의 것이겠거니 하고 채우지 않습니다.
넷째 단계에서 올리는 줄에는 글로 옮긴 시점 줄을 그대로 싣습니다. 원장이 뒤에 놓인 변수의 이름을 읽으면 그 말이 왜 받쳐지지 않는지를 설명 없이 알 수 있습니다.
예측 시점 판정표
셋째 단계의 값은 아래 예측 시점 판정표의 네 줄 가운데 하나입니다.
| 답이 분석을 부른 말 | 원출처의 시점 구절 | 판정 |
|---|---|---|
| 선행 예측으로 부르거나, 거슬러 분석한 연구로 부름 | 부른 말이 구절과 같음 | 시점 일치 |
| 예측 모형이라고만 부르고 언제의 정보로 알아내는지 말하지 않음 | 어느 쪽이든 | 시점 빠짐 |
| 선행 예측으로 부름 | 예측 시점보다 뒤에 잰 변수가 있거나, 예측 시점이나 변수의 측정 시점을 밝히지 않음 | 근거 없는 선행 예측 |
| 어떤 말이든 | 원문을 열지 못했거나, 시점 구절이 서로 어긋나 앞뒤를 정하지 못함 | 보류 |
날짜 순서를 무시하고 예측했다고 소개한 답은 셋째 줄입니다. 첫째 줄에서 선행 예측이 구절과 같다는 것은, 원출처가 예측 시점을 밝혔고 모든 변수가 그 시점이거나 그보다 앞에 잰 것이라고 밝힌 경우입니다. 셋째 줄은 그 모형이 쓸모없다는 값이 아닌, 미리 알아낸다고 말할 구절이 원출처에 없다는 값입니다.
시점을 한 줄에 늘어놓는 방법
셋째 단계에서 변수를 한 줄에 늘어놓을 때는 날짜가 아닌 진료의 마디를 눈금으로 씁니다. 후향 연구는 환자마다 날짜가 다르므로, 원출처도 「입원한 날」 「수술 전」 「퇴원할 때」처럼 마디로 시점을 밝힙니다. 눈금은 원출처가 쓴 마디의 이름을 그대로 가져옵니다.
먼저 줄 위에 예측 시점과 결과 발생 시점을 찍습니다. 예측 시점은 「이때 알아낸다」고 원출처가 밝힌 마디이고, 결과 발생 시점은 알아내려는 일이 실제로 일어난 마디입니다. 두 점 사이가 예측이 뜻을 갖는 구간입니다.
다음으로 변수를 하나씩 측정 시점의 마디에 놓습니다. 예측 시점과 같은 마디이거나 그 앞이면 쓸 수 있던 변수이고, 뒤이면 쓸 수 없던 변수입니다. 결과 발생 시점보다도 뒤에 놓이는 변수는 따로 표시합니다. 결과가 난 뒤에 쓰인 기록은 결과를 이미 알고 쓴 글일 수 있어, 원장에게 올릴 때 먼저 밝히는 변수입니다.
어느 마디에도 놓을 수 없는 변수는 줄 아래에 따로 모읍니다. 측정 시점을 밝힌 구절이 없는 변수들입니다. 이 묶음이 비어 있지 않으면 선행 예측이라는 말을 받칠 구절이 다 갖춰지지 않은 것입니다.
이렇게 그린 줄은 기록에 글로 옮깁니다. 「예측 시점 앞 둘, 뒤 둘, 시점을 밝히지 않은 변수는 없음」처럼 세 묶음의 수를 쓰고, 뒤에 놓인 변수의 이름과 측정 시점 구절을 함께 씁니다.
근거 없는 선행 예측 줄의 뒷일
근거 없는 선행 예측 줄은 인용 출처를 열어 「미리」라는 뜻의 말이 처음 쓰인 글을 찾습니다. 병원 홈페이지 글이라면 실장이 글을 쓴 담당자와 담당 의료진에게 답의 문장과 글로 옮긴 시점 줄을 함께 넘깁니다.
병원 의료진이 참여한 연구라면 학회 소식이나 기사에서 병원 이름이 「예측 기술」이라는 말과 묶여 언급되기도 합니다. 병원 이름이 바깥 글에서 어떤 말과 함께 불리는지는 병원이 낸 설명에서 비롯되는 일이 있으며, 바깥에서 병원을 언급할 때 쓰일 말을 다듬는 방법은 브랜드 언급 확보에서 다룹니다.
병원 글에도 바깥 글에도 그 말이 없고 답에서만 나왔다면 고칠 글이 없으므로 기록을 보관하고, 다음 진단에서 같은 질문의 답을 새 줄로 매깁니다. 시점 빠짐 줄은 병원 글에 예측 시점이 쓰여 있는지를 함께 남겨 글을 쓴 담당자가 참고하게 합니다.
후향 연구와 예측 시점 자주 묻는 질문
결과 뒤에 잰 변수가 하나뿐이고 나머지는 모두 앞선 것이라면 값이 달라집니까?
달라지지 않습니다. 뒤에 잰 변수가 하나라도 있으면 근거 없는 선행 예측입니다. 몇 개였는지와 어떤 변수였는지는 비고에 남기되, 그 변수가 결과에 얼마나 영향을 주었는지를 진단 담당이 가늠해 값을 낮추지 않습니다.
답이 「조기에 발견한다」고 했다면 선행 예측을 말한 것으로 읽습니까?
그렇게 읽습니다. 결과가 드러나기 전에 알아낸다는 뜻이 담긴 말이기 때문입니다. 「조기」가 무엇보다 이른 때인지를 답이 밝혔다면 그 말을 예측 시점으로 옮겨 원출처의 구절과 맞대고, 밝히지 않았다면 밝히지 않았다고 남깁니다.
기록한 날은 결과 뒤인데 내용은 입원 전의 상태를 담은 변수는 어느 마디에 놓습니까?
진단 담당이 정하지 않습니다. 기록한 때와 내용이 가리키는 때가 다른 변수는 두 시점을 모두 옮기고, 원출처가 어느 쪽으로 다뤘는지 밝힌 구절을 찾습니다. 그런 구절이 없으면 앞뒤를 정하지 못한 것이므로 보류입니다.
병원이 그 예측 프로그램을 들여왔다고 알리며 미리 알려 준다고 썼다면 원출처는 무엇입니까?
프로그램의 성능을 발표한 연구가 원출처입니다. 병원 글은 그 말이 시작된 곳으로 기록합니다. 프로그램을 만든 곳의 소개 자료만 있고 연구를 찾지 못했다면 원문을 열지 못한 것으로 다룹니다.
예측 시점을 여러 개 밝힌 연구는 어느 시점과 맞댑니까?
답이 말한 시점과 같은 것을 씁니다. 원출처가 입원한 날의 모형과 수술 뒤의 모형을 따로 밝혔다면, 답이 입원할 때 알아낸다고 했을 때는 입원한 날 모형의 변수만 줄에 놓습니다. 답이 어느 시점인지 말하지 않았다면 시점 빠짐입니다.
실제 진료에서 확인됐다는 말이 함께 나올 때
답이 후향 연구를 소개한 뒤 「이후 실제 진료에서도 확인됐다」는 말을 덧붙이는 일이 있습니다. 이 말은 다른 연구를 가리킵니다. 앞으로 오는 환자에게 모형을 먼저 돌리고 결과를 기다려 견준 연구가 따로 있어야 나올 수 있는 말입니다.
이 문장은 앞 문장과 떼어 따로 한 줄로 옮기고, 그 말을 받칠 원출처가 인용 출처에 있는지를 찾습니다. 있으면 그 연구의 시점 구절로 새로 매기고, 없으면 원문을 열지 못한 것과 같으므로 보류입니다. 후향 연구의 줄에 이 말을 합쳐 값을 올리지 않습니다.