진단 담당이 만든 예상 답변, 실제 관측 응답과 나누는 표시법

예상 답변을 실제 응답과 함께 평가할 수 없는 까닭

예상 답변이 쓸모없다는 뜻은 아닙니다. 판정표를 병원에 설명할 때, 새 담당에게 매기는 법을 가르칠 때, 점검표가 빠뜨리는 경우가 없는지 시험할 때 쓰입니다. 쓰임이 다를 뿐입니다. 예상 답변은 진단의 도구를 다듬는 데 쓰고, 병원의 상태를 말하는 데에는 쓰지 않습니다.

그래서 자료마다 종류를 표시합니다. 표시 값은 관측 응답, 옮겨 쓴 응답, 예상 답변, 출처 알 수 없음의 넷입니다. 옮겨 쓴 응답은 실제로 있었던 응답이지만 원문이 보관되지 않아 누군가의 기억이나 요약으로만 남은 것입니다. 출처 알 수 없음은 어떻게 생긴 자료인지를 기록으로 되찾을 수 없는 것입니다. 병원 현황의 건수에는 관측 응답만 넣습니다.

섞임은 나쁜 뜻 없이 생깁니다. 진단서 초안에 설명용 예시를 넣어 두었다가 예시 표시가 지워지거나, 관측이 모자란 항목을 「이런 답이 나올 것」이라는 글로 메워 넣으면서 시작됩니다. 한 번 섞이면 글만 읽어서는 가를 수 없으므로, 자료가 생길 때 표시합니다.

병원 쪽에서 이 구분이 무거운 까닭은 진단서가 결정의 근거로 쓰이기 때문입니다. 원장은 오류 건수를 읽고 어느 글부터 고칠지, 대행 계약을 이어 갈지, 예산을 어디에 쓸지를 정합니다. 일어나지 않은 오류가 건수에 들어 있으면 병원은 없는 문제를 고치는 데 시간을 쓰고, 실제로 일어난 오류는 그만큼 뒤로 밀립니다.

자료 종류에 따른 쓰임

둘째 줄은 버리는 자료가 아닙니다. 환자나 직원이 「AI가 우리 병원을 이렇게 말하더라」고 전한 말은 원문이 없어 판정에 쓸 수 없지만, 어떤 질문을 넣어 관측해야 하는지를 알려 줍니다. 전해 들은 내용과 같은 응답이 관측되면 그때 관측 응답으로 새로 기록합니다.

넷째 줄을 쓰지 않는 까닭은, 그 자료가 예상 답변일 수 있기 때문입니다. 관측 응답처럼 생긴 글이라도 질문과 날짜, 서비스를 되찾을 수 없으면 일어난 일이라고 말할 근거가 없습니다. 따로 보관하는 까닭은 뒤에 경위가 밝혀질 수 있어서이며, 밝혀지면 그때 종류를 고쳐 매깁니다.

진단 장부에 자료마다 남기는 여섯 칸

진단 장부는 진단에 쓴 자료를 한 줄씩 올리는 장부입니다. 자료가 생길 때 아래 여섯 칸을 채워, 나중에 종류를 가를 수 있게 합니다.

관측 응답으로 매기려면 둘째, 셋째, 넷째 칸이 모두 채워져 있어야 합니다. 질문과 날짜가 있어도 원문이 보관돼 있지 않으면 옮겨 쓴 응답입니다. 담당이 응답을 읽고 요약만 써 놓은 줄이 여기에 듭니다. 요약에는 담당의 풀이가 섞이므로 판정의 근거로 삼지 않습니다. 원문을 보관할 때에는 판정 대상 문장만이 아니라 응답 전체와 질문, 응답에 달린 출처 표시까지 함께 남깁니다. 응답의 어느 문장이 뒤에 판정 대상이 될지를 관측할 때에는 알 수 없기 때문입니다.

예상 답변은 첫째 칸에 종류를 쓰는 것만으로 모자랍니다. 글 자체에도 표시를 남깁니다. 예상 답변의 첫 줄에 「설명용으로 지어낸 글」이라고 쓰고, 파일 이름에도 같은 표시를 넣습니다. 장부에서 떨어져 나와 다른 문서에 붙여지더라도 표시가 함께 가게 하려는 것입니다.

여섯째 칸은 쓰임을 가릅니다. 정기 관측으로 얻은 응답과 제보를 확인하려고 넣은 질문의 응답은 둘 다 관측 응답이지만, 뒤의 것은 오류가 있다는 말을 듣고 찾은 것이어서 오류가 나올 가능성이 높은 질문입니다. 현황의 비율을 셈할 때 둘을 섞으면 오류의 비율이 실제보다 높게 나옵니다. 건수에는 둘 다 넣되 비율은 정기 관측만으로 셈하고, 제보 확인 건은 따로 늘어놓습니다.

실제 응답을 어떤 질문으로, 얼마나 되풀이해 모을지는 이 글의 범위가 아닙니다. 관측 절차와 구분하여, AI가 병원 정보를 찾고 고르고 설명하는 흐름과 신호는 AI 검색 노출 원리에서 공식 문서 범위 안에서 다룹니다.

이미 섞인 진단 자료를 가르는 네 단계

1. 진단서와 장부에 실린 응답 글을 모두 한 목록으로 뽑습니다. 본문에 인용된 글, 표에 든 글, 붙임 자료의 글을 빠뜨리지 않습니다.
2. 글마다 장부의 여섯 칸을 찾아 채웁니다. 장부에 줄이 없는 글은 만든 사람에게 경위를 묻고, 답을 들은 날짜와 함께 씁니다.
3. 칸의 채워짐에 따라 네 값 가운데 하나를 매깁니다. 만든 사람이 기억하지 못하거나 물을 사람이 없으면 출처 알 수 없음입니다.
4. 현황 집계를 관측 응답만으로 다시 셈하고, 앞의 집계와 달라진 건수를 원장에게 알립니다.

둘째 단계에서 만든 사람의 기억만으로 관측 응답으로 되돌리지 않습니다. 「그때 실제로 물어본 것이 맞다」는 답을 들었더라도 원문이 보관돼 있지 않으면 옮겨 쓴 응답입니다. 기억은 경위를 채우는 데 쓰고, 종류는 남은 기록으로만 매깁니다.

넷째 단계에서 건수가 줄어드는 것을 감추지 않습니다. 앞의 진단서가 오류를 열 건으로 보고했는데 관측 응답이 여섯 건뿐이었다면, 나머지 네 건이 어떤 종류였는지를 밝혀 고친 집계를 넘깁니다. 병원이 그 네 건을 근거로 이미 글을 고쳤다면, 고친 것이 헛일이었다는 뜻은 아닙니다. 다만 그 오류가 실제로 있었다고 말할 근거는 없다는 점을 알립니다.

가른 뒤에는 예상 답변에서 찾았던 오류를 관측할 질문의 목록으로 옮깁니다. 담당이 그런 답이 나올 수 있다고 여긴 데에는 까닭이 있을 것이므로, 그 까닭이 된 질문을 실제로 넣어 관측합니다. 관측된 응답에 같은 오류가 있으면 그때 현황에 넣습니다. 관측해도 그 오류가 나오지 않았다면 그 사실도 장부에 올려, 같은 짐작이 다음 진단에서 다시 예상 답변으로 쓰이지 않게 합니다.

진단서에 싣는 방식과 넘기는 묶음

예상 답변을 진단서에 실어야 할 때에는 관측 응답과 다른 칸에 싣습니다. 판정표를 설명하는 절에만 두고, 현황을 보고하는 절에는 두지 않습니다. 실은 곳마다 「설명용으로 지어낸 글이며 관측된 응답이 아님」이라고 밝힙니다.

원장에게는 현황 집계와 함께 자료 종류별 건수를 넘깁니다. 관측 응답이 몇 건이고, 그 가운데 정기 관측과 제보 확인이 저마다 몇 건인지, 옮겨 쓴 응답과 출처 알 수 없음이 몇 건인지를 씁니다. 원장은 이 수를 읽고 현황이 어느 만큼의 자료에 기대고 있는지를 알 수 있습니다.

수정 권고의 근거는 관측 응답에 한정합니다. 예상 답변에서 나온 걱정을 병원에 전하고 싶을 때에는 권고가 아니라 「관측할 질문」으로 전합니다. 병원 글을 고친다고 AI 답변이 달라진다고 약속하지 않는다는 점은 어느 자료에서 나온 권고든 같습니다.