검색형 AI와 병원 상담 챗봇, 한 진단표에 섞지 않는 이유

답변이 근거로 삼는 자료의 범위

두 답변은 틀렸을 때 고칠 곳도 다릅니다. 검색형 AI의 답변이 틀렸다면 병원이 손댈 수 있는 곳은 공개된 페이지이고, 상담 챗봇의 답변이 틀렸다면 손댈 곳은 챗봇에 넣은 자료나 설정입니다. 한 표에 섞인 오류 목록을 받은 사람은 줄마다 어디를 고쳐야 하는지부터 다시 가려야 합니다.

판정은 진단에 쓰려는 답변마다 세 가지 가운데 하나입니다. 서비스가 공개 자료를 근거로 답한다는 사실이 서비스의 공식 설명이나 답변의 인용 표시로 드러나면 공개 검색 표, 병원이 넣은 자료로 답하도록 만든 챗봇이면 병원 제공 자료 표, 어느 자료로 답하는지를 가릴 수 없으면 범위 미상입니다. 범위 미상인 답변은 두 표 어느 쪽에도 넣지 않습니다.

답변을 배정하는 세 판정

두 표 모두 병원이 승인한 사실과 맞대지만, 그 앞에 거치는 자료가 다릅니다. 공개 검색 표에서는 답변이 인용한 공개 페이지에 무엇이 실려 있는지를 먼저 읽고, 병원 제공 자료 표에서는 챗봇에 넣은 자료에 무엇이 실려 있는지를 먼저 읽습니다.

상담 챗봇이 맞게 답했다는 사실은 그 내용이 공개되어 있다는 근거가 아닙니다. 챗봇에만 넣고 공개 페이지에는 싣지 않은 사실은 공개 검색 표에서는 여전히 공개 정보의 공백입니다. 두 표를 합치면 챗봇의 맞는 답이 이 공백을 가립니다.

검색형 AI가 어떤 자료를 찾아 답하는지에 대해 서비스의 공식 설명에 없는 부분은 공식 안내에 없음으로 쓰고, 진단 기록으로 가립니다. 서비스 이름만으로 자료의 범위를 짐작해 배정하지 않습니다.

답변을 표에 배정하는 다섯 단계

1. 진단 담당이 답변 원문, 질문 원문, 질문한 날짜, 답변을 받은 서비스나 챗봇의 이름과 주소를 저장합니다.
2. 진단 담당이 그 서비스가 스스로 밝힌 공식 설명에서 어떤 자료로 답하는지를 말한 문장을 찾아 옮기고, 없으면 없다고 밝힙니다.
3. 병원 상담 챗봇이라면 실장이 챗봇에 넣은 자료의 목록과 넣은 날짜, 공개 검색을 함께 쓰도록 설정했는지를 넘깁니다.
4. 진단 담당이 답변에 인용 표시가 있는지 읽고, 있으면 인용된 주소가 공개 페이지인지 챗봇에 넣은 자료인지를 가립니다.
5. 진단 담당이 답변마다 세 판정 가운데 하나를 매겨 표에 넣고, 범위 미상인 답변은 목록으로 묶어 원장에게 넘깁니다.

첫째 단계에서 병원 상담 챗봇에 묻는 질문은 진단 담당이 직접 넣은 질문으로 한정합니다. 환자가 챗봇과 나눈 실제 대화에는 이름, 연락처, 증상이 들어 있을 수 있어 진단 자료로 옮기지 않습니다. 질문할 때도 예약을 실제로 넣거나 상담 접수를 끝까지 진행하지 않습니다.

둘째 단계에서 옮기는 것은 서비스가 스스로 낸 설명의 문장입니다. 소개 기사나 이용 후기에 실린 설명은 공식 설명이 아니므로 옮기지 않고, 설명의 주소와 읽은 날짜를 함께 남깁니다.

셋째 단계에서 넣은 자료의 목록이 없으면 그 챗봇의 답변은 맞댈 기준이 없습니다. 이때는 챗봇을 공급한 곳에 자료의 범위를 물어 달라고 실장에게 요청하고, 답을 받기 전에는 범위 미상으로 매깁니다.

넷째 단계는 공개 검색을 함께 쓰도록 설정된 챗봇에서 필요합니다. 그런 챗봇은 답변마다 근거가 다를 수 있으므로, 답변에 표시된 근거로 가릅니다. 표시가 없어 가를 수 없는 답변은 범위 미상입니다.

두 진단표가 다른 네 가지

넷째 줄은 오류의 무게를 따질 때 쓰입니다. 같은 진료 시간 오류라도 한쪽은 병원을 찾기 전의 사람에게, 다른 쪽은 이미 병원 채널에 들어온 사람에게 전해집니다. 어느 쪽이 더 무거운지는 이 글이 정하지 않으며, 두 표를 나눠야 그 물음을 따로 따질 수 있습니다.

챗봇에 넣은 자료가 공개 홈페이지의 글을 옮긴 것이라도 표는 나눕니다. 챗봇 자료는 넣은 날의 사본이어서, 홈페이지를 고친 뒤에도 옛 내용으로 남아 있을 수 있습니다.

두 표를 나눠 맡는 사람들의 역할

표를 나누면 맡는 사람도 나뉩니다. 누가 무엇을 하지 않는지까지 정해야 두 표가 다시 섞이지 않습니다.

진단 담당은 답변을 배정하고 두 표를 따로 씁니다. 하지 않는 일은 두 표의 결과를 하나의 비율이나 점수로 합치는 일입니다. 공개 검색 표에서 열 건 가운데 몇 건이 맞았고 병원 제공 자료 표에서 몇 건이 맞았다는 것을 더해 전체 정확도처럼 쓰면, 그 숫자는 어느 자료의 상태도 말하지 못합니다. 보고서에는 두 표를 나란히 싣되 합계 줄을 만들지 않습니다.

실장은 챗봇에 넣은 자료의 목록을 관리합니다. 목록에는 자료의 이름, 넣은 날짜, 그 자료가 병원의 어느 승인 문서에서 나왔는지를 씁니다. 병원의 운영 정보가 바뀌면 공개 페이지를 고치는 일과 챗봇 자료를 고치는 일이 따로 있다는 것을 실장이 챙깁니다. 한쪽만 고치면 두 표에서 서로 다른 값이 나옵니다.

챗봇 자료를 관리하는 담당이나 챗봇을 공급한 곳은 병원 제공 자료 표의 오류를 받아 자료나 설정을 고칩니다. 이 담당에게는 공개 검색 표의 오류를 넘기지 않습니다. 검색형 AI의 답변은 챗봇 자료를 고쳐서 달라지는 것이 아니기 때문입니다.

공개 페이지를 고칠 권한이 있는 담당은 공개 검색 표의 오류 가운데 병원 페이지가 출처인 줄을 받습니다. 고친 뒤에 검색형 AI의 답변이 달라지는지는 같은 질문을 다시 물어 기록할 일이고, 고쳤다고 해서 달라진다고 약속하지 않습니다.

의료진은 두 표 어느 쪽이든 의료 내용이 든 답변을 읽습니다. 상담 챗봇이 증상에 대해 답하거나 진료를 권하는 문장을 냈다면, 그 문장이 병원이 챗봇에 허용한 범위 안인지를 의료진과 원장이 따집니다. 진단 담당은 그런 답변이 있었다는 사실과 원문을 넘기는 데서 그칩니다.

원장은 범위 미상 목록을 받아 어떻게 할지를 정합니다. 챗봇을 공급한 곳에 자료의 범위를 밝혀 달라고 요청할지, 밝혀질 때까지 그 챗봇을 진단에서 뺄지를 정하고, 정한 내용은 목록에 날짜와 함께 남깁니다.

공개 검색 표에 넣을 답변을 모으는 방법

표를 나눈 뒤에는 표마다 질문을 따로 정합니다. 병원 제공 자료 표의 질문은 환자가 병원 채널에 들어와 묻는 말에서 나오고, 공개 검색 표의 질문은 병원을 아직 정하지 않은 사람이 AI에 묻는 말에서 나옵니다. 공개 검색 답변의 바탕이 되는 병원 정보의 탐색·선택·설명 흐름과 신호는 AI 검색 노출 원리에서 다룹니다.

두 표의 질문이 겹치는 항목은 표시해 놓습니다. 진료 시간이나 주차처럼 양쪽에서 모두 묻는 사실은 운영 정보가 바뀔 때 두 표에서 함께 다시 물어야 하는 항목입니다.