오류를 줄이는 일과 안내를 잃는 일
정확한 병원 자료를 지우면 AI 오류가 줄 것 같다는 제안은, 지워서 잃는 안내가 무엇인지를 함께 적은 뒤에 평가합니다. 오류의 근거가 그 자료의 어느 표현으로 좁혀지고 자료가 맡은 필수 안내가 다른 곳에 없다면, 삭제 대신 그 표현을 고치는 쪽을 권고합니다. 지우면 오류가 줄어든다는 결과는 진단이 약속하지 않습니다.
답이 병원의 한 페이지를 들어 틀린 말을 전하면, 그 페이지를 내리자는 말이 먼저 나오기도 합니다. 그런데 그 페이지가 틀린 것이 아니라면 이야기가 달라집니다. 수술 뒤 주의 사항, 비급여 진료비 안내, 휴진 공지처럼 정확한 자료는 환자가 병원에 오기 전에 읽어야 하는 안내를 맡고 있습니다. 답이 그 페이지의 한 문장을 잘못 읽었다고 페이지를 통째로 내리면, 답의 오류가 사라지는지는 알 수 없고, 환자가 읽을 안내는 확실히 사라집니다.
정확한 원문은 고치지 않는다는 원칙에서 한 걸음 더 나아간 물음입니다. 고치지 않는 것을 넘어 지우자는 제안에는 새 공백이라는 값이 붙습니다. 진단은 그 값을 권고 안에 적어, 병원이 얻는 것과 잃는 것을 한 줄에서 읽게 합니다.
삭제 제안은 대행사, 홍보 담당, 원장 누구에게서든 나올 수 있고, 오류를 빨리 없애고 싶다는 마음에서 나옵니다. 진단은 그 마음을 탓하지 않고, 제안을 세 물음에 넣어 결과를 권고로 돌려줍니다. 권고는 병원의 결정을 대신하지 않으며, 결정에 필요한 것을 한 곳에 모으는 데 그칩니다.
삭제 제안을 따지는 세 가지 물음
| 물음 | 맞대는 자료 | 쓰는 꼴 |
|---|---|---|
| 오류의 근거가 어느 표현인가 | 답의 문장과 원문의 해당 문단 | 좁혀짐, 좁혀지지 않음 |
| 그 자료가 맡은 필수 안내는 무엇인가 | 병원이 정한 안내 목록과 공식 페이지 | 그 자료에만 있음, 다른 곳에도 같게 있음 |
| 지우면 생기는 공백은 무엇인가 | 앞의 두 물음의 결과 | 잃는 안내의 이름과 읽는 사람 |
첫째 물음에서 「좁혀짐」은 답의 틀린 문장이 원문의 특정 표현과 이어진다는 것을 문장으로 밝혀 쓸 수 있을 때만 씁니다. 답이 원문의 여러 문단을 섞어 전했거나 어느 표현에서 왔는지 가릴 수 없으면 「좁혀지지 않음」입니다. 둘째 물음의 필수 안내는 병원이 방문 전에 읽어야 한다고 정한 안내이고, 진단 담당이 스스로 정하지 않습니다. 셋째 물음은 앞의 두 결과를 옮겨 쓰는 칸이어서 새 판단을 넣지 않습니다.
제안과 자료를 맞대는 순서
- 질문과 답 전문, 응답 시각, 서비스 이름을 저장하고, 답의 틀린 문장과 답이 단 출처를 옮깁니다.
- 삭제 제안의 근거를 옮깁니다. 누가 어떤 까닭으로 지우자고 했는지를 제안 문장 그대로 씁니다.
- 원문의 해당 문단을 옮기고, 원문이 정확한지를 병원 자료와 맞댑니다.
- 위 표의 세 물음에 값을 씁니다.
- 아래 표로 권고를 정합니다.
넷째 단계에서 필수 안내 목록은 병원이 이미 가진 것을 받습니다. 목록이 없으면 병원에 그 자료가 누구에게 무엇을 알리려고 만든 것인지를 물어 한 줄로 받고, 그 회신을 목록 대신 씁니다. 회신도 없으면 표의 첫째 줄입니다.
셋째 단계에서 원문이 부정확했다면 이 판정이 아닙니다. 원문을 고치는 판정으로 넘기고, 메모에 「원문 오류」를 씁니다. 이 표는 원문이 병원 자료와 같을 때에만 씁니다.
둘째 단계의 근거가 「AI가 이 페이지를 자꾸 틀리게 읽는다」 같은 인상이면, 몇 번의 답에서 어떻게 틀렸는지를 옮겨 인상을 기록으로 채웁니다. 제안한 사람이 든 답이 없으면 「근거 답 없음」으로 쓰고, 진단 담당이 받은 답만으로 첫째 물음을 채웁니다.
세 물음의 결과에 따른 권고표
| 필수 안내 | 오류의 근거 | 권고 |
|---|---|---|
| 병원이 정한 안내 목록을 받지 못함 | 어느 쪽이든 | 기준 미정 |
| 그 자료에만 있음 | 좁혀짐 | 삭제 대신 그 표현을 고침 |
| 그 자료에만 있음 | 좁혀지지 않음 | 삭제를 권하지 않음, 근거 미상 기록 |
| 다른 곳에도 같게 있음 | 좁혀짐 | 그 표현을 고침, 삭제는 병원 판단 |
| 다른 곳에도 같게 있음 | 좁혀지지 않음 | 삭제의 손실 적음, 효과 미상 |
「삭제를 권하지 않음, 근거 미상 기록」은 지울 수 있는 곳이 자료 전체뿐인데 그 자료만 맡은 안내가 있는 경우입니다. 이때 지우면 잃는 것은 분명하고 얻는 것은 알 수 없으므로, 오류가 어디에서 왔는지 모른다는 사실을 기록하고 다음 답을 기다립니다. 「그 표현을 고침, 삭제는 병원 판단」은 같은 안내가 다른 곳에도 있어 지워도 공백은 적지만, 진단이 권하는 쪽은 여전히 표현을 고치는 쪽이라는 뜻입니다.
「삭제의 손실 적음, 효과 미상」은 병원이 지우기로 정해도 안내가 남는 경우입니다. 그래도 지운 뒤에 답의 오류가 줄어든다는 말은 권고에 쓰지 않습니다. 어느 권고든 잃는 안내의 이름을 곁에 쓰고, 「기준 미정」은 안내 목록을 받은 뒤 같은 표로 다시 정합니다. 이 권고표는 삭제 제안이 들어왔을 때에만 쓰고, 제안이 없는데 진단 담당이 먼저 지우자고 권하는 일은 없습니다.
권고서에 넣는 네 칸
삭제에 관한 권고는 병원 안에서 결정의 근거로 쓰이므로, 한 쪽의 이득만 쓰인 문서가 되지 않도록 네 칸을 채웁니다.
오류 칸에는 답의 틀린 문장과 응답 시각, 몇 번의 답에서 같은 오류가 나왔는지를 씁니다. 받은 답의 수가 적으면 그 수를 그대로 쓰고, 늘 그렇다고 넓혀 쓰지 않습니다. 같은 오류가 여러 서비스에서 나왔으면 서비스마다 줄을 나눕니다.
원문 칸에는 오류와 이어진 원문의 표현과, 그 자료가 정확하다는 것을 맞댄 병원 자료를 씁니다. 표현을 고치는 권고라면 어느 낱말이 두 가지로 읽히는지, 어느 조건이 문장에서 떨어져 있는지처럼 고칠 곳을 밝혀 씁니다. 새 문장을 진단 담당이 대신 짓지는 않고, 고친 뒤에도 필수 안내의 뜻이 남는지를 병원이 맞댈 수 있게 원문과 고칠 곳을 나란히 씁니다.
손실 칸에는 지우면 잃는 안내의 이름, 그 안내를 읽는 사람, 같은 안내가 남는 곳을 씁니다. 수술을 앞둔 환자, 처음 오는 사람, 보호자처럼 읽는 사람을 쓰면 병원이 손실의 무게를 가늠할 수 있습니다.
효과 칸에는 「지운 뒤 답이 어떻게 될지는 관측 전」이라고 씁니다. 지운 뒤에 받은 답에서 오류가 사라졌더라도 그것이 삭제 때문인지는 따로 가려야 하므로, 효과 칸에 결론을 먼저 채우지 않습니다.
네 칸 가운데 하나라도 비어 있으면 권고서를 병원에 넘기지 않고 비어 있는 칸의 이름을 먼저 전합니다. 손실 칸이 빈 권고서는 지우는 쪽으로 기울어 읽힐 수 있기 때문입니다.
측정이 걸린 페이지와 병원의 결정
지우자는 자료가 광고의 도착 페이지이거나 문의를 세는 페이지였다면, 지웠을 때 끊기는 측정이 무엇인지도 손실 칸에 들어가야 합니다. 그 칸은 광고 성과 측정 담당에게 물어 채웁니다.
병원이 지우기로 정했다면 지운 날짜와 안내를 옮긴 곳의 주소를 받아 권고서 끝에 씁니다. 그 뒤의 답은 같은 표로 다시 맞댑니다.
삭제 여부는 병원이 환자에게 무엇을 먼저 알리려 하는지와 닿는 일입니다. 네 칸을 채운 권고서는 병원마케팅 전략을 정하는 사람이 받아 결정합니다.
정확한 자료 삭제 제안 자주 묻는 질문
자료를 지우지 않고 검색에서만 빼면 손실이 없나요?
검색에서 빼면 페이지는 남지만, 검색으로 찾아오던 사람은 그 안내에 닿기 어려워질 수 있습니다. 손실 칸에 「검색으로 닿는 길이 줄어듦」을 쓰고, 같은 표로 권고를 정합니다. 검색에서 빼는 방법과 그 결과는 각 검색 서비스의 공식 안내에 있는 만큼만 옮깁니다.
대행사가 삭제하면 오류가 줄었던 다른 병원의 경험을 들면 어떻게 하나요?
그 경험은 제안의 근거 칸에 옮기되, 이 병원의 오류와 원문으로 첫째 물음을 채웁니다. 다른 병원에서 있었던 일로 이 병원의 효과를 쓰지 않습니다. 그 병원의 자료가 이 병원의 자료와 같은 꼴이었는지도 알 수 없습니다.
같은 안내를 다른 페이지로 옮긴 뒤에 지우면 어느 줄인가요?
옮긴 뒤에는 다른 곳에도 같게 있는 안내이므로 표의 넷째나 다섯째 줄에서 권고를 정합니다. 옮긴 날짜와 옮긴 곳의 주소를 손실 칸에 씁니다. 옮긴 곳이 방문자가 찾아가기 어려운 곳이면 그 사실도 손실 칸에 씁니다.
원문의 표현을 고쳤는데도 같은 오류가 이어지면 그때는 지워도 되나요?
고친 날짜 뒤에 받은 답을 오류 칸에 더하고 같은 표로 다시 정합니다. 필수 안내가 그 자료에만 있으면 권고는 달라지지 않고, 표현을 한 번 더 고치거나 같은 안내를 다른 곳에도 싣는 쪽을 씁니다.
삭제 제안이 병원 원장에게서 나왔다면 권고를 달리 쓰나요?
달리 쓰지 않습니다. 누가 제안했는지는 근거 칸에 쓰고, 권고는 세 물음의 결과로 정합니다. 결정은 병원이 스스로 합니다. 진단 담당은 권고를 제안한 사람의 뜻에 맞추지 않고, 세 물음의 결과를 그대로 전합니다.
효과를 약속하지 않는 권고 문장
권고서에는 「이 표현을 고치면 AI가 바르게 답합니다」「지우면 오류가 사라집니다」 같은 문장을 쓰지 않습니다. 답을 내는 서비스가 병원의 자료를 언제 어떻게 다시 읽는지는 각 서비스의 공식 안내에 있는 만큼만 알 수 있고, 진단은 다음 답을 미리 알지 못합니다. 대신 「오류와 이어진 표현은 이 문장이고, 고치면 두 가지로 읽히는 곳이 줄어듭니다」처럼 원문에 생기는 변화만 씁니다. 고친 뒤에 답을 다시 받을지, 언제 받을지는 병원과 정하고, 받은 뒤에도 달라진 까닭을 고친 것 하나로 돌리지 않습니다. 효과를 약속하지 않는 권고는 덜 시원해 보일 수 있지만, 약속이 어긋났을 때 병원이 잃은 안내를 되찾는 데 드는 품을 생각하면 그쪽이 병원에 덜 해롭습니다. 권고서의 끝에는 권고를 쓴 사람과 날짜, 맞댄 답의 수와 서비스 이름을 함께 씁니다.