원인 하나로 모든 오류를 설명한 병원 GEO 진단서의 반례 확인

원인 하나로 묶은 진단서에서 확인하는 것

공통 원인은 매력 있는 설명입니다. 「병원 홈페이지에 정리된 기관 정보가 없어서」 같은 한 문장으로 서른 건의 오류가 풀리면 읽는 사람은 고칠 일도 하나라고 받아들입니다. 그런데 서른 건 가운데 그 원인이 실제로 확인된 것이 세 건이고 나머지는 같은 원인일 것이라고 묶은 것이라면, 확인된 것은 세 건의 원인이고 나머지는 가설입니다.

검수는 그 가설이 틀렸다고 말하려는 것이 아닙니다. 확인된 범위와 가설의 범위를 나누어, 해결책 하나로 고쳐질 오류와 그렇지 않을 수 있는 오류를 원장이 구별해 읽게 하려는 것입니다. 판정 값은 확인된 원인, 가설에 머묾, 반례, 자료 없음 넷이고, 오류 하나하나에 매깁니다.

원인으로 들 수 있는 것과 없는 것

오픈AI의 수집기 안내는 robots.txt에서 OAI-SearchBot을 막은 사이트는 챗GPT의 검색 답에 표시되지 않는다고 밝힙니다. 이렇게 서비스가 스스로 밝힌 관계는 원인의 근거로 들 수 있습니다. 병원 글의 짜임이나 표시 방식이 AI 답의 틀린 값으로 이어지는 경로는 공식 안내에 나와 있지 않아 진단 기록으로 확인할 부분입니다.

그래서 진단서가 든 원인이 공식 안내에 있는 관계인지, 진단 담당의 관측에서 나온 것인지, 담당의 경험에서 나온 짐작인지를 먼저 가립니다. 공식 안내에 있는 관계라도 그 조건이 병원 사이트에 실제로 있는지는 따로 확인해야 합니다.

원인 설명 검수표

진단서가 공통 원인으로 묶은 오류는 하나씩 아래 원인 설명 검수표의 여섯 줄 가운데 하나로 판정합니다.

원인 설명 검수표의 다섯째 줄은 오류가 아닌 건에서 나오는 반례입니다. 기관 정보가 정리되어 있지 않아 오류가 생긴다는 설명이 맞다면, 같은 조건에서 답이 맞게 나온 건은 그 설명만으로 풀리지 않습니다. 그래서 검수에는 오류로 매긴 건만이 아니라 맞게 나온 건까지 담은 진단 장부가 필요합니다. 반례가 하나라도 있으면 진단서는 「모든 오류의 원인」이라는 말을 쓰지 못하고, 그 원인으로 설명되는 오류의 범위를 밝혀야 합니다.

인과 증거 구분표

원인이 확인되었다고 하려면 아래 인과 증거 구분표의 세 가지 가운데 하나가 그 오류에 붙어 있어야 합니다.

인과 증거 구분표의 셋째 줄은 조심해서 씁니다. 고친 뒤에 오류가 사라졌다는 한 번의 관측은 그 조건이 원인이었다는 것을 뒷받침하지만, 같은 때에 다른 것이 함께 달라졌을 수 있습니다. 그래서 고친 뒤의 관측은 그 한 건의 증거로만 쓰고, 고치지 않은 다른 오류에까지 넓혀 쓰지 않습니다.

세 가지 가운데 어느 것도 붙어 있지 않은 오류는 원인 설명 검수표의 둘째 줄입니다. 여러 오류가 비슷한 때에 생겼다는 것, 같은 종류의 오류라는 것, 담당이 다른 병원에서 같은 일을 겪었다는 것은 가설을 세우게 한 까닭일 뿐 증거가 아닙니다.

오류마다 원인을 다시 읽는 다섯 단계

1. 실장이 진단서에서 공통 원인을 말한 문장을 옮기고, 그 원인이 어떤 조건을 가리키는지 진단 담당에게 한 문장으로 받습니다.
2. 실장이 진단 담당에게 진단 장부를 받아, 공통 원인으로 묶인 오류에 번호를 매깁니다.
3. 진단 담당이 오류마다 인과 증거 구분표의 증거가 있으면 붙이고, 없으면 「증거 없음」이라고 씁니다.
4. 실장이 장부에서 공통 원인의 조건이 있는데 답이 맞게 나온 건과, 조건이 없는데 오류가 난 건을 찾아 표시합니다.
5. 실장이 오류마다 원인 설명 검수표의 줄을 매기고, 확인된 원인과 가설, 반례의 수를 나누어 원장에게 올립니다.

첫째 단계에서 조건을 한 문장으로 받는 까닭은 조건이 분명해야 반례를 찾을 수 있기 때문입니다. 「기관 정보가 부족하다」로는 어느 건이 조건에 드는지 가를 수 없고, 「홈페이지의 진료 시간이 글자가 아니라 그림으로만 실려 있다」면 가를 수 있습니다. 담당이 조건을 가를 수 있게 써 주지 못하면 그 원인은 아직 가설로도 다듬어지지 않은 것이어서, 묶인 오류를 모두 원인 설명 검수표의 둘째 줄로 매기고 기록에 「조건 불명」이라고 씁니다.

원인 설명을 읽을 때 자주 틀리는 네 경우

첫째는 확인된 몇 건을 보고 나머지도 확인된 것으로 읽는 경우입니다. 진단서가 세 건의 출발 출처를 자세히 보여 준 뒤 「나머지도 같은 까닭」이라고 쓰면, 읽는 사람은 서른 건 모두가 확인된 것처럼 받아들입니다. 검수에서는 증거가 붙은 건과 붙지 않은 건의 수를 따로 셉니다.

둘째는 반례를 예외로 치워 기록하지 않는 경우입니다. 설명에 맞지 않는 한두 건을 「특이한 경우」라며 빼면 설명은 깔끔해지지만, 바로 그 건이 다른 원인이 있다는 것을 알려 주는 건입니다. 반례는 수가 적어도 목록에 남기고, 그 건의 출발점을 따로 찾습니다.

셋째는 해결책에서 거꾸로 원인을 읽는 경우입니다. 진단서의 뒷부분이 한 가지 작업을 권하고 있으면, 앞부분의 원인도 그 작업으로 고쳐지는 것 하나로 모일 수 있습니다. 검수는 권고를 읽기 전에 원인 부분만 먼저 읽고, 오류마다의 증거를 매긴 뒤에 권고와 맞댑니다.

넷째는 검수하는 쪽이 다른 원인을 대신 지어내는 경우입니다. 공통 원인이 가설에 머문다고 해서 실장이 「그렇다면 이것 때문일 것」이라고 쓰면 가설이 하나 더 생길 뿐입니다. 검수 기록에는 증거가 있는지 없는지만 쓰고, 원인을 모른다는 것도 그대로 남깁니다.

검수 결과를 넘기는 방법

실장은 확인된 원인의 오류, 가설에 머문 오류, 반례를 세 묶음으로 나누어 원장에게 넘깁니다. 원장은 권고된 작업이 첫 묶음에는 닿고 나머지에는 닿지 않을 수 있다는 점을 알고 범위를 정합니다. 진단과 고치는 일을 같은 곳에 맡길지, 맡긴다면 가설에 머문 오류를 어떻게 다룰지는 병원 GEO 대행의 범위를 정할 때 함께 정합니다.

가설과 반례 목록은 진단을 맡은 곳이 바뀌어도 이어져야 하는 기록입니다. 다음에 맡는 곳이 같은 가설을 처음부터 다시 세우지 않으려면 어느 오류가 어떤 증거로 확인되었는지가 넘어가야 하고, 넘겨받을 자료의 목록은 GEO 대행 종료와 인계에 정리되어 있습니다.

반례를 정할 수 없는 설명과 원인이 겹친 오류