추천 이유 오류가 문의에 준 영향을 가설로 남기는 보고 방식

AI 답변의 잘못된 추천 이유가 실제 문의에 영향을 줬는지 알 수 없을 때, 증빙으로 밝혀진 진술 오류와 재지 않은 행동 영향을 다른 칸에 쓰고 영향은 가설 문장과 자료 상태로만 보고하는 방식입니다.

밝혀진 오류와 재지 않은 영향을 다른 칸에 쓰는 보고

핵심 답

잘못된 추천 이유가 문의에 영향을 줬는지 모를 때는 모른다는 사실을 그대로 보고합니다. 보고는 두 칸으로 나눕니다. 추천 이유가 사실과 다르다는 것은 증빙으로 밝혀진 오류이고, 그 오류 때문에 문의가 늘거나 줄거나 달라졌는지는 재지 않은 영향입니다. 앞의 칸에는 사실을 쓰고, 뒤의 칸에는 가설을 가설이라고 밝혀 씁니다.

AI 답변이 병원을 추천하면서 「야간에도 진료해서」라는 이유를 댔는데 병원에 야간 진료가 없다면, 이유가 틀렸다는 것은 진료 시간표 한 장으로 밝혀집니다. 그러나 그 답변을 읽고 야간에 전화한 사람이 있었는지는 진료 시간표로도 답변으로도 알 수 없습니다. 그것을 말해 줄 수 있는 것은 병원의 접수 기록뿐이고, 그 기록에 연락한 까닭이 남아 있지 않은 경우가 많습니다.

영향을 지어내면 보고가 두 방향으로 틀어집니다. 「이 오류로 문의가 줄었을 것」이라고 쓰면 재지 않은 손해가 사실처럼 남고, 「영향은 없었음」이라고 쓰면 재지 않은 것이 확인된 것처럼 남습니다. 어느 쪽도 자료가 없습니다. 진단 보고가 병원의 결정에 쓰이려면, 재어진 것과 짐작한 것이 읽는 사람 눈에 다른 것으로 남아야 합니다.

영향 칸에는 두 가지를 씁니다. 그 오류를 믿은 사람이 무엇을 하게 될 수 있는지를 쓴 가설 문장과, 그 가설을 가릴 자료가 병원에 있는지를 밝힌 자료 상태입니다. 자료 상태는 세 가지 값입니다. 그 이유를 들고 온 문의가 기록에 있으면 기록 있음, 연락한 까닭을 남기는 기록은 있으나 그 이유를 든 문의가 없으면 기록에 없음, 연락한 까닭을 남기는 기록 자체가 없으면 잴 수 없음입니다.

보고의 세 칸과 쓰는 내용

칸	쓰는 내용	근거	쓰는 말투
밝혀진 오류	추천 이유 문장, 맞댄 승인 사실, 어긋난 곳	답변 원문과 병원의 승인 자료	단정으로 씀
영향 가설	그 이유를 믿은 사람이 하게 될 수 있는 행동	오류의 내용에서 끌어낸 짐작	「할 수 있음」으로 쓰고 가설이라고 밝힘
자료 상태	가설을 가릴 접수 기록이 있는지	실장이 회신한 접수 기록의 범위	세 값 가운데 하나와 기간

가설 문장은 세 가지를 담아 씁니다. 어떤 사람이, 무엇을 하게 될 수 있는지, 그것을 무엇으로 가릴 수 있는지입니다. 「야간 진료를 찾는 사람이 진료 시간 뒤에 전화하거나 방문할 수 있음, 시간 밖 부재중 전화와 접수의 문의 까닭 기록으로 가릴 수 있음」처럼 씁니다. 가릴 방법까지 써야 가설이 다음에 잴 일로 이어집니다.

수정 순위는 가설 칸으로 매길 수 있습니다. 순위는 그 오류를 믿으면 어떤 행동이 생길 수 있는지, 곧 가능성으로 정하는 것이어서 영향이 재어지지 않았어도 매깁니다. 다만 순위 옆에 「가능성으로 매김」이라고 밝혀, 읽는 사람이 재어진 피해로 받아들이지 않게 합니다. 자료 상태가 나중에 기록 있음으로 달라져도 순위를 매긴 근거는 가능성 그대로이고, 기록된 건수는 옆 칸에 더합니다.

오류와 영향을 나눠 보고하는 다섯 단계

진단 담당이 답변에서 추천 이유 문장을 옮기고 승인 사실과 맞대어 오류를 증빙과 함께 기록합니다.
진단 담당이 오류마다 가설 문장을 씁니다.
실장이 접수 기록에 연락한 까닭이 남아 있는지, 남아 있다면 그 이유를 든 문의가 있는지를 기간과 함께 회신합니다.
진단 담당이 자료 상태를 세 값 가운데 하나로 매깁니다.
진단 담당이 세 칸을 나눠 보고하고, 원장이 승인합니다.

첫째 단계의 증빙은 누가 읽어도 같은 결론이 나오는 자료여야 합니다. 답변 원문과 받은 날, 승인 사실을 담은 자료와 기준일입니다. 이 칸에 「환자가 혼란스러워할 것」 같은 말을 넣지 않습니다. 그것은 영향에 대한 말이고, 영향은 다음 칸에서 다룹니다.

셋째 단계에서 실장은 접수 기록의 건수나 내용을 통째로 넘기지 않습니다. 기록에 연락한 까닭을 쓰는 칸이 있는지, 있다면 어느 기간에 그 이유와 맞는 기록이 몇 건인지만 회신합니다. 연락한 사람의 이름과 연락처, 상담 내용은 옮기지 않습니다.

넷째 단계에서 기간을 함께 쓰는 까닭은 자료 상태가 기간에 묶인 값이기 때문입니다. 기록에 없음은 그 기간의 기록에 없었다는 뜻입니다. 답변을 받은 날보다 앞선 기간의 기록만 읽었다면, 그 답변의 영향을 가릴 자료로는 맞지 않습니다. 답변을 받은 날 뒤의 기간으로 맞춥니다. 그 답변이 언제부터 나오고 있었는지는 알 수 없으므로, 기간의 시작은 진단 담당이 답변을 받은 날로 씁니다.

자료 상태의 세 값과 보고에 쓰는 말

자료 상태	뜻	보고에 쓰는 말	쓰지 않는 말
기록 있음	그 이유를 들고 온 문의가 기록에 있음	기간, 건수, 기록한 사람	그 오류 때문에 문의가 몇 건 생겼다
기록에 없음	연락한 까닭을 남기지만 그 이유를 든 기록이 없음	기간 안의 기록에 없음	영향이 없었다
잴 수 없음	연락한 까닭을 남기는 기록이 없음	가릴 자료 없음, 가릴 방법	영향이 있었을 것이다, 없었을 것이다

기록 있음에서도 인과는 쓰지 않습니다. 「AI에서 야간에도 한다고 읽었다」는 말이 접수 기록에 세 건 있다면, 보고에 쓸 수 있는 것은 그런 기록이 세 건 있다는 사실입니다. 기록되지 않은 문의가 더 있었는지, 그 사람들이 답변이 아니었어도 문의했을지는 알 수 없으므로 「오류가 문의 세 건을 만들었다」고 쓰지 않습니다.

기록에 없음은 가장 넓혀 읽히기 쉬운 값입니다. 연락한 사람이 까닭을 말하지 않았거나 접수에서 묻지 않았을 수 있습니다. 기록이 어떻게 만들어지는지, 곧 묻는 칸인지 환자가 말했을 때만 쓰는 칸인지를 함께 써서, 없다는 것이 어느 정도의 없음인지를 밝힙니다.

영향 보고에서 자주 틀리는 네 가지 경우

첫째는 문의 수의 변화를 오류와 이어 쓰는 경우입니다. 오류를 발견한 달에 문의가 줄었다는 것을 두고 오류 때문이라고 쓰는 것입니다. 문의 수는 계절과 광고와 휴진일에 따라서도 달라지고, 오류가 언제부터 답변에 나왔는지는 진단을 시작한 날보다 앞일 수 있습니다. 두 사실이 같은 달에 있었다는 것은 가설 칸에 쓸 수는 있어도 밝혀진 오류 칸에는 쓰지 않습니다.

둘째는 가설이 옮겨지면서 사실이 되는 경우입니다. 진단 기록에는 「전화할 수 있음」이라고 쓰여 있던 문장이 요약 보고에서 「전화가 발생함」으로 줄고, 원장에게 말로 전할 때 「문의 손실이 있음」이 됩니다. 요약할 때 가설 문장은 줄이지 않고, 줄여야 하면 「가설」이라는 낱말을 문장 맨 앞에 남깁니다.

셋째는 잴 수 없음을 영향 없음으로 읽는 경우입니다. 연락한 까닭을 남기는 기록이 없어서 아무것도 나오지 않은 것을, 영향이 나타나지 않았다고 보고합니다. 잴 자료가 없다는 것과 재어 보니 없었다는 것은 다른 말이므로, 잴 수 없음은 가릴 방법과 함께 쓰고 그 뒤의 결론을 달지 않습니다.

넷째는 기록 한 건을 전체로 넓히는 경우입니다. 접수 직원이 「AI에서 봤다」는 환자를 한 명 기억한다는 것으로 「환자들이 AI 답변을 읽고 온다」고 쓰는 것입니다. 기억은 기록이 아니므로 자료 상태의 근거로 쓰지 않고, 기록된 한 건은 한 건이라고 쓰고, 기록한 날과 기록한 사람을 함께 남깁니다.

인계할 때는 추천 이유 문장과 증빙, 가설 문장, 실장의 회신과 기간, 자료 상태, 가능성으로 매긴 순위, 원장의 승인 기록을 넘깁니다. 다음 진단 담당은 잴 수 없음으로 남은 가설에 대해 병원이 기록 방법을 정했는지를 실장에게 먼저 묻습니다.

가설을 가릴 기록을 마련하는 일

가설이 잴 수 없음으로 남는 것은 문의가 어디에서 무엇을 읽고 왔는지를 남기는 기록이 없기 때문입니다. 이 기록은 AI 답변의 영향뿐 아니라 광고와 다른 채널의 영향을 가릴 때에도 같은 바탕이 됩니다. 문의의 출처를 남기고 읽는 방법은 광고 성과 측정에서 다룹니다.