외부 진단 점수의 근거, 분모·원자료·평가 규칙·미측정 처리의 확인

점수보다 먼저 받아야 할 네 가지 근거

진단 업체가 병원에 주는 점수는 한 숫자라서 읽기 쉽습니다. 그러나 같은 병원도 질문을 몇 개로 잡느냐, 어떤 답을 맞음으로 세느냐, 측정하지 못한 항목을 어떻게 넣느냐에 따라 점수가 크게 달라집니다. 근거 없이 점수만 받으면 점수가 오르고 내린 까닭이 병원 쪽 변화인지 셈법의 변화인지를 가를 수 없습니다.

이 기준은 점수를 쓰지 말라는 것이 아닙니다. 근거가 갖춰진 점수는 병원의 현재를 한눈에 보여 주는 도구가 되고, 근거가 모자란 점수는 참고로만 쓰여야 한다는 것입니다. 점수를 받는 병원이 근거를 요청하는 것은 진단을 맡긴 쪽이 당연히 할 수 있는 일이므로, 계약할 때부터 네 가지 근거를 결과물에 넣어 달라고 정해 두면 뒤에 따로 요청할 일이 줄어듭니다.

공식 안내에 점수 기준이 없다는 점

챗GPT 공식 도움말과 퍼플렉시티 공식 도움말은 답을 만들 때 웹을 검색하고 인용을 단다는 것을 안내할 뿐, 병원이나 사이트의 노출을 점수로 매기는 기준은 안내하지 않습니다. 외부 진단 점수는 서비스가 정한 값이 아니라 진단 업체가 스스로 정한 셈법으로 만든 값입니다.

그래서 외부 점수를 서비스가 병원을 평가한 결과처럼 읽으면 안 됩니다. 점수의 뜻은 진단 업체의 평가 규칙 안에서만 정해지므로, 평가 규칙을 받지 못한 점수는 무엇을 잰 값인지부터 알 수 없습니다. 서비스가 병원 정보를 어떻게 추리는지는 공식 안내에 나와 있지 않아 진단 기록으로 확인할 부분이므로, 이를 대신 알려 준다고 말하는 점수는 근거를 더 엄격히 따집니다.

업체가 점수와 함께 서비스의 평가 방식을 안다고 설명하더라도, 그 설명이 서비스의 공식 문서에 기대고 있는지를 묻습니다. 공식 문서의 주소가 없는 설명은 업체의 짐작으로 기록하고, 점수의 근거로 받지 않습니다.

원자료가 중요한 까닭도 여기에 있습니다. 점수가 업체의 셈법에서 나온 값이라면, 병원이 셈법을 다시 적용해 볼 수 있는 재료는 질문과 답의 원문뿐입니다.

점수 근거 항목표

외부 진단 점수를 받을 때는 아래 점수 근거 항목표의 네 줄을 함께 요청합니다.

점수 근거 항목표의 넷째 줄은 가장 쉽게 빠지는 근거입니다. 측정하지 못한 항목을 영점으로 넣으면 점수가 깎이고 빼고 세면 점수가 부푸는데, 어느 쪽인지 밝히지 않은 점수는 두 진단을 나란히 놓을 수 없습니다.

결론 수용 판정표

받은 근거에 따라 점수의 결론을 아래 결론 수용 판정표의 네 줄 가운데 하나로 판정합니다.

결론 수용 판정표의 판정 값은 수용, 보류, 참고, 불수용 넷입니다. 그 표의 셋째 줄인 참고는 점수를 버리는 것이 아니라 점수 대신 원자료를 쓰는 것입니다. 원자료만 있으면 병원이 스스로 판정을 매길 수 있어, 점수의 셈법을 몰라도 진단의 재료는 살아 있습니다.

외부 점수를 받아들이는 다섯 단계

1. 실장이 진단 업체에 점수와 함께 점수 근거 항목표의 네 가지를 요청합니다.
2. 진단 담당이 받은 근거마다 있음과 없음을 표시합니다.
3. 진단 담당이 원자료에서 몇 개 항목을 골라 평가 규칙대로 다시 판정해, 업체의 판정과 같은지 항목마다 맞댑니다.
4. 진단 담당이 결론 수용 판정표로 판정하고, 보류라면 차이가 난 항목을 목록으로 만듭니다.
5. 원장이 판정에 따라 점수를 병원 판단에 쓸지 정하고, 실장이 업체에 판정과 그 까닭을 알립니다.

둘째 단계에서 있음과 없음을 표시할 때는 자료가 왔다는 것만이 아니라 쓸 수 있는 상태인지도 가립니다. 원자료가 답의 요약만 담고 원문이 없다면 원자료가 없는 것과 같이 표시합니다.

셋째 단계에서 다시 판정할 항목은 일부로 충분합니다. 판정이 갈리기 쉬운 항목, 예를 들어 인용이 없는 답이나 일부만 맞는 답을 추려 다시 판정하면, 평가 규칙이 문서대로 적용되었는지를 적은 수로 가릴 수 있습니다.

다시 판정해 보는 방법

다시 판정은 업체의 평가 규칙을 문서 그대로 따르는 데서 시작합니다. 진단 담당은 규칙에 적힌 판정 기준만 쓰고, 병원이 원래 쓰던 기준을 섞지 않습니다. 병원 기준을 섞으면 다시 낸 점수가 달라져도 그것이 업체의 적용 잘못인지 기준의 차이인지 가를 수 없습니다.

항목을 고를 때는 업체가 맞음으로 매긴 항목과 틀림으로 매긴 항목을 함께 추립니다. 한쪽만 고르면 업체가 한 방향으로만 판정을 기울였는지를 알 수 없습니다. 미측정으로 처리된 항목도 몇 개 추려, 원자료에 정말 측정할 재료가 없었는지를 가립니다.

다시 판정한 결과는 항목마다 업체 판정과 병원 판정을 나란히 씁니다. 같은 항목이 많다면 규칙이 문서대로 적용된 것이고, 다른 항목이 있다면 그 항목의 원자료와 규칙 문장을 함께 업체에 보내 어느 쪽이 맞는지 묻습니다.

다시 판정에 쓴 항목과 결과는 진단 기록에 남겨, 다음 점수를 받을 때 같은 항목을 다시 골라 맞댈 수 있게 합니다. 같은 항목을 이어 맞대면 업체의 판정이 기간에 따라 달라졌는지도 드러납니다.

이 방법은 진단 업체를 의심하려는 것이 아니라 점수를 병원이 쓸 수 있는 도구로 만드는 일입니다. 다시 판정해 같은 값이 나온 점수는 다음 진단에서도 같은 셈법으로 이어 쓸 수 있습니다.

점수를 보고서와 관측으로 잇는 일

수용한 점수는 진단 업체의 보고서 안에서 다른 항목과 함께 읽힙니다. 대행 보고서에서 점수 옆에 무엇이 함께 적혀야 하는지는 GEO 대행 보고서에서 다룹니다.

원자료만 참고로 남은 경우에는 병원이 스스로 질문을 골라 관측을 이어 가게 됩니다. 관측한 답변으로 병원이 한 작업과 AI 검색 노출의 연결을 살피는 방법은 AI 검색 성과 확인에서 다룹니다.

판정표를 그대로 쓰기 어려운 경우