위치를 말한 백분율이 확률로 바뀐 답
AI가 병원 성과의 상위 백분위를 성공 확률로 소개했다면, 병원 GEO 진단에서는 백분율의 뜻이 바뀐 답으로 매깁니다. 상위 백분위는 여러 기관을 한 줄로 세웠을 때 그 병원이 어디쯤에 있는지를 말하고, 성공 확률은 그 병원에서 치료받은 사람 가운데 몇이 어떤 결과를 얻었는지를 말합니다. 퍼센트라는 단위는 같아도 세는 대상이 다릅니다.
상위 백분위는 공공 기관의 평가나 학회, 언론의 집계처럼 여러 곳에서 나오고, 곳마다 견준 기관과 지표가 다릅니다. 그래서 같은 「상위 10퍼센트」라도 어느 평가의 말인지를 함께 옮겨야 뜻이 정해집니다.
가상으로 지은 예입니다. 원출처에는 어떤 지표로 견준 기관들 가운데 이 병원이 상위 10퍼센트 구간에 들었다고 쓰여 있는데, 답은 「이 병원의 성공률은 90퍼센트」라고 전합니다. 앞의 10퍼센트는 기관 열 곳 가운데 한 곳 안이라는 위치이고, 뒤의 90퍼센트는 환자 열 가운데 아홉이라는 비율입니다. 원출처에는 환자의 비율을 밝힌 구절이 없는데도 답에서 새 수가 생겼습니다.
이 오류는 병원에 유리하게 들려 그냥 넘기게 되는 오류입니다. 그러나 환자는 그 수를 자기가 치료받았을 때의 가능성으로 받아들이고, 병원 이름과 함께 전해지면 병원이 결과를 약속한 말로 읽힐 수 있습니다. 진단 담당은 그 순위가 믿을 만한지, 병원의 실제 성적이 어떤지는 가리지 않고, 답이 전한 백분율의 뜻이 원출처의 뜻과 같은지만 가립니다.
같은 백분율의 두 뜻
두 뜻은 아래 표의 네 가지에서 갈립니다.
| 가르는 것 | 집단 안의 위치 | 사건의 비율 |
|---|---|---|
| 세는 대상 | 견준 기관 전체 | 그 병원에서 그 치료를 받은 사람 |
| 백분율이 말해 주는 것 | 그 병원보다 앞선 기관이 얼마나 되는지 | 어떤 결과를 얻은 사람이 얼마나 되는지 |
| 원출처에서 찾는 구절 | 순위 산식과 견준 기관의 범위 | 성과 지표의 정의와 건수 |
| 수가 작을수록 | 위쪽 구간이라는 뜻 | 그 결과를 얻은 사람이 적다는 뜻 |
넷째 줄에서 두 뜻이 뒤섞입니다. 위치를 말하는 백분율은 작을수록 앞선 것이어서, 이를 비율로 옮기는 답은 수를 뒤집어 큰 수로 만듭니다. 원출처에 없던 큰 수가 답에 나왔다면 위치가 비율로 바뀌었는지부터 의심합니다.
백분율의 뜻을 원출처 구절로 가르는 세 단계
- 진단 담당이 질문과 받은 날, AI 답변 원문을 저장하고, 백분율이나 확률을 말한 문장을 옮겨 그 수가 무엇 가운데의 얼마인지를 답의 말대로 표시합니다.
- 진단 담당이 인용 출처에서 원출처까지 올라가 순위 산식, 견준 기관의 범위, 성과 지표의 정의를 밝힌 구절을 옮기고, 평가한 해와 평가한 곳의 이름을 함께 남깁니다.
- 진단 담당이 답의 백분율과 구절의 백분율을 뜻과 견준 기준 두 가지로 맞대어 값을 매깁니다. 구절을 찾지 못한 줄은 실장이 평가한 곳의 공개 자료를 한 번 더 찾고, 그래도 없으면 보류인 채로 원장에게 올립니다.
첫째 단계에서 「무엇 가운데의 얼마」를 답의 말대로 남긴다는 것은 담당자가 미루어 채우지 않는다는 뜻입니다. 답이 「성공률 90퍼센트」라고만 했다면 환자 가운데의 비율로 말한 것이고, 「상위 10퍼센트 병원」이라고 했다면 기관 가운데의 위치로 말한 것입니다.
둘째 단계의 순위 산식은 어떤 지표를 어떻게 줄 세웠는지를 밝힌 구절입니다. 평가한 곳이 등급이나 구간만 발표하고 백분율을 쓰지 않았다면, 답에 나온 백분율은 원출처에 없는 수입니다. 이런 답과, 백분율이나 확률을 아예 말하지 않은 답은 아래 표에 올리지 않습니다. 앞의 것은 수치 대조 항목에 따로 남기고, 뒤의 것은 맞댈 수가 없습니다.
셋째 단계에서 실장이 찾는 곳은 평가한 곳이 공개한 방법 설명과 결과 발표문입니다. 기사나 병원 글이 옮겨 쓴 설명은 산식 구절로 삼지 않습니다.
백분율 뜻 판정표
셋째 단계의 값은 아래 백분율 뜻 판정표의 네 줄 가운데 하나입니다.
| 답이 전한 백분율의 뜻 | 견준 기준 | 판정 |
|---|---|---|
| 구절과 같은 뜻 | 무엇 가운데의 백분율인지 구절과 같게 전함 | 뜻 일치 |
| 구절과 같은 뜻이거나 어느 뜻인지 정할 수 없음 | 빼거나 구절과 다르게 전함 | 기준 어긋남 |
| 위치를 비율로, 또는 비율을 위치로 전함 | 어느 쪽이든 | 뜻 바뀜 |
| 구절이 없어 가릴 수 없음 | 구절이 없어 가릴 수 없음 | 보류 |
상위 백분위를 성공 확률로 소개한 답은 셋째 줄입니다. 둘째 줄은 뜻을 바꾸지는 않았으나 견준 기준이 흐려진 답이고, 답이 거짓을 말했다는 값은 아닙니다. 어느 해에 어떤 기관들을 어떤 지표로 견준 결과인지가 빠지면, 읽는 사람은 그 위치를 지금 모든 병원 가운데의 위치로 받아들입니다. 셋째 줄로 매긴 줄에는 답에 새로 생긴 수와, 원출처에 그 수를 밝힌 구절이 없다는 사실을 나란히 남깁니다.
「가운데」를 넣어 읽는 방법
뜻이 바뀌었는지는 답의 문장에 「가운데」라는 말을 넣어 읽으면 드러납니다. 백분율 앞에 「무엇 가운데」를 채워 넣었을 때 그 빈칸에 기관이 들어가는지 사람이 들어가는지가 곧 뜻입니다.
「이 병원은 상위 10퍼센트」는 「견준 기관 가운데 상위 10퍼센트」로 읽힙니다. 기관이 들어가므로 위치입니다. 「이 병원의 성공률은 90퍼센트」는 「치료받은 사람 가운데 90퍼센트」로 읽힙니다. 사람이 들어가므로 비율입니다. 같은 방법을 원출처의 구절에도 씁니다. 구절에 들어가는 말과 답에 들어가는 말이 다르면 뜻 바뀜입니다.
어느 쪽도 들어갈 수 있는 문장이 있습니다. 「이 병원은 90퍼센트 수준」 같은 말은 기관 가운데의 위치로도, 사람 가운데의 비율로도 읽힙니다. 이런 문장은 진단 담당이 한쪽으로 정하지 않고, 뜻을 정할 수 없는 답으로 남겨 백분율 뜻 판정표의 둘째 줄대로 기준 어긋남으로 매깁니다. 무엇 가운데의 백분율인지를 답이 전하지 않았기 때문입니다.
이 방법은 담당자가 바뀌어도 같은 값이 나오게 합니다. 기록에는 채워 넣은 말을 그대로 남겨, 다음 진단의 담당자가 같은 문장을 같은 뜻으로 읽었는지 맞댈 수 있게 합니다.
뜻 바뀜 줄을 넘기는 곳
뜻 바뀜과 기준 어긋남 줄은 인용 출처의 문장을 열어 수가 어디에서 달라졌는지를 가립니다. 병원 글이 위치를 비율처럼 써 놓았다면 실장이 그 글을 쓴 담당자에게 답의 문장과 산식 구절을 함께 넘기고, 원장에게 같은 날 알립니다. 넘길 때는 「가운데」를 넣어 읽은 두 문장을 위아래로 놓아, 글을 쓴 담당자가 어느 낱말을 고쳐야 하는지를 설명 없이도 알 수 있게 합니다.
상위 백분위는 평가한 곳의 발표나 그것을 옮긴 기사처럼 병원 밖의 글에서 나오는 수입니다. 기사가 위치를 성공률로 옮겨 쓴 것이 시작이라면 병원은 그 문장을 직접 고칠 수 없으며, 이런 글에 대응하는 순서는 병원 외부 출처 관리에서 다룹니다.
병원 글과 병원 밖 글이 모두 위치로 바르게 썼는데 답에서만 바뀌었다면, 기록을 보관하고 다음 진단에서 같은 질문의 답을 새 줄로 매깁니다.
상위 백분위와 성공 확률 자주 묻는 질문
해마다 달라지는 평가라면 어느 해의 구절과 맞댑니까?
답이 밝힌 해의 구절과 맞댑니다. 답이 해를 밝히지 않았다면 인용 출처가 가리키는 해를 쓰고, 그것도 정할 수 없으면 보류입니다. 기록에는 평가한 해를 빠짐없이 남겨, 지난 평가의 위치가 지금의 위치처럼 전해진 줄을 나중에 찾을 수 있게 합니다.
답이 「열 곳 가운데 한 곳 안에 드는 병원」처럼 풀어 말했다면 뜻이 바뀐 것입니까?
바뀌지 않았습니다. 기관 가운데의 위치를 쉬운 말로 풀었을 뿐입니다. 「환자 열 명 가운데 아홉 명」처럼 사람으로 풀었을 때가 뜻 바뀜입니다. 풀어 쓴 말도 「가운데」 앞에 무엇이 오는지로 가립니다.
병원이 아닌 의료진 개인의 순위를 답이 병원의 순위로 전했다면 어떻게 매깁니까?
위치라는 뜻은 같고 견준 대상이 구절과 다르므로 기준 어긋남입니다. 기록의 견준 기준에는 구절대로 의료진 개인을 견준 순위라고 남기고, 답이 병원으로 바꿔 부른 말을 옆에 옮깁니다.
평가 발표문에 치료 성적의 비율이 함께 실려 있고 답이 그 비율을 옮겼다면 어떻게 매깁니까?
비율을 비율로 전했으므로 뜻은 같습니다. 그 비율이 어떤 사람 가운데의 수인지를 구절과 같게 전했으면 뜻 일치이고, 뺐으면 기준 어긋남입니다. 위치를 밝힌 구절과는 맞대지 않습니다.
순위를 낸 곳이 산식을 공개하지 않았다면 판정을 어떻게 합니까?
산식 구절이 없으므로 보류입니다. 기록에는 산식이 공개되지 않았다고 남기고, 진단 담당이 그 순위의 뜻을 미루어 정하지 않습니다. 같은 순위를 근거로 든 답이 다시 나오면 앞의 보류 기록을 이어서 씁니다.
순위 자료를 다룰 때 지키는 경계
진단 기록과 보고서에는 다른 병원의 이름과 위치를 쓰지 않습니다. 맞대는 것은 답의 문장과 원출처의 구절이고, 어느 병원이 앞서는지는 이 판정과 관계가 없습니다.
순위가 믿을 만한지도 평가하지 않습니다. 산식이 공개돼 있으면 구절을 옮기고, 공개돼 있지 않으면 그 사실을 남기는 데서 멈춥니다. 산식을 읽고 그 평가가 잘 짜였는지를 말하는 문장은 기록에 쓰지 않습니다.
병원 글에 순위나 평가 결과를 실을 수 있는지는 이 진단이 정하지 않습니다. 평가한 곳이 어디인지에 따라 의료광고 기준에서 다루는 방식이 달라질 수 있으므로, 실을지는 원장이 의료광고 심의 기준을 공식 안내에서 찾아 따로 검토받습니다. 진단 기록에는 평가한 곳의 이름과 종류를 남겨 그 검토에 넘길 수 있게 합니다.
보류 줄은 구절을 구한 뒤 진단 담당이 다시 매기되, 보류였던 기록은 지우지 않습니다.