구별 능력과 확률 보정을 섞은 위험 예측값 설명의 분리

예측력과 확률값의 정확성을 섞은 답변

둘은 서로를 대신하지 못합니다. 위험이 높은 사람과 낮은 사람의 차례를 잘 가르는 모델이라도, 매긴 확률값 자체는 실제보다 전체적으로 높거나 낮을 수 있습니다. 「예측력이 좋다」는 앞의 평가에서 나온 말이고, 「당신의 위험은 몇 퍼센트」라는 숫자를 믿어도 되는지는 뒤의 평가에 달려 있습니다.

진단 담당은 AI 문장에서 두 가지를 가릅니다. 차례를 잘 가른다는 말인지, 확률값이 맞다는 말인지입니다. 앞의 말만 했다면 원문의 판별 지표 구절과 맞대는 것으로 끝납니다. 뒤의 말까지 했다면 원문의 보정 평가 구절이 있어야 합니다. 모델이 실제 진료에 쓸 만한지는 이 진단에서 판정하지 않습니다.

병원에 이 구분이 필요한 까닭은 숫자가 환자 한 사람에게 건네지기 때문입니다. 병원 이름과 함께 「정확한 위험 확률을 알려 준다」는 답이 나오면 환자는 받은 숫자를 자기 몸에 관한 사실로 받아들일 수 있습니다. 원문이 받쳐 주지 않는 정확성이 어디서 더해졌는지를 찾아, 병원 글이 출발점이라면 고칠 수 있게 합니다.

확률값이 정확하다고 전한 문장의 판정

이 표는 AI가 확률값이 맞다는 뜻으로 말한 문장에만 씁니다. 「정확한 확률」「믿을 수 있는 수치」「위험도를 정밀하게 알려 준다」 같은 말이 그런 문장입니다. AI가 「위험이 높은 사람을 잘 가려낸다」고만 했다면 확률값에 관한 주장이 아니므로 이 표로 매기지 않고, 판별 지표의 이름과 수치가 원문과 같은지만 가립니다.

첫째 줄로 매길 때에는 평가한 집단을 반드시 함께 옮깁니다. 모델을 만든 자료에서만 맞았는지, 다른 집단에서도 맞았는지는 같은 「잘 맞았다」라도 무게가 다릅니다. 담당은 무게를 풀이하지 않고 원문이 밝힌 집단의 이름만 씁니다.

둘째 줄은 넷 가운데 가장 앞에 올립니다. 원문이 확률값이 어긋난다고 보고했는데 AI가 정확하다고 전했다면, 없는 말을 더한 것을 넘어 원문을 뒤집은 것이기 때문입니다.

두 평가가 원문에 실리는 곳

판별 지표는 결과 부분의 성능 문단이나 표에 실립니다. 지표 이름과 수치, 구간을 원문 표기대로 옮깁니다. 지표 이름을 담당이 우리말로 고쳐 쓰지 않고, 원문이 외국어이면 원문 표기를 남기고 뜻을 곁에 씁니다.

보정 평가는 실리는 모양이 여러 가지입니다. 예측한 위험과 실제 발생률을 구간별로 나란히 놓은 표나 그림, 둘의 맞음을 검정한 결과, 「과대 예측」「과소 예측」 같은 저자의 문장으로 실립니다. 셋 가운데 저자의 문장을 가장 먼저 찾아 옮기고, 표나 그림에 숫자가 있으면 그 숫자를 옮깁니다. 그림만 있고 저자의 문장이 없을 때 담당이 그림을 읽어 맞았다 어긋났다를 정하지 않습니다. 그 경우 기록에는 「보정 그림 있음, 저자 해석 없음」이라고 쓰고 맞댈 구절 없음으로 매깁니다.

찾아본 범위도 기록합니다. 본문, 보충 자료, 원문이 가리킨 검증 논문 가운데 어디까지 열었는지입니다. 셋째 줄은 「없다」는 판정이어서, 어디까지 찾고 없다고 했는지가 남지 않으면 나중에 뒤집힐 때 까닭을 알 수 없습니다. 원문이 가리키지 않은 다른 논문에서 보정 평가를 찾아 첫째 줄로 매기지는 않습니다. AI가 인용한 출처가 받쳐 주는지가 판정의 대상이기 때문입니다.

AI가 단 링크가 병원 글이나 소개 글이면, 그 글이 「예측 정확도」 같은 한 낱말로 두 평가를 뭉뚱그렸는지를 옮깁니다. 뭉뚱그린 낱말이 있으면 섞인 지점은 그 글입니다. 두 평가를 저마다의 이름으로 갈라 쓰는 문장의 모양은 병원 AI 인용 콘텐츠에서 따로 다룹니다.

확률값 주장으로 읽히는 낱말

AI 문장이 확률값 주장인지는 숫자가 누구를 가리키는지로 가릅니다. 「이 모델은 집단을 잘 가른다」는 집단에 관한 말입니다. 「당신의 위험은 몇 퍼센트로 계산된다」「이 수치는 정확하다」는 한 사람에게 주어진 숫자에 관한 말이어서 확률값 주장입니다.

퍼센트가 나왔다고 모두 확률값 주장은 아닙니다. 판별 지표의 수치를 퍼센트로 옮겨 「정확도 몇 퍼센트」라고 전한 문장은 지표 이름이 달라진 것이어서, 확률값 주장과 갈라 기록합니다. 기록에는 AI가 쓴 이름과 원문의 지표 이름을 나란히 옮기고, 그 문장에 확률값이 맞다는 말이 이어졌을 때에만 판정표를 적용합니다.

질문의 낱말도 옮깁니다. 질문이 「이 계산기 숫자를 믿어도 되나요」라고 물었다면 확률값을 물은 것이고, 「이 모델은 쓸 만한가요」라고 물었다면 어느 평가를 물었는지 가를 수 없습니다. 확률값을 물은 질문에 AI가 판별 지표만 들어 답했다면, 틀린 말이 없어도 물음과 답이 다른 평가를 가리킨다는 점을 기록에 남깁니다.

병원 글의 위험 예측 표현 점검

병원 홈페이지나 블로그가 위험 예측 모델이나 위험도 계산 도구를 소개하고 있다면, 실장이 그 글의 표현을 아래 셋으로 갈라 원문 근거와 짝을 맞춥니다.

첫째 줄과 둘째 줄이 한 문장에 섞인 경우가 가장 찾기 어렵습니다. 「정확도 높은 예측 모델로 위험도를 알려 드립니다」 같은 문장은 앞의 절이 구별 능력을, 뒤의 절이 확률값을 말합니다. 실장은 이런 문장을 두 표현으로 쪼개 저마다 짝을 맞춥니다.

셋째 줄은 원문 논문이 아니라 병원 안의 문서가 근거입니다. 다른 집단에서 만든 모델이 이 병원 환자에게도 같은 확률값을 주는지는 그 병원 자료로 따로 평가해야 알 수 있습니다. 평가한 문서가 있는지는 실장이 의료진에게 묻고, 있다 없다는 답을 그대로 남깁니다. 공개할지는 원장이 정합니다.

권고는 표의 셋째 칸에 한정하며, 고친 문장은 진단 담당이 대신 쓰지 않습니다. 위험도 숫자를 환자에게 내놓는 도구는 의료 판단과 맞닿아 있으므로, 표현을 고칠 때 의료진 검토를 거치도록 함께 알립니다. 권고대로 고친다고 AI 답변이 달라진다고 약속하지 않습니다.

원장에게 넘기는 차례

원장에게는 원문과 반대, 근거 없음, 맞댈 구절 없음의 차례로 올립니다. 건마다 질문과 AI 문장, 판별 지표 구절, 보정 평가 구절 또는 찾아본 범위, 판정 값, 섞인 지점을 묶습니다. 근거 있음으로 매긴 건도 빼지 않고 끝에 목록으로 올려, 어떤 주장은 원문이 받쳐 주는지를 원장이 함께 읽을 수 있게 합니다.

환자는 「제 위험은 얼마인가요」처럼 자기 숫자를 묻습니다. 병원 글이 그 물음에 바로 답하려 하면 집단에 관한 평가가 한 사람의 숫자에 관한 보증으로 옮겨 쓰이기 쉽습니다. 물음에 답하면서 숫자의 뜻과 한계를 함께 싣는 글의 모양은 답변형 콘텐츠 작성에서 이어서 정리합니다.