불균형 자료의 높은 정확도로 성능을 말한 답변, 오류 종류별 읽는 법

높은 정확도만으로 성능을 말한 답변에서 가릴 것

설명을 위해 지어낸 셈으로 옮기면 이렇습니다. 1,000명 가운데 병이 있는 사람이 20명인 자료에서 모든 사람을 「병 없음」으로 판정하면, 980명을 맞혔으므로 정확도는 98퍼센트입니다. 그런데 병이 있는 20명은 한 명도 찾아내지 못했습니다. 이 숫자는 실제 연구의 값이 아니며, 정확도 하나로는 두 종류의 오류를 가를 수 없다는 점만 나타냅니다.

오류는 두 종류입니다. 병이 있는데 없다고 한 놓침과, 병이 없는데 있다고 한 잘못 짚음입니다. 환자가 「이 검사는 잘 찾아내나요」라고 물을 때 알고 싶은 것은 놓침이 얼마나 적은지인데, 정확도는 그 물음에 답하는 지표가 아닙니다. 그래서 AI 문장이 어떤 성능을 말했는지부터 가르고, 그 성능에 맞는 지표가 원문에 있는지를 찾습니다.

판정 값은 원문대로, 성능 넓힘, 원문과 다름, 맞댈 구절 없음의 넷입니다. 성능 넓힘은 정확도를 「거의 놓치지 않는다」「정확히 찾아낸다」처럼 찾아내는 성능으로 옮긴 문장입니다. 검사나 판독 프로그램이 실제로 쓸 만한지는 이 진단에서 판정하지 않습니다.

정확도를 전한 문장의 판정

첫째 줄로 매길 때에도 범주별 표본 수를 기록에 옮깁니다. AI가 틀린 말을 하지 않았더라도, 그 정확도가 어떤 구성의 자료에서 나왔는지는 병원 글을 읽을 때 다시 쓰이기 때문입니다.

둘째 줄의 원문 상태는 두 가지를 묶은 것이어서 기록에서 갈라 씁니다. 찾아내는 비율이 원문에 실렸는데 AI의 말과 맞지 않는 경우에는 그 수치 구절을 옮깁니다. 찾아내는 비율이 원문에 아예 없는 경우에는 「찾아내는 비율 구절 없음」이라고 쓰고 찾아본 범위를 남깁니다. 앞의 경우는 원문이 AI의 말과 어긋나는 것이고 뒤의 경우는 받쳐 줄 구절이 없는 것이어서, 원장이 병원 글을 고칠 때 덜어 낼 말의 세기가 다릅니다.

AI가 말한 성능과 원문 지표의 짝

AI 문장의 성능 표현은 아래 넷 가운데 하나로 가르고, 짝이 되는 지표를 원문에서 찾습니다. 지표 이름은 원문 표기를 그대로 옮깁니다.

짝이 되는 지표가 원문에 없으면 그 성능 표현은 받쳐 줄 구절이 없는 것입니다. AI가 정확도 수치를 들면서 둘째나 넷째 뜻으로 말했다면 성능 넓힘으로 매기고, AI가 쓴 표현과 원문의 정확도 구절을 함께 옮깁니다.

혼동행렬이 실려 있어도 진단 담당은 네 칸의 숫자로 지표를 다시 계산하지 않습니다. 원문이 계산해 실은 지표만 옮기고, 원문이 싣지 않은 지표의 칸에는 「원문에 없음」이라고 씁니다. 담당이 계산한 값을 넣으면 그 숫자는 저자의 것이 아니라 진단서의 주장이 됩니다.

범주별 표본 수는 방법 부분의 대상 설명이나 혼동행렬의 합계 줄에서 옮깁니다. 병이 있는 쪽과 없는 쪽의 수를 저마다 쓰고, 「불균형」이라는 말은 저자가 썼을 때에만 옮깁니다. 몇 대 몇부터 불균형이라고 부를지를 담당이 정하지 않습니다.

AI가 단 링크가 논문이 아니라 제조사 소개 자료나 기사이면, 그 글이 어떤 지표 이름으로 수치를 전했는지부터 옮깁니다. 소개 자료가 정확도 수치 곁에 「놓치지 않는」 같은 말을 달았다면 넓혀진 지점은 그 자료입니다. 병원이 장비나 판독 프로그램을 설명할 때 어떤 문서를 근거로 갖춰 둘지는 병원 GEO 출처 확보에서 따로 다룹니다.

질문이 물은 성능과 답이 말한 성능

질문이 어떤 성능을 물었는지도 넷 가운데 하나로 가릅니다. 질문이 「병을 놓치지 않느냐」고 물었는데 AI가 정확도 수치만 이름 그대로 전했다면 판정은 첫째 줄입니다. 틀린 말을 더하지 않았기 때문입니다. 다만 물은 성능과 답한 지표가 다르므로 기록에 「질문과 다른 지표로 답함」이라고 남기고 질문 원문을 함께 옮깁니다. 읽는 사람은 물음에 대한 답으로 받아들이므로, 병원 글에 같은 짝이 있는지를 실장이 찾을 때 이 기록이 단서가 됩니다.

질문이 「믿을 만한 검사냐」처럼 넓게 물었다면 물은 성능을 가를 수 없습니다. 이때는 질문 쪽 칸에 「종류 가를 수 없음」이라고 쓰고, AI 문장이 말한 성능과 원문 지표의 짝만으로 매깁니다.

성능 주장 한 건의 기록 쓰는 법

성능 주장 한 건은 여섯 가지를 한 묶음으로 씁니다. 질문과 AI 문장, AI가 말한 성능의 종류, 원문의 범주별 표본 수, 원문이 실은 지표와 수치, 판정 값, 넓혀진 지점입니다.

AI가 말한 성능의 종류는 AI의 낱말을 그대로 옮긴 뒤 넷 가운데 어느 것인지 표시합니다. 「성능이 우수하다」처럼 어느 것인지 가를 수 없는 말이면 「종류 가를 수 없음」이라고 쓰고, 곁에 든 수치가 어떤 지표인지로 매깁니다. 정확도 수치를 들며 우수하다고만 했다면 첫째 줄이고, 기록에 그 표현을 남깁니다.

원문이 실은 지표는 있는 것과 없는 것을 모두 씁니다. 정확도만 있고 나머지 셋이 없다면 셋 모두 「원문에 없음」으로 채웁니다. 비워 두면 찾아보지 않은 것인지 없는 것인지 나중에 가릴 수 없습니다.

시험에 쓴 자료가 어디서 왔는지도 원문이 밝힌 대로 옮깁니다. 한 병원의 기록인지, 여러 기관의 자료인지, 공개 자료 모음인지입니다. 저자가 다른 환자 구성에서는 성능이 달라질 수 있다고 한계에 썼다면 그 문장을 함께 옮깁니다. 병원의 실제 환자 구성과 견주는 일은 진단 담당이 하지 않고 의료진에게 넘깁니다.

양성과 음성을 가르는 기준값을 원문이 밝혔다면 그것도 옮깁니다. 같은 검사라도 기준값을 어디에 두느냐에 따라 찾아내는 비율과 잘못 짚는 비율이 함께 달라지므로, 수치는 기준값과 짝으로 남아야 뜻이 섭니다. 원문에 기준값이 여럿이고 수치도 여럿이면 AI가 옮긴 수치가 어느 기준값의 것인지 짝을 찾고, 찾지 못하면 그 사실을 기록합니다.

병원 글의 성능 표현과 넘기는 순서

실장은 병원 홈페이지, 블로그, 장비 소개 글에서 같은 수치를 쓴 문장을 찾아 주소와 함께 넘깁니다. 「정확도 몇 퍼센트」가 「오진 없는」「놓치지 않는」 같은 말과 한 문장에 있으면 따로 표시합니다.

원장에게는 성능 넓힘이 매겨진 건을 앞에, 첫째 줄이지만 병원 글에 넓힌 표현이 있는 건을 그다음에 올립니다. 수정 권고는 병원 글에 한정합니다. 수치는 원문의 지표 이름과 함께 쓰고, 원문에 없는 성능 표현은 덜어 내며, 찾아내는 성능을 말하려면 그 지표가 실린 구절을 근거로 삼도록 권고합니다. 진단 결과를 장담하는 표현이 의료광고 심의 기준에 걸리는지는 원장이 확인하도록 알립니다. 고친다고 AI 답변이 달라진다고 약속하지 않습니다.

장비나 판독 프로그램을 새로 들였다는 소식 글은 제목에 수치 하나만 올리는 경우가 있고, 그 수치가 정확도이면 뒤에 나오는 글들이 그 제목을 옮겨 쓸 수 있습니다. 도입 소식에서 성능 수치를 어떻게 싣는지는 병원 보도자료에서 이어서 정리합니다.