ROC 곡선 면적을 한 기준점의 정확도로 읽은 답변, 요약 지표의 뜻

곡선 전체의 요약과 곡선 위 한 점

ROC 곡선은 검사 결과를 양성과 음성으로 가르는 문턱값을 바꿔 가며, 문턱값마다 병이 있는 사람을 양성으로 잡아낸 비율과 병이 없는 사람을 양성으로 잘못 잡은 비율을 이어 그린 선입니다. 곡선 아래 면적은 이 모든 문턱값에 걸친 성능을 숫자 하나로 요약한 것입니다. 병이 있는 사람 하나와 없는 사람 하나를 고르면 검사가 둘의 순서를 바르게 매길 확률로 풀이되기도 합니다.

정확도는 다른 말입니다. 문턱값 하나를 정해 놓고, 그 문턱값으로 판정했을 때 전체 가운데 바르게 판정한 사람의 비율입니다. 곡선 위의 한 점에 대한 값이고, 어느 점을 고르느냐에 따라 달라지며, 대상자 가운데 병이 있는 사람의 비율에 따라서도 달라집니다. 면적 0.9는 어느 문턱값에서도 정확도가 90%라는 뜻이 아닙니다.

이 차이는 환자에게 곧바로 닿습니다. 「정확도 90%」를 읽은 환자는 제가 그 검사를 받으면 열에 아홉은 맞는 결과를 받는다고 여깁니다. 그러나 실제 판정에 쓰는 문턱값에서 병을 찾아내는 비율과 병이 없음을 가리는 비율은 따로 정해지고, 둘 가운데 하나가 낮을 수도 있습니다. 면적 하나만으로는 그 문턱값에서의 값을 알 수 없습니다.

값은 요약 지표로 맞게 전함, 면적을 정확도로 읽음, 면적을 민감도나 특이도로 읽음, 면적으로 쓰임새를 단정함, 원출처 자료 없음의 다섯입니다. 면적으로 쓰임새를 단정함은 면적 값만을 근거로 「이 검사로 진단할 수 있다」처럼 한 사람에 대한 판정에 쓸 수 있다고 전한 경우입니다.

답변의 수치와 원출처 지표에 따른 판정

한 답변에 값이 둘 걸리면 둘을 모두 씁니다. 「정확도 90%이므로 이 검사로 진단할 수 있습니다」는 면적을 정확도로 읽음과 면적으로 쓰임새를 단정함이 함께 걸린 문장입니다. 순위는 쓰임새를 단정한 값을 앞에 놓습니다. 환자가 한 번의 검사 결과로 제 병의 있고 없음을 정하게 만들 수 있는 말이기 때문입니다.

진단은 그 검사가 좋은 검사인지를 정하지 않습니다. 면적 0.9가 높은지 낮은지, 그 검사를 진료에 써도 되는지는 이 진단의 범위가 아닙니다. 담당이 맞대는 것은 답변의 숫자가 원출처의 어느 지표와 같은지, 그 지표의 이름을 바르게 불렀는지까지입니다.

답변마다 옮기는 다섯 가지

담당은 답변마다 아래 다섯 가지를 옮깁니다. 마지막 칸은 원출처에 있는 만큼만 채웁니다.

AI 수치는 붙인 이름과 함께 옮깁니다. 「정확도」 「진단율」 「맞힐 확률」 「찾아내는 비율」은 가리키는 지표가 다릅니다. 숫자가 원출처의 면적과 같더라도 이름이 틀렸으면 값은 그 이름에 따라 매깁니다. 원출처가 0.9로 쓴 것을 답변이 90%로 바꿔 썼다면, 소수를 백분율로 바꾼 것만으로는 틀린 것이 아니지만 백분율로 쓴 순간 정확도처럼 읽히기 쉬우므로 비고에 씁니다.

원출처 구절은 결과를 말한 문장 그대로 옮깁니다. 병원 홈페이지의 연구 소개가 원출처를 요약한 것이라면, 그 요약의 문장과 논문의 문장을 나란히 옮깁니다. 요약 단계에서 이미 「정확도」라는 말로 바뀌어 있다면 원천이 병원 글이라는 점을 비고에 씁니다.

기준점별 성능은 원출처가 밝힌 것만 옮깁니다. 원출처가 어느 문턱값에서의 민감도와 특이도를 표로 내놓았다면 그 문턱값과 값을 옮기고, 답변의 숫자가 그 가운데 하나와 같은지도 맞댑니다. 원출처에 기준점의 성능이 없다면 「기준점별 성능 밝히지 않음」으로 쓰고, 담당이 곡선에서 값을 읽어 내거나 셈하지 않습니다.

대상도 함께 옮깁니다. 면적은 연구에 참여한 사람들에게서 얻은 값이고, 병이 있는 사람의 비율이 다른 곳에서는 같은 검사라도 정확도가 달라질 수 있습니다. 원출처가 어떤 사람들을 대상으로 했는지를 한 줄로 쓰고, 답변이 그 대상을 밝혔는지를 비고에 씁니다.

AI 서비스가 면적을 왜 정확도로 전했는지는 단정하지 않습니다. 원출처를 요약한 다른 글에서 그렇게 쓴 것을 옮겼는지는 공식 안내로 확인된 범위 밖입니다.

면적 수치를 판정할 때 자주 틀리는 세 가지

첫째는 숫자가 같으니 맞다고 닫는 것입니다. 원출처의 면적이 0.9이고 답변도 90%라고 했으니 수치는 맞다고 쓰기 쉽습니다. 그러나 이 진단에서 틀린 것은 숫자가 아니라 숫자의 이름입니다. 「정확도 90%」와 「곡선 아래 면적 0.9」는 같은 숫자로 다른 것을 말합니다. 숫자 칸과 이름 칸을 나눠 쓰고, 이름 칸이 틀렸으면 값을 매깁니다.

둘째는 담당이 올바른 정확도를 셈해 채우는 것입니다. 면적을 정확도로 읽은 답변을 바로잡으려고 곡선이나 다른 자료에서 정확도를 만들어 넣으면, 원출처에 없는 수치를 진단이 새로 만든 것이 됩니다. 담당은 원출처에 쓰인 기준점의 성능만 옮기고, 없으면 없다고 씁니다.

셋째는 면적이 높다는 것을 좋은 검사라는 평가로 옮기는 것입니다. 진단 기록에 「면적 0.9로 우수한 검사이나 AI가 정확도로 잘못 표현」처럼 쓰면, 진단이 검사의 좋고 나쁨을 판정한 것이 됩니다. 기록에는 지표의 이름과 값만 쓰고, 그 수준을 어떻게 볼지는 쓰지 않습니다.

넘기는 묶음과 병원 글의 권고

원장에게는 답변마다 질문과 AI 문장, 답변의 수치와 붙인 이름, 원출처 구절과 주소, 면적 값과 기준점별 성능, 값, 전문 검토의 답을 묶어 넘깁니다. 면적으로 쓰임새를 단정함을 맨 앞에 올리고, 병원 글이 원천이었던 건은 따로 표시합니다.

수정 권고는 병원 글에 한정합니다. 병원이 연구를 소개한다면 면적 값에는 「곡선 아래 면적」이라는 이름을 붙이고, 백분율로 바꾸지 않으며, 기준점의 성능이 원출처에 있으면 그 문턱값과 함께 따로 쓰도록 권고합니다. 연구 소개를 병원 글에 어떻게 실을지는 원장이 의료광고 심의 기준 확인을 거쳐 정하며, 고친다고 AI 답변이 달라진다고 약속하지 않습니다.

환자가 묻는 말에 답하는 꼴의 글에서는 숫자 하나로 줄여 말하고 싶어지기 쉬우므로, 지표의 이름을 지키며 풀어 쓰는 방법은 답변형 콘텐츠 작성에서 이어서 정리합니다.