민감도로 양성 결과를 확정한 답의 판정
AI가 민감도가 높다는 이유로 양성 결과가 거의 확실하다고 답하면, 원출처가 밝힌 지표가 민감도뿐인지 양성 예측도도 있는지를 찾아 옮긴 뒤, 민감도의 값을 양성인 사람이 병일 확률처럼 전했다면 지표 바뀜으로 판정합니다. 민감도는 병이 있는 사람 가운데 검사가 양성으로 나오는 비율입니다. 양성 예측도는 양성으로 나온 사람 가운데 실제로 병이 있는 사람의 비율입니다. 둘은 분모가 다릅니다.
양성 예측도는 검사 대상 집단에 병이 얼마나 흔한지, 곧 유병률에 따라 달라집니다. 병이 드문 집단에서는 병이 없는 사람이 훨씬 많아서, 그 가운데 일부만 양성으로 잘못 나와도 양성인 사람 안에서 병이 없는 사람이 차지하는 비율이 커집니다. 그래서 민감도가 높은 검사라도 어떤 집단에서 쓰였는지를 빼고는 양성 결과가 얼마나 확실한지를 말할 수 없습니다.
양성 결과를 받은 환자는 그 답을 자기 결과의 풀이로 읽습니다. 확실하다는 말이 병원의 검사 안내 곁에 전해지면, 추가 검사를 거치기 전의 결과가 확정된 것처럼 받아들여질 수 있습니다. 진단은 검사가 좋은 검사인지, 어떤 환자가 받아야 하는지는 다루지 않고, AI가 든 지표와 AI가 내린 결론의 분모가 같은지만 가립니다.
검사 지표 판정표
검사 결과의 확실함을 말한 AI 문장은 아래 검사 지표 판정표의 여섯 줄 가운데 하나로 판정합니다.
| AI 문장 | 원출처 | 판정 | 기록에 옮길 것 |
|---|---|---|---|
| 민감도나 특이도를 그 이름과 분모대로 전함 | 같은 지표와 값이 있음 | 지표 보존 | 없음 |
| 민감도나 특이도의 값을 들어 양성이나 음성 결과가 맞을 확률로 전함 | 예측도가 있든 없든 | 지표 바뀜 | AI가 쓴 말, 원문의 지표 이름 |
| 예측도를 연구 집단을 밝혀 전함 | 같은 예측도와 집단이 있음 | 지표 보존 | 유병률 구절 |
| 예측도를 집단을 밝히지 않거나 다른 집단의 것으로 전함 | 예측도는 있으나 특정 집단의 값임 | 원문과 다름 | 원문의 집단 구절, AI가 말한 대상 |
| 원문에 없는 예측도를 계산해 전함 | 민감도와 특이도만 있음 | AI 계산 더함 | AI 수치, 원문의 성능표 |
| 어느 쪽이든 | 열 수 없거나 성능표를 찾지 못함 | 원문 미확보 | 구하지 못한 까닭과 날짜 |
검사 지표 판정표의 판정 값은 지표 보존, 지표 바뀜, AI 계산 더함, 원문과 다름, 원문 미확보 다섯입니다. 이 표의 둘째 줄은 원문에 예측도가 실려 있어도 같은 값으로 매깁니다. AI가 근거로 든 것이 민감도라면, 결론이 우연히 예측도와 비슷하더라도 지표를 바꾸어 말한 문장이기 때문입니다. 이 표의 넷째 줄은 숫자는 원문과 같아도 대상이 달라진 경우입니다. 증상이 있어 병원을 찾은 사람들의 예측도를 누구에게나 맞는 값처럼 전한 문장이 여기에 듭니다.
지표와 분모의 짝표
지표가 바뀌었는지는 AI 문장이 누구 가운데의 비율로 말했는지에서 드러납니다. 아래 지표와 분모의 짝표를 기준으로 AI 문장의 말을 나눕니다.
| 지표 | 분모 | AI 문장에서 드러나는 말 |
|---|---|---|
| 민감도 | 병이 있는 사람 | 「병이 있으면 잡아낸다」는 말 |
| 특이도 | 병이 없는 사람 | 「병이 없으면 음성으로 나온다」는 말 |
| 양성 예측도 | 양성으로 나온 사람 | 「양성이면 병이다」「양성이면 확실하다」는 말 |
| 음성 예측도 | 음성으로 나온 사람 | 「음성이면 병이 없다」는 말 |
| 유병률 | 연구 집단 전체 | 병이 얼마나 흔한지를 전하는 말 |
지표와 분모의 짝표에서 셋째 줄과 넷째 줄의 말은 결과를 받은 사람의 처지에서 하는 말입니다. 환자가 궁금한 것은 이쪽이어서, AI는 원문에 민감도만 있어도 답을 이쪽 말로 옮기기 쉽습니다. 담당은 AI 문장의 말이 어느 줄인지를 먼저 표시하고, 그 옆에 AI가 근거로 든 지표의 이름을 씁니다. 두 줄이 다르면 검사 지표 판정표의 둘째 줄입니다.
AI 문장에서 성능표로 가는 다섯 단계
- 진단 담당이 질문과 AI 원응답을 날짜, 서비스 이름과 함께 그대로 보관합니다.
- 진단 담당이 검사 결과의 확실함을 말한 문장마다 번호를 매기고, 지표와 분모의 짝표에서 어느 줄의 말인지와 AI가 근거로 든 지표 이름을 표시합니다.
- 진단 담당이 인용 링크를 열어 원출처의 검사 성능표에서 지표 이름과 값, 분모가 된 사람 수를 옮깁니다.
- 진단 담당이 원출처에서 연구 집단의 특성과 유병률을 밝힌 구절, 양성 결과의 뜻을 풀어 쓴 문장을 옮깁니다.
- 진단 담당이 번호를 매긴 문장마다 검사 지표 판정표의 줄을 매기고, 넘긴 지점이 AI 답인지 중간에 놓인 글인지를 함께 씁니다.
셋째 단계에서 분모가 된 사람 수를 함께 옮기는 까닭은 성능표의 값만으로는 그 값이 누구 가운데의 비율인지 드러나지 않을 수 있기 때문입니다. 병이 있는 사람이 몇 명이었고 양성으로 나온 사람이 몇 명이었는지가 곁에 있어야 지표 이름이 빠진 표에서도 분모를 가를 수 있습니다.
넷째 단계에서 연구 집단의 특성은 누구를 검사했는지를 말합니다. 증상이 있어 온 사람인지, 증상 없이 검진을 받은 사람인지, 이미 다른 검사에서 의심된 사람인지에 따라 같은 검사의 예측도가 달라지므로 원문이 쓴 말 그대로 옮깁니다. 원문에 유병률 구절이 없다면 「유병률 구절 없음」이라고 쓰고, 담당이 다른 자료에서 유병률을 가져와 채우지 않습니다.
검사 지표 판정의 역할 나눔
진단 담당은 말과 지표를 맞대는 사람입니다. AI 문장이 누구 가운데의 비율로 말했는지, 원문의 지표가 누구 가운데의 비율인지를 옮겨 판정 값을 매깁니다. 민감도와 특이도로 예측도를 스스로 계산해 진단서에 쓰지 않습니다. 담당이 계산한 숫자는 원문에 없는 숫자이고, 병원 쪽의 주장으로 읽힙니다.
실장은 병원이 그 검사를 실제로 하는지, 병원 글이 그 검사를 어떻게 소개하는지를 찾아 넘깁니다. 병원 글에 「정확한 검사」「놓치지 않는 검사」 같은 말이 있다면 그 문장의 주소와 함께 넘기고, 제조사 자료를 옮겨 쓴 문장이라면 그 자료도 함께 넘깁니다.
담당 의료진은 지표의 뜻을 묻는 물음에 답하는 사람입니다. 원문이 쓴 지표 이름이 낯설거나, 원문의 집단이 병원을 찾는 환자와 얼마나 비슷한지가 판정에 필요할 때 실장이 모아 묻습니다. 받은 답은 「의료진 답변」이라고 밝혀 따로 기록하고, 판정 값은 진단 담당이 원문에 따라 매깁니다.
원장은 지표 바뀜으로 매긴 문장 가운데 병원 글에서 시작된 것을 어떻게 고칠지 정합니다. 검사 결과를 확정하는 말은 환자가 다음 진료를 건너뛰게 하거나 지나치게 걱정하게 할 수 있어, 의료광고 기준과 함께 환자 안내의 관점에서도 읽습니다.
판정 뒤 병원 글과 바깥 글로 이어지는 일
넘긴 지점이 병원 글이라면 검사 안내 문장에 누구를 대상으로 한 검사인지와 양성일 때 이어지는 다음 절차를 함께 쓰라고 권고합니다. 이 권고가 AI 답을 달라지게 한다고 약속하지는 않습니다. 양성이면 어떻게 되느냐는 환자의 물음에 다음 절차부터 답하는 글의 짜임은 답변형 콘텐츠 작성에서 다룹니다.
넘긴 지점이 제조사 자료나 기사라면 병원이 고칠 수 없으므로 주소와 바뀐 말을 기록으로 남깁니다. 병원 밖 글이 병원의 검사를 어떤 지표로 옮기고 있는지를 목록으로 관리하는 방법은 병원 외부 출처 관리에서 다룹니다.
민감도와 양성 예측도 판정 자주 묻는 질문
원문이 선별용 검사라고 밝혔는데 AI가 확진처럼 전하면 어떻게 매기나요?
검사의 쓰임이 달라진 것이므로 원문과 다름입니다. 기록에는 원문이 검사의 쓰임을 밝힌 구절과 AI가 쓴 말을 나란히 옮깁니다. 같은 문장이 민감도를 근거로 들었다면 지표 바뀜도 함께 매깁니다.
AI가 「정확도가 높다」고만 전하면 어느 지표로 읽나요?
정확도는 검사받은 사람 전체 가운데 결과가 맞은 사람의 비율이어서 분모부터 다릅니다. 원문이 정확도라는 이름으로 값을 실었다면 지표 보존이고, 원문에는 민감도만 있는데 AI가 그 값을 정확도라고 불렀다면 지표 바뀜입니다. 숫자 없이 정확하다는 말만 있다면 맞댈 값이 없으므로 기록에 「수치 없음」을 쓰고 성능표의 지표 이름을 옮깁니다.
제조사 자료와 논문의 성능 값이 서로 다르면 어느 쪽과 맞대나요?
AI 문장이 인용한 쪽과 맞댑니다. 다른 쪽의 값은 기록에 더하되 판정 값을 달리하는 근거로 쓰지 않습니다. 어느 쪽 값이 맞는지는 진단 담당이 가리지 않습니다.
병원이 하지 않는 검사인데 답에서 병원 이름과 함께 언급되면 어떻게 하나요?
지표 판정은 그대로 하고, 병원이 그 검사를 한다고 전한 문장은 제공 여부 판정으로 따로 넘깁니다. 실장이 병원의 검사 목록에서 그 검사가 없다는 사실을 함께 넘깁니다.
원문이 기준값을 여러 개로 나누어 성능을 실었다면 어느 값과 맞대나요?
AI 문장이 밝힌 기준값의 줄과 맞댑니다. AI가 기준값을 밝히지 않았다면 AI 수치와 같은 값이 실린 줄을 찾아 맞대고, 기록에 「기준값 없음」을 더합니다. 같은 값이 성능표 어디에도 없으면 원문과 다름입니다.
판정표를 그대로 쓰기 어려운 경우
질문이 「제가 양성이 나왔는데」처럼 개인의 결과를 물은 경우에도 판정은 지표로만 매깁니다. 그 사람이 실제로 병인지는 진단의 범위가 아닙니다. 다만 개인의 결과를 확정한 답은 환자의 다음 행동에 곧바로 닿으므로, 기록에 「개인 결과 질문」을 표시하고 원장에게 올리는 건의 앞쪽에 넣습니다.
원문이 예측도를 실었지만 연구 집단이 병이 있는 사람과 없는 사람을 따로 모아 만든 집단이라면, 그 집단의 유병률은 연구자가 정한 비율입니다. 이때 AI가 예측도를 집단을 밝혀 전했다면 검사 지표 판정표의 셋째 줄 그대로 지표 보존이고, 기록에 원문의 대상자 모집 구절을 더합니다.
AI가 인용 없이 확실하다고만 전했다면 맞댈 원출처가 없으므로 원문 미확보이고, 까닭에 「출처 미표시」라고 씁니다.