위험비와 위험 차이를 섞은 효과 설명, 비율과 절대 차이의 구분

비율과 절대 차이를 섞은 답의 진단

원문에서 찾을 것은 넷입니다. 집단별 사건 수와 대상 수, 지표의 이름, 지표의 값, 그리고 원문이 그 값을 풀어 쓴 문장입니다. 집단별 사건 수와 대상 수는 각 집단에서 몇 명 가운데 몇 명에게 그 일이 생겼는지를 말합니다.

판정 값은 지표 보존, 지표 바뀜, AI 계산 더함, 원문과 다름, 원문 미확보 다섯입니다. 그 치료가 실제로 얼마나 도움이 되는지는 진단에서 다루지 않습니다. AI 문장의 지표와 숫자가 원문 구절의 지표와 숫자와 같은지만 가립니다.

병원 쪽에서 이 오류를 가볍게 넘길 수 없는 까닭은 비율이 절대 차이보다 크게 읽히기 때문입니다. 「위험이 절반으로 줄었다」는 비율의 말인데, 이것이 「환자 절반이 그 일을 피했다」로 전해지면 원문에 없는 크기의 효과가 병원 이름 곁에 남습니다.

지표 판정표

효과의 크기를 말한 AI 문장은 아래 지표 판정표의 여섯 줄 가운데 하나로 판정합니다.

지표 판정표의 셋째 줄과 넷째 줄은 한 문장에 함께 매길 수 있습니다. 원문에 없는 비율을 AI가 계산하고 그 비율을 환자 수의 차이처럼 전했다면 둘 다입니다. 이 표의 넷째 줄에서 계산이 맞는지는 가리지 않고, 원문에 그 수치가 없다는 사실만 남깁니다. 이 표의 둘째 줄은 오류가 아니지만, 집단별 사건 수가 함께 전해지지 않았다면 기록에 「집단별 수 없음」을 더합니다.

AI 문장의 낱말과 지표의 짝표

지표가 바뀌었는지는 AI 문장에 쓰인 낱말에서 드러납니다. 아래 낱말과 지표의 짝표에서 낱말 묶음마다 원문에서 찾을 구절이 다릅니다.

첫째 묶음의 「몇 퍼센트 감소」는 바뀌기 쉬운 낱말입니다. 원문이 상대 위험 감소로 쓴 퍼센트를 AI가 「환자의 몇 퍼센트가 덜 겪는다」로 전하면, 비율의 값이 절대 차이의 말로 옮겨진 것이므로 지표 바뀜입니다. 둘째 묶음에서 퍼센트와 퍼센트포인트는 다른 단위입니다. 원문이 퍼센트포인트로 쓴 차이를 AI가 퍼센트 감소로 전했다면 역시 지표 바뀜입니다.

AI 문장에서 원문 지표로 가는 다섯 단계

1. 진단 담당이 질문과 AI 원응답을 날짜, 서비스 이름과 함께 그대로 보관합니다.
2. 진단 담당이 효과의 크기를 숫자나 절반, 두 배 같은 말로 전한 문장마다 번호를 매기고, 낱말과 지표의 짝표에서 어느 묶음의 낱말인지 표시합니다.
3. 진단 담당이 인용 링크를 열어 원출처까지 올라가 지표의 이름과 값, 그 값을 풀어 쓴 문장을 옮깁니다.
4. 진단 담당이 결과 표에서 집단별 사건 수와 대상 수를 옮깁니다. 원문에 없으면 「집단별 수 없음」이라고 씁니다.
5. 진단 담당이 번호를 매긴 문장마다 지표 판정표의 줄을 매기고, 넘긴 지점이 AI 답인지 중간에 놓인 글인지를 함께 씁니다.

둘째 단계를 원문 읽기보다 앞에 놓는 까닭은 담당이 원문의 지표를 먼저 알면 AI 문장의 낱말을 그 지표에 맞추어 읽게 되기 때문입니다. AI 문장만 읽었을 때 전해지는 뜻을 먼저 표시해 두어야 읽는 사람의 눈으로 판정할 수 있습니다.

넷째 단계에서 담당은 집단별 수로 위험 차이를 스스로 계산해 진단서에 쓰지 않습니다. 원문이 쓰지 않은 지표를 담당이 만들면 그 숫자는 병원 쪽의 주장이 됩니다. 원문에 없는 지표가 판정에 꼭 필요하다면 의료진에게 묻고, 받은 답을 「의료진 답변」으로 밝혀 따로 기록합니다.

같은 결과를 세 가지로 말한 비교

아래는 설명을 위해 만든 가상의 숫자이며, 실제 연구나 실제 서비스의 답이 아닙니다. 한 연구에서 치료를 받지 않은 백 명 가운데 네 명에게, 치료를 받은 백 명 가운데 두 명에게 어떤 일이 생겼다고 하겠습니다.

집단별로 말하면 「백 명 가운데 네 명이던 것이 백 명 가운데 두 명이 되었다」입니다. 비율로 말하면 「위험이 절반으로 줄었다」입니다. 절대 차이로 말하면 「백 명당 두 명이 덜 겪었다」입니다. 세 문장은 모두 같은 결과를 맞게 전한 것입니다. 원문이 집단별 수와 비율, 절대 차이를 모두 실었다면 지표 판정표에서 셋 다 지표 보존이고, 원문에 없는 지표를 AI가 계산해 전했다면 AI 계산 더함입니다.

지표가 바뀌는 것은 비율의 값과 차이의 말이 엇갈릴 때입니다. 「환자 절반이 그 일을 피했다」는 절반이라는 비율의 값을 환자 수의 말로 옮긴 문장입니다. 백 명 가운데 쉰 명이 덕을 본 것처럼 읽히지만, 가상의 숫자에서 달라진 사람은 백 명당 두 명입니다. 반대로 「위험이 두 퍼센트밖에 줄지 않았다」는 차이의 값을 비율의 말로 옮긴 문장이어서, 절반으로 준 결과가 거의 달라지지 않은 것처럼 읽힙니다. 두 문장 모두 지표 바뀜이고, 앞의 것은 효과를 크게, 뒤의 것은 작게 전합니다.

진단은 크게 전한 쪽과 작게 전한 쪽을 같은 값으로 매깁니다. 병원에 유리하게 바뀌었든 불리하게 바뀌었든 원문의 지표와 다르다는 사실은 같기 때문입니다.

판정 뒤 병원 글과 바깥 글로 이어지는 일

지표 바뀜이 바깥 기사나 블로그에서 시작되었다면 병원이 고칠 수 없으므로 주소와 바뀐 낱말을 기록으로 남깁니다. 바깥 글에서 병원과 치료가 어떤 숫자와 함께 불리는지를 점검하는 일은 브랜드 언급 확보에서 다룹니다.

넘긴 지점이 병원 글이라면 비율을 쓴 문장 곁에 집단별 사건 수를 함께 쓰라고 권고하고, 의료 판단이 들어가는 문장은 의료진 검토를 거쳐 고칩니다. 이 권고가 AI 답을 달라지게 한다고 약속하지는 않습니다. 비율과 집단별 수를 한 문장에 넣어 비율만 떨어져 나가지 않게 쓰는 방법은 병원 AI 인용 콘텐츠에서 다룹니다.

판정표를 그대로 쓰기 어려운 경우