위험비를 기간 내 사망 확률로 읽은 답의 판정
AI가 위험비를 일정 기간의 사망 확률로 읽으면 오류입니다. 생존 분석의 위험비는 두 집단에서 사건이 일어나는 속도를 견준 비이고, 기간 내 사망 확률은 그 기간까지 사망한 사람의 비율입니다. 앞의 것은 두 집단 사이의 비 하나이고, 뒤의 것은 집단마다, 시점마다 따로 있는 값입니다.
위험비에서 확률이 곧바로 나오지 않는 까닭은 확률이 기준 집단의 위험과 기간에 함께 달려 있기 때문입니다. 위험비가 같아도 본디 사건이 드문 병에서는 두 집단의 확률 차이가 작고, 사건이 잦은 병에서는 차이가 큽니다. 기간이 길어질수록 확률은 달라지지만 위험비는 기간 전체를 한 값으로 요약합니다. 그래서 기준 집단의 시점별 확률이 원문에 실려 있지 않으면 위험비만으로 「몇 년 안에 사망할 확률」을 말할 수 없습니다.
AI 답에서는 위험비의 값이 그대로 확률처럼 전해지거나, AI가 스스로 환산한 숫자가 원문의 숫자처럼 전해지는 일이 있습니다. 병원의 치료를 소개하는 답에 이런 숫자가 붙으면 환자는 자기에게 해당하는 확률로 받아들입니다. 진단은 환산이 맞는지를 다시 계산하지 않고, 그 숫자가 원문에 있는지와 어떤 지표의 말로 전해졌는지만 가립니다.
위험비 풀이 판정표
위험비나 기간 내 확률을 말한 AI 문장은 아래 위험비 풀이 판정표의 일곱 줄 가운데 하나로 판정합니다.
| AI 문장 | 원출처 | 판정 | 기록에 옮길 것 |
|---|---|---|---|
| 위험비를 이름과 값대로, 사건이 일어나는 속도의 비로 전함 | 같은 위험비가 있음 | 지표 보존 | 없음 |
| 위험비의 값을 기간 내 확률의 말로 전함 | 위험비가 있음 | 지표 바뀜 | AI가 쓴 말, 원문의 지표 이름 |
| 위험비에서 기간 내 확률을 계산해 숫자로 전함 | 그 확률이 실려 있지 않음 | 지표 바뀜과 AI 계산 더함 | AI 수치, 「원자료 없는 환산」 |
| 시점별 확률을 시점을 밝혀 전함 | 같은 시점의 확률이 숫자로 실려 있음 | 지표 보존 | 시점 구절 |
| 시점별 확률을 다른 시점이나 추적 기간 너머의 값으로 전함 | 시점이 밝혀져 있음 | 원문과 다름 | 두 시점 |
| 위험비나 확률의 값을 원문과 다르게 전함 | 어느 경우든 | 원문과 다름 | 두 수치 |
| 어느 쪽이든 | 열 수 없거나 분석 결과 구절을 찾지 못함 | 원문 미확보 | 구하지 못한 까닭과 날짜 |
위험비 풀이 판정표의 판정 값은 지표 보존, 지표 바뀜, AI 계산 더함, 원문과 다름, 원문 미확보 다섯입니다. 이 표의 셋째 줄은 AI의 계산이 맞게 되었더라도 같은 값으로 매깁니다. 환산에는 기준 집단의 확률과 위험비가 기간 내내 일정하다는 가정이 들어가는데, 그 가정과 재료가 원문에 없으면 숫자는 AI가 만든 것이기 때문입니다.
생존 분석 지표의 짝표
원출처의 숫자가 어떤 지표인지는 아래 생존 분석 지표의 짝표로 나눕니다.
| 지표 | 말하는 것 | 원문에서 찾는 곳 | 위험비 풀이 판정표에서 받는 줄 |
|---|---|---|---|
| 위험비 | 두 집단에서 사건이 일어나는 속도의 비 | 분석 결과 문장, 분석 방법 부분 | 첫째, 둘째, 셋째, 여섯째 |
| 시점별 누적 확률 | 그 시점까지 사건을 겪은 사람의 비율 | 생존 곡선 곁의 표, 결과 문장 | 넷째, 다섯째, 여섯째 |
| 추적 기간 | 환자를 지켜본 기간 | 방법 부분, 결과의 첫 문단 | 다섯째 |
생존 분석 지표의 짝표에서 시점별 누적 확률은 집단마다 따로 실립니다. 원문이 한 집단의 확률만 실었다면 다른 집단의 확률은 「실리지 않음」이라고 쓰고, 담당이 위험비로 계산해 채우지 않습니다. 위험비를 옮길 때는 어떤 분석 방법으로 낸 값인지 밝힌 문장도 함께 옮깁니다. 같은 자료라도 어떤 변수를 함께 넣어 분석했는지에 따라 값이 달라지므로, 원문이 위험비를 여러 개 실었다면 AI가 말한 값이 어느 분석의 것인지부터 정합니다.
AI 문장에서 분석 결과로 가는 다섯 단계
- 진단 담당이 질문과 AI 원응답을 날짜, 서비스 이름과 함께 그대로 보관합니다.
- 진단 담당이 위험이나 확률을 숫자로 말한 문장마다 번호를 매기고, 「몇 배」「확률」「몇 년 안에」처럼 지표와 기간을 가리키는 말을 그대로 옮깁니다.
- 진단 담당이 인용 링크를 열어 원출처까지 올라가, 위험비의 값과 그 값을 낸 분석 방법을 밝힌 문장을 옮깁니다.
- 진단 담당이 원출처에서 시점별 누적 확률이 숫자로 실린 곳과 추적 기간을 찾아 옮깁니다. 숫자가 없으면 「시점별 확률 실리지 않음」이라고 씁니다.
- 진단 담당이 AI 수치가 원문의 어느 숫자와 같은지 찾아, 번호를 매긴 문장마다 위험비 풀이 판정표의 줄을 매깁니다.
다섯째 단계에서 AI 수치와 같은 숫자가 원문에 없다면 AI가 만든 숫자입니다. 이때 담당은 AI의 계산을 다시 해 보지 않습니다. 원문에 없다는 사실과, 원문에 있는 가장 가까운 지표가 무엇인지만 기록합니다.
AI 수치가 원문의 위험비 값과 같은데 말이 확률로 되어 있다면 위험비 풀이 판정표의 둘째 줄입니다. 위험비가 일보다 작은 값일 때 그 값을 퍼센트로 읽어 「사망 확률이 그만큼」이라고 전한 문장이 여기에 듭니다.
위험비가 같아도 확률이 달라지는 두 경우의 비교
위험비가 절반인 치료가 둘 있다고 하겠습니다. 하나는 치료하지 않아도 사건을 겪는 사람이 드문 병의 치료이고, 다른 하나는 치료하지 않으면 많은 사람이 사건을 겪는 병의 치료입니다.
드문 병에서는 기준 집단에서 사건을 겪는 사람이 본디 적으므로, 속도가 절반이 되어도 기간 끝에 두 집단의 확률 차이는 작습니다. 잦은 병에서는 기준 집단에서 사건을 겪는 사람이 많으므로, 같은 절반이라도 확률 차이가 큽니다. 위험비는 두 경우에서 같은 숫자이지만, 환자가 궁금해하는 「내가 그 기간 안에 사건을 겪을 확률」은 전혀 다른 숫자입니다.
기간도 같은 구실을 합니다. 같은 위험비라도 일 년 시점의 확률 차이와 오 년 시점의 확률 차이는 다릅니다. 위험비에는 기간이 붙지 않지만 확률에는 반드시 시점이 붙습니다. AI 문장에 「몇 년 안에」라는 말과 숫자가 함께 있다면, 그 숫자는 확률의 말로 전해진 것이므로 원문에서 그 시점의 확률을 찾아야 합니다.
이 비교에서 드러나는 것은 환산에 필요한 재료입니다. 기준 집단의 시점별 확률이 있어야 하고, 어느 시점인지가 정해져야 합니다. 원문이 그 둘을 실었다면 AI는 환산할 필요 없이 원문의 확률을 전하면 되고, 싣지 않았다면 환산한 숫자는 원문 밖의 숫자입니다.
판정 뒤 병원 글로 이어지는 일
넘긴 지점이 병원 글이라면 실장이 그 문장의 주소를 넘기고, 고칠지는 원장이 의료진 검토를 거쳐 정합니다. 고친 뒤 AI 답이 달라진다고 약속하지는 않습니다. 위험비만 실린 요약 대신 시점별 확률 표까지 실린 자료를 근거로 삼는 기준은 병원 GEO 출처 확보에 있습니다.
환자에게 읽히는 글에서는 「몇 배」와 「몇 명 가운데 몇 명」이 한 문단에 섞이기 쉽습니다. 두 말을 문장마다 나누어 쓰고 확률에는 시점을 다는 글쓰기는 병원 블로그 글쓰기가 다룹니다.
위험비와 사망 확률 판정 자주 묻는 질문
AI가 위험비를 「위험이 몇 퍼센트 낮다」로 바꾸어 전하면 환산한 수치로 표시하나요?
표시하지 않습니다. 일에서 위험비를 뺀 감소율은 속도의 비를 다르게 쓴 것이어서 뜻이 그대로이고, 지표 보존으로 매겨 기록에 「감소율 표현」을 더합니다. 「사망할 확률이 몇 퍼센트 낮다」처럼 확률이라는 말이 붙으면 위험비 풀이 판정표의 둘째 줄입니다.
질문이 몇 년 안에 사망할 확률을 물었는데 원문에 위험비만 있으면 AI 답을 어떻게 읽나요?
AI가 그 확률은 이 연구에서 알 수 없다고 답하고 위험비만 전했다면 지표 보존입니다. 기록에 질문 원문을 옮기고, 답이 확률을 말하지 않았다는 점을 함께 씁니다. 질문에 맞추려고 숫자를 만든 답은 셋째 줄입니다.
원문이 센 사건이 재발이나 입원인데 AI가 사망 확률로 전하면 어느 값인가요?
사건이 달라졌으므로 원문과 다름입니다. 지표가 위험비인지 확률인지를 가리기 전에 사건의 이름부터 맞대고, 기록에 원문의 사건 정의를 옮깁니다. 같은 문장이 위험비를 확률로도 전했다면 지표 바뀜을 함께 매깁니다.
한 논문에 보정 전과 보정 뒤의 위험비가 함께 실려 있으면 어느 값과 맞대나요?
AI 수치와 같은 값이 실린 분석과 맞대고, 기록에 그 분석의 이름을 씁니다. AI가 어느 분석인지 밝히지 않았다면 「분석 표시 없음」을 더합니다. 원문이 결론에 쓴 값과 다른 값을 AI가 연구의 결과라고 전했다면 그 사실도 기록합니다.
병원 글이 「사망 위험 몇 퍼센트 감소」를 「몇 퍼센트가 생존」으로 옮겨 쓴 경우 무엇을 올리나요?
그 문장의 주소와 원문의 위험비 구절, 시점별 확률 구절을 나란히 원장에게 올립니다. 감소율을 생존한 사람의 비율로 옮긴 것은 지표 바뀜이고, 치료 결과를 크게 읽히게 하는 표현이어서 의료광고 기준에 닿는지를 원장이 함께 가립니다.
곡선이 엇갈리는 연구와 그림에서 읽은 값
두 집단의 생존 곡선이 도중에 엇갈리는 연구가 있습니다. 앞 시기에는 한쪽이 좋고 뒤 시기에는 다른 쪽이 좋은 경우여서, 위험비 하나로 기간 전체를 요약하기 어렵습니다. 원문이 이 점을 밝히고 시기를 나누어 결과를 실었다면, AI가 한 시기의 결과를 기간 전체의 결과처럼 전했는지를 맞대어 그렇다면 원문과 다름으로 매기고 기록에 원문의 시기 구절을 옮깁니다.
AI가 생존 곡선 그림에서 읽은 듯한 확률을 전했는데 원문에는 그 시점의 확률이 숫자로 실려 있지 않은 경우도 있습니다. 그림에 그려져 있더라도 원문이 숫자로 밝히지 않은 값은 AI가 읽어 낸 값이므로, AI 계산 더함으로 매기고 기록에 「그림에서 읽은 값」이라고 씁니다. 담당도 그림에서 값을 읽어 맞는지 가리지 않습니다.