AI 답변 속 넓은 신뢰구간의 점추정치, 숨겨진 불확실성 기록

가장 그럴듯한 값과 가능한 범위

괄호 안의 범위는 장식이 아닙니다. 그 연구가 얼마나 확실하게 30%라고 말할 수 있는지를 알려 주는 부분입니다. 범위가 좁으면 30% 가까이라고 꽤 자신 있게 말할 수 있고, 범위가 넓으면 실제 효과가 훨씬 작을 수도 훨씬 클 수도 있다는 뜻입니다. 참여한 사람이 적은 연구일수록 범위가 넓어지는 편입니다. 범위를 뺀 답변은 넓은 범위의 불확실한 값을 좁은 범위의 확실한 값처럼 읽히게 만듭니다.

진단은 그 치료의 효과가 실제로 얼마인지를 정하지 않습니다. 범위가 넓다는 것이 효과가 없다는 뜻도 아닙니다. 기록하는 것은 원문이 밝힌 불확실성이 답변에서 사라졌는지, 사라졌다면 원문의 범위가 얼마였는지까지입니다. 그 범위를 환자에게 어떻게 풀어 줄지는 전문가가 정합니다.

값은 추정치와 범위를 함께 전함, 범위 없이 추정치만 전함, 추정치를 정확한 효과로 단정함, 범위를 좁혀 전함, 원출처 자료 없음의 다섯입니다. 추정치를 정확한 효과로 단정함은 범위를 뺀 데 더해 「정확히」 「반드시」 「확실히」처럼 불확실성이 없다는 말을 덧붙인 경우입니다.

답변이 범위를 다룬 방식에 따른 판정

값은 답변이 범위를 어떻게 다뤘는지로 하나만 매깁니다. 범위를 뺐고 단정의 말까지 덧붙였다면 추정치를 정확한 효과로 단정함 하나로 매깁니다. 범위를 전하긴 했는데 원문보다 좁다면 범위를 좁혀 전함입니다. 원문이 범위를 아예 밝히지 않은 연구라면 답변이 범위를 뺀 것이 아니므로 원출처 자료 없음으로 보류하고, 비고에 「원문에 범위 없음」이라고 씁니다.

순위는 추정치를 정확한 효과로 단정함을 가장 앞에 놓습니다. 불확실성을 빼는 데서 그치지 않고 불확실성이 없다고 말했기 때문입니다. 그다음은 범위가 넓은 연구의 추정치만 전한 줄입니다. 범위가 넓을수록 빠진 것이 크므로, 담당은 원문의 범위를 숫자 그대로 옮겨 읽는 사람이 폭을 알 수 있게 합니다. 범위가 넓은지 좁은지를 담당이 평가하는 말로 쓰지는 않습니다.

답변마다 옮기는 다섯 가지

담당은 답변마다 아래 다섯 가지를 옮깁니다. 숫자는 원문에 쓰인 그대로 옮깁니다.

판정 대상 답변과 질문은 함께 옮깁니다. 질문이 「효과가 얼마나 되나요」처럼 크기를 물었다면 답변은 숫자를 내놓기 쉽고, 그 숫자가 범위 없이 나왔는지를 읽습니다. 질문이 「효과가 있나요」처럼 있고 없음을 물었는데 답변이 숫자까지 내놓았다면, 그 숫자가 어디서 왔는지도 원출처에서 맞댑니다. 질문의 꼴은 값에 쓰지 않고 비고에 남깁니다.

AI 문장의 수치는 맺는 말까지 옮깁니다. 「약 30%」 「30% 안팎」은 범위를 밝히지는 않았지만 값이 흔들릴 수 있다는 것을 남긴 말입니다. 「30% 줄입니다」는 그런 흔적이 없는 말이고, 「정확히 30%」는 흔들림이 없다고 말한 것입니다. 담당은 세 꼴을 가려 옮기고, 앞의 꼴은 비고에 「어림의 말 있음」이라고 씁니다. 값은 여전히 범위 없이 추정치만 전함입니다.

효과 추정치와 신뢰구간은 구간의 수준까지 옮깁니다. 원문이 어떤 수준의 구간을 썼는지가 쓰여 있으면 그대로 옮기고, 담당이 다른 수준의 구간으로 바꿔 셈하지 않습니다. 병원의 연구 소개가 원문을 요약한 것이라면 요약의 문장도 나란히 옮깁니다. 요약 단계에서 구간이 빠져 있으면 원천이 병원 글이라는 점을 비고에 씁니다.

표본 수는 그 결과를 얻은 사람의 수를 옮깁니다. 연구 전체의 참여자와 그 결과를 분석한 사람의 수가 다르면 뒤의 것을 옮깁니다. 표본 수는 범위가 왜 넓은지를 읽는 사람이 짐작할 수 있게 하는 자료이며, 담당이 표본이 적다 많다고 평가하는 말로 쓰지는 않습니다. AI 서비스가 왜 범위를 빼고 전했는지는 공식 안내로 확인된 범위 밖입니다.

추정치 하나로 전한 문장과 범위까지 전한 문장의 비교

두 문장은 읽는 사람에게 남기는 인상, 진단이 맞댈 수 있는 곳, 병원 글로 옮겼을 때의 무게에서 다릅니다.

추정치 하나로 전한 문장은 그 숫자를 사실처럼 남깁니다. 「재발을 30% 줄입니다」를 읽은 환자는 제게도 30%만큼의 효과가 있을 것이라고 받습니다. 진단이 맞댈 수 있는 곳은 숫자 하나뿐이어서, 숫자가 원문의 추정치와 같으면 겉으로는 맞은 문장이 됩니다. 이 문장이 병원 글로 옮겨지면 병원이 30%를 약속한 것처럼 읽힙니다.

범위까지 전한 문장은 숫자와 함께 그 숫자의 흔들림을 남깁니다. 「재발을 30% 줄였으나 실제 효과는 5%에서 50% 사이일 수 있다」를 읽은 환자는 효과가 작을 수도 있다는 것을 압니다. 진단이 맞댈 수 있는 곳은 추정치와 두 끝, 셋입니다. 병원 글로 옮겨도 약속의 말이 되지 않습니다.

두 문장 사이에 놓인 꼴도 있습니다. 「30% 가량 줄일 수 있다」처럼 범위는 없지만 단정하지 않은 문장입니다. 이 문장은 흔들림이 있다는 것은 남기지만 그 폭은 남기지 않습니다. 진단에서는 범위를 뺀 쪽으로 매기고, 어림의 말이 있다는 것을 비고에 씁니다.

두 문장의 숫자가 같다는 까닭으로 앞의 문장을 맞음으로 닫지 않습니다. 진단 기록에는 숫자 칸과 범위 칸을 나눠 두고, 숫자가 맞더라도 범위 칸이 비었으면 값을 매깁니다.

넘기는 묶음과 병원 글의 권고

원장에게는 답변마다 질문과 AI 문장, 원문의 추정치와 신뢰구간, 표본 수, 원출처 구절, 값을 묶어 넘깁니다. 추정치를 정확한 효과로 단정함을 맨 앞에 올리고, 병원 글이 원천이었던 건은 따로 표시합니다. 진단은 그 치료의 효과가 충분한지, 환자에게 권할 만한지를 쓰지 않습니다.

수정 권고는 병원 글에 한정합니다. 병원이 연구의 효과 수치를 소개한다면 추정치 옆에 원문의 구간과 참여자 수를 함께 쓰고, 「정확히」 「반드시」 같은 말을 붙이지 않도록 권고합니다. 연구 소개를 병원 글에 어떻게 실을지는 원장이 의료광고 심의 기준 확인을 거쳐 정하며, 고친다고 AI 답변이 달라진다고 약속하지 않습니다.

짧게 답하는 글에서는 괄호 속 범위가 먼저 떨어지기 쉬우므로, 범위를 풀어 한 문장으로 전하는 방법은 답변형 콘텐츠 작성에서 이어서 정리합니다.