유의하다는 말을 크다는 뜻으로 옮긴 답의 판정
AI가 통계적으로 유의하다는 말을 효과가 크다는 뜻으로 썼다면, 원출처가 그 차이를 크다고 풀어 쓰지 않은 한 원문 범위를 넘긴 오류입니다. 통계적으로 유의하다는 것은 관찰된 차이가 우연만으로 생겼다고 하기 어렵다는 판단입니다. 차이가 있느냐에 대한 답이고, 차이가 얼마나 크냐에 대한 답은 아닙니다.
차이의 크기는 효과 추정치가 말합니다. 두 집단의 결과가 얼마만큼 달랐는지를 숫자와 단위로 밝힌 값이고, 그 곁에 신뢰구간이 함께 실립니다. 그 크기가 환자에게 뜻이 있는지는 또 다른 물음이어서, 연구는 어느 정도 넘게 달라져야 중요한 차이로 칠지를 미리 기준으로 정해 두기도 합니다. 유의성, 크기, 임상적 의미는 이렇게 셋으로 떨어져 있습니다.
AI 답은 이 셋을 한 낱말로 합치기 쉽습니다. 「유의하게 개선되었다」가 「뚜렷하게 개선되었다」로, 다시 「효과가 크다」로 옮겨집니다. 이런 문장이 병원의 시술 안내와 나란히 전해지면 읽는 사람은 큰 개선을 기대하게 되므로, 진단은 크기를 말한 낱말이 원문 어디에서 왔는지를 찾습니다. 그 치료가 실제로 쓸 만한지는 진단에서 다루지 않습니다.
유의성과 크기 판정표
연구 결과의 유의성이나 크기를 말한 AI 문장은 아래 유의성과 크기 판정표의 일곱 줄 가운데 하나로 판정합니다.
| AI 문장 | 원출처 | 판정 | 함께 남길 기록 |
|---|---|---|---|
| 유의하다는 사실과 추정치를 원문대로 전함 | 둘 다 실려 있음 | 원문 범위 안 | 없음 |
| 유의하다고만 전하고 크기는 말하지 않음 | 어느 경우든 | 원문 범위 안 | 「크기 없음」 |
| 유의하다는 것을 들어 크다, 뚜렷하다, 확실하다고 전함 | 크기를 그렇게 풀어 쓴 문장이 없음 | 범위 넘김 | 더해진 낱말, 추정치 구절 |
| 임상적으로 의미 있다고 전함 | 중요 차이 기준을 밝혔고 넘었다고 씀 | 원문 범위 안 | 기준 구절 |
| 임상적으로 의미 있다고 전함 | 기준에 못 미쳤다고 썼거나 기준을 밝히지 않음 | 범위 넘김 | 기준 구절 또는 「기준 없음」 |
| 유의 여부나 추정치를 원문과 다르게 전함 | 어느 경우든 | 범위 넘김 | 「값 다름」, 두 수치 |
| 어느 쪽이든 | 열 수 없거나 결과 구절을 찾지 못함 | 원문 미확보 | 구하지 못한 까닭과 날짜 |
유의성과 크기 판정표의 판정 값은 원문 범위 안, 범위 넘김, 원문 미확보 셋입니다. 이 표의 셋째 줄에서 원출처가 스스로 「큰 차이」「뚜렷한 개선」이라고 풀어 썼다면 AI는 원문대로 전한 것이므로 첫째 줄로 매기고, 기록에 그 구절을 옮깁니다. 이 표의 둘째 줄은 오류가 아니지만, 질문이 효과가 얼마나 큰지를 직접 물었다면 크기가 빠진 답이 다르게 읽힐 수 있어 질문 원문을 함께 남깁니다.
결과 구절 옮김표
원출처에서는 아래 결과 구절 옮김표의 다섯 칸을 원문 표기대로 옮깁니다.
| 칸 | 옮길 내용 | 유의성과 크기 판정표에서 쓰는 줄 |
|---|---|---|
| 유의성 판단 | 유의했는지와 그 판단에 쓴 값 | 첫째, 둘째, 여섯째 |
| 효과 추정치 | 차이의 크기와 단위 | 첫째, 셋째, 여섯째 |
| 신뢰구간 | 추정치 곁에 실린 구간의 두 끝 | 여섯째 |
| 중요 차이 기준 | 연구가 정한 기준과 그 출처 | 넷째, 다섯째 |
| 저자의 풀이 | 결과의 크기와 뜻을 저자가 쓴 문장 | 셋째, 넷째, 다섯째 |
결과 구절 옮김표의 저자의 풀이 칸은 고찰이나 결론 부분에서 찾습니다. 저자가 「작지만 유의한 차이」「임상적 의미는 불확실」처럼 크기를 낮추어 쓴 문장이 있다면 빠뜨리지 않고 옮깁니다. AI가 유의하다는 사실만 가져오고 이 풀이를 빼놓은 채 크다고 전했다면, 더해진 낱말과 빠진 풀이를 함께 기록합니다. 신뢰구간 칸은 AI가 구간의 한쪽 끝을 결과인 것처럼 전했을 때 여섯째 줄의 근거가 됩니다.
AI 문장에서 결과 구절로 가는 다섯 단계
- 진단 담당이 질문과 AI 원응답을 날짜, 서비스 이름과 함께 그대로 보관합니다.
- 진단 담당이 연구 결과를 말한 문장마다 번호를 매기고, 유의성을 가리키는 말과 크기를 가리키는 말을 따로 표시합니다.
- 진단 담당이 인용 링크를 열어 원출처까지 올라가, AI 문장이 가리키는 결과가 여러 결과 가운데 어느 것인지 정합니다.
- 진단 담당이 그 결과에 대해 결과 구절 옮김표의 다섯 칸을 옮깁니다. 원문에 없는 칸은 「없음」이라고 씁니다.
- 진단 담당이 번호를 매긴 문장마다 유의성과 크기 판정표의 줄을 매기고, 넘긴 지점이 AI 답인지 중간에 놓인 글인지를 함께 씁니다.
셋째 단계가 필요한 까닭은 한 연구가 여러 결과를 싣기 때문입니다. 어떤 결과는 유의하고 어떤 결과는 그렇지 않을 수 있어, AI가 말한 결과가 어느 것인지 정하지 않으면 다른 결과의 추정치와 맞대게 됩니다. AI 문장이 결과의 이름을 밝히지 않았다면 「결과 이름 없음」이라고 쓰고, 원문이 주된 결과라고 밝힌 것과 맞댑니다.
넷째 단계에서 담당은 추정치가 큰지 작은지를 스스로 평가하지 않습니다. 중요 차이 기준이 원문에 없을 때 다른 문헌의 기준을 가져와 견주는 일도 하지 않습니다. 기준이 없다는 사실을 옮기고, 크기의 뜻이 판정에 꼭 필요하면 의료진에게 묻습니다.
더해진 낱말을 가려내는 방법
둘째 단계에서 표시할 말은 세 묶음입니다. 유의성의 말은 「유의하게」「통계적으로 차이가 있었다」입니다. 크기의 말은 「크게」「대폭」「현저히」「뚜렷하게」입니다. 의미의 말은 「임상적으로 의미 있는」「환자가 느낄 만한」입니다. AI 문장에서 묶음마다 어떤 낱말이 쓰였는지를 옮기고, 원문의 같은 묶음 칸과 맞댑니다.
유의성의 말만 있고 나머지 묶음이 비어 있으면 더해진 것이 없습니다. 크기의 말이 있는데 원문의 저자 풀이에 같은 뜻의 말이 없으면 그 낱말이 더해진 낱말입니다. 의미의 말이 있으면 중요 차이 기준 칸으로 가서, 원문이 기준을 넘었다고 썼는지를 찾습니다.
가르기 어려운 낱말은 「유의미한」입니다. 통계 용어를 그대로 옮긴 말일 수도 있고, 일상에서 쓰는 「뜻깊은」「상당한」의 뜻으로 쓴 말일 수도 있습니다. 앞뒤에 「통계적으로」가 있거나 검정 결과와 함께 쓰였다면 유의성의 말로 나누고, 「유의미하게 좋아진다」처럼 크기를 꾸미는 말로 쓰였다면 크기의 말로 나눕니다. 어느 쪽으로 나누었는지와 앞뒤 문장을 기록에 함께 씁니다.
「확실하다」「입증되었다」는 크기가 아니라 확실함을 말하지만, 읽는 사람에게는 효과가 분명히 크다는 뜻으로 닿습니다. 원문에 그런 말이 없다면 유의성과 크기 판정표 셋째 줄의 더해진 낱말로 옮깁니다.
판정 뒤 병원 글로 이어지는 일
더해진 낱말이 기사나 바깥 블로그에서 시작되었고 병원 글이 그 글에 기대어 같은 말을 쓰고 있다면, 실장이 그 문장의 주소를 찾아 넘깁니다. 고칠지는 원장이 의료진 검토를 거쳐 정합니다. 병원 글의 근거를 기사에서 연구 원문의 추정치 구절로 옮기는 방법은 병원 GEO 출처 확보에서 다룹니다.
병원 글을 고친 뒤 AI 답이 달라진다고 약속할 수는 없습니다. 병원이 할 수 있는 것은 자기 글에서 크기를 숫자와 단위로 말하는 것입니다. 「유의했다」는 말 바로 뒤에 차이의 크기를 단위와 함께 쓰는 문장 짜임은 병원 AI 인용 콘텐츠에서 다룹니다.
통계적 유의성 점검 자주 묻는 질문
유의하지 않았다는 결과를 AI가 효과가 없다고 전하면 같은 오류인가요?
방향만 반대인 같은 오류입니다. 유의하지 않다는 것은 이 연구로는 차이를 가려내지 못했다는 뜻이고, 차이가 없다는 증명이 아닙니다. 원문이 효과가 없다고 결론짓지 않았다면 범위 넘김으로 매기고, 기록에 더해진 낱말과 원문의 결론 문장을 옮깁니다.
대상자가 아주 많은 연구여서 작은 차이도 유의하게 나온 것 같으면 어떻게 쓰나요?
담당은 그렇게 짐작한 내용을 진단서에 쓰지 않습니다. 옮기는 것은 대상자 수와 추정치, 저자의 풀이입니다. 저자가 차이가 작다고 스스로 밝혔다면 그 문장이 판정의 근거가 되고, 밝히지 않았다면 의료진에게 보낼 물음 칸에 따로 씁니다.
원문이 중요 차이 기준을 넘었다고 썼는데 AI가 모든 환자가 좋아진다고 전하면 어떻게 하나요?
기준을 넘었다는 것은 집단의 평균 차이가 기준보다 컸다는 뜻이고, 환자마다 그만큼 좋아졌다는 뜻은 아닙니다. 「임상적으로 의미 있다」까지는 넷째 줄로 원문 범위 안이지만, 「모든 환자」「누구나」가 붙었다면 원문에 없는 대상이 더해진 것이므로 범위 넘김입니다.
병원 글이 「유의한 개선」을 「확실한 개선」으로 옮겨 썼다면 넘긴 지점은 어디인가요?
병원 글입니다. AI가 병원 글을 인용해 그대로 전했다면 AI 문장의 판정은 범위 넘김 그대로이고, 기록의 넘긴 지점 칸에 병원 글의 주소를 씁니다. 치료 결과를 확실하다고 알리는 문장은 의료광고 기준에 닿을 수 있어 원장에게 먼저 올립니다.
AI가 유의성은 말하지 않고 추정치만 전하면 판정은 어떻게 되나요?
추정치가 원문과 같으면 원문 범위 안이고, 기록에 「유의성 없음」을 더합니다. 추정치만으로 크다거나 작다고 덧붙였다면 저자의 풀이와 맞대어 셋째 줄에 해당하는지를 가립니다.
유의하다는 말의 뜻이 달라지는 연구
두 치료가 서로 못하지 않음을 밝히려는 연구처럼, 유의하다는 말이 한쪽이 더 낫다는 뜻이 아닌 설계가 있습니다. 이런 연구에서는 담당이 유의성의 말을 풀어 옮기지 않고, 원문이 밝힌 연구 설계의 이름과 결론 문장을 그대로 옮겨 AI 문장과 맞댑니다. AI가 「더 낫다」고 전했는데 원문의 결론이 「못하지 않다」라면 유의성과 크기 판정표의 여섯째 줄입니다.
연구 도중에 미리 정한 시점마다 결과를 분석하는 중간 분석에서는 유의하다고 판단하는 선이 마지막 분석과 다르게 정해집니다. AI가 중간 분석의 결과를 연구가 끝난 뒤의 결과처럼 전했다면, 원문이 중간 분석이라고 밝힌 구절을 옮기고 여섯째 줄로 매깁니다.
주된 결과는 유의하지 않았고 덧붙여 분석한 결과 하나만 유의했던 연구도 있습니다. AI가 그 하나를 들어 연구가 유의한 개선을 밝혔다고 전했다면, 연구의 결론이 달라진 것이므로 같은 표의 여섯째 줄로 매기고 기록에 주된 결과의 구절을 함께 옮깁니다.