설문 점수를 효과 비율로 옮긴 답변의 진단
AI가 환자 설문 점수의 상승을 같은 비율의 치료 효과 상승으로 답했다면 단위를 옮긴 오류로 진단합니다. 설문 점수는 척도 위의 점이고, 치료 효과 비율은 환자 가운데 어떤 일이 생긴 사람의 비율입니다. 점수가 기준보다 얼마쯤 올랐다는 말과 환자의 그만큼이 나았다는 말은 서로 다른 사실입니다. 원문이 점수 변화를 어떻게 읽어야 하는지 밝힌 구절을 찾아 AI 문장과 맞대면 어디서 단위가 옮겨졌는지 드러납니다.
원문에서 찾을 것은 넷입니다. 설문 도구의 이름, 척도의 범위와 방향, 점수 변화의 크기, 저자가 그 변화를 어떻게 해석했는지입니다. 척도의 방향은 점수가 높을수록 좋은 상태인지 나쁜 상태인지를 말합니다. 저자의 해석은 그 변화가 환자에게 뜻이 있는 크기인지에 관해 원문이 쓴 문장입니다.
판정 값은 단위 보존, 단위 옮김, AI 계산 더함, 원문과 다름, 원문 미확보의 다섯입니다. 진단 담당은 점수 변화가 임상적으로 충분한지 판정하지 않습니다. AI 문장의 단위와 숫자가 원문 구절의 단위와 숫자와 같은지만 가립니다.
병원 쪽에서 이 오류를 가볍게 넘길 수 없는 까닭은 읽히는 뜻에 있습니다. 「설문 점수가 올랐다」는 연구의 관찰이지만 「효과가 그만큼 높다」는 환자에게 결과를 기대하게 하는 말입니다. 이런 문장이 병원 이름이나 시술 안내와 나란히 전해지면 병원이 하지 않은 약속이 병원의 말처럼 남을 수 있어, 옮겨진 지점이 병원 글인지 바깥 글인지 AI 답변인지를 끝까지 찾습니다.
점수 변화를 전한 문장의 판정
| AI 답변의 문장 | 판정 | 기록에 옮길 것 |
|---|---|---|
| 도구 이름과 점 단위로 점수 변화를 원문대로 전함 | 단위 보존 | 없음 |
| 점수 변화를 「효과가 몇 퍼센트」「환자의 몇 퍼센트가 호전」으로 전함 | 단위 옮김 | AI가 쓴 단위, 원문의 단위 구절 |
| 원문에 없는 변화율을 계산해 전함 | AI 계산 더함 | AI 수치, 원문의 점수 구절 |
| 점수의 크기나 방향이 원문과 다름 | 원문과 다름 | 두 수치, 원문의 방향 구절 |
| 원출처를 열 수 없거나 점수 구절을 찾지 못함 | 원문 미확보 | 구하지 못한 까닭과 날짜 |
둘째 줄과 셋째 줄은 한 문장에 함께 매길 수 있습니다. 기준 점수에 견준 변화율을 AI가 계산하고, 그 변화율을 환자 비율처럼 전했다면 둘 다입니다. 셋째 줄만 해당하는 문장은 「점수가 몇 퍼센트 올랐다」처럼 단위는 점수로 남긴 경우입니다. 계산이 맞는지는 가리지 않고 원문에 그 수치가 없다는 사실만 남깁니다.
넷째 줄에서 방향을 따로 읽는 까닭은 점수가 낮을수록 좋은 척도가 있기 때문입니다. 원문은 점수가 내려가 좋아졌다고 썼는데 AI가 「점수가 올랐다」고 전했다면, 숫자가 같아도 넷째 줄입니다.
AI 문장의 낱말과 원문 단위의 짝
단위가 옮겨졌는지는 AI 문장에 쓰인 낱말에서 드러납니다. 아래 세 낱말 묶음마다 원문에서 찾을 구절이 다릅니다.
| AI 문장의 낱말 | 읽는 사람에게 전해지는 뜻 | 원문에서 찾을 구절 |
|---|---|---|
| 몇 점, 점수 차이 | 척도 위에서 움직인 크기 | 결과 표의 점수 변화, 척도 범위 |
| 몇 퍼센트 개선, 몇 퍼센트 향상 | 기준에 견준 변화율 | 원문이 변화율을 직접 쓴 문장 |
| 몇 퍼센트의 환자, 효과가 몇 퍼센트 | 나아진 사람의 비율 | 일정 크기 넘게 좋아진 환자 비율을 따로 보고한 문장 |
첫째 묶음은 척도 범위가 곁에 있는지를 함께 가립니다. 범위가 빠진 「10점 상승」은 읽는 사람이 큰 변화인지 작은 변화인지 가늠할 수 없습니다. 범위가 빠졌다고 판정 값이 달라지지는 않으며, 기록에 「척도 범위 없음」이라고 남깁니다. 점수가 언제 잰 값인지도 같은 방식으로 다룹니다. 원문은 치료 뒤 몇 주째의 점수를 실었는데 AI 문장에 시점이 없다면, 판정은 그대로 두고 「측정 시점 없음」을 기록에 더합니다.
둘째 묶음은 원문이 변화율을 직접 썼을 때에만 단위 보존입니다. 원문이 점수만 실었다면 셋째 줄로 매깁니다.
셋째 묶음이 이 진단의 중심입니다. 연구에 따라서는 점수 변화와 별도로, 미리 정한 크기 넘게 좋아진 환자가 얼마였는지를 따로 보고합니다. 원문에 그 문장이 있고 AI의 비율이 그 문장의 비율과 같다면 단위 보존입니다. 그 문장이 없는데 AI가 환자 비율로 말했다면 단위 옮김입니다. 점수 변화율과 환자 비율이 원문에 모두 있는데 AI가 앞의 숫자를 뒤의 뜻으로 전했다면 역시 단위 옮김이고, 두 구절을 모두 옮깁니다.
AI가 단 링크가 기사나 소개 글이면 그 글에서 이미 단위가 옮겨졌는지를 가립니다. 옮겨진 지점이 중간 글이라면 주소와 문장을 기록하고, 병원이 그 글에 정정을 요청할지와 요청 이력을 어떻게 남길지는 병원 외부 출처 관리에서 따로 다룹니다.
진단에 적용하는 네 단계
- 질문과 AI 원응답을 날짜, 서비스 이름과 함께 보관하고, 점수나 퍼센트가 든 문장을 가려 번호를 매깁니다.
- 번호마다 AI 문장의 낱말이 세 묶음 가운데 어디에 드는지 표시합니다. 한 문장에 두 묶음의 낱말이 있으면 둘 다 표시합니다.
- 원문에서 도구 이름, 척도 범위와 방향, 점수 변화, 저자의 해석 구절을 찾아 그대로 옮깁니다. 찾지 못한 것은 「구절 없음」이라고 씁니다.
- 판정표의 줄을 매기고, 옮겨진 지점을 AI 답변, 중간 글, 병원 글 가운데 하나로 씁니다.
셋째 단계에서 저자의 해석 구절이 없는 원문이 있습니다. 점수 변화만 싣고 그 크기가 환자에게 뜻이 있는지는 말하지 않은 경우입니다. 이때 진단 담당이 다른 문헌의 기준을 끌어와 빈 곳을 채우지 않습니다. AI가 「의미 있는 개선」이라고 전했다면 원문에 없는 해석이 더해진 것이므로, 기록에 AI의 해석 낱말을 옮기고 의료진에게 보낼 질문으로 남깁니다.
넷째 단계에서 옮겨진 지점이 병원 글이면 수정 권고를 씁니다. 권고는 세 가지로 한정합니다. 점수는 도구 이름, 척도 범위와 함께 점 단위로 쓸 것, 원문에 없는 변화율을 병원이 계산해 싣지 않을 것, 환자 비율로 말하려면 원문이 환자 비율을 보고한 구절을 근거로 삼을 것입니다. 「효과가 몇 퍼센트」라는 표현은 치료 결과를 장담하는 말로 읽힐 수 있으므로, 의료광고 심의 기준에 걸리는지를 원장이 확인하도록 함께 알립니다. 권고대로 고친다고 AI 답변이 달라진다고 약속하지 않습니다.
실장과 원장에게 넘기는 묶음
실장에게는 단위 옮김이 매겨진 문장의 목록과, 그 문장에 쓰인 숫자를 넘깁니다. 실장은 같은 숫자가 병원 홈페이지, 블로그, 상담 안내문에 있는지를 찾아 주소와 함께 돌려줍니다. 숫자로 찾으면 표현이 달라도 같은 출처에서 나온 문장을 찾을 수 있습니다. 시술 안내 그림이나 카드 소식처럼 글자가 이미지 안에 든 자료는 검색에 걸리지 않으므로, 실장이 해당 시술의 안내 자료를 직접 열어 같은 숫자가 있는지 훑고 찾은 자료의 이름을 목록에 더합니다.
원장에게는 문장마다 AI 문장, 원문의 네 구절, 판정 값, 옮겨진 지점을 한 묶음으로 넘깁니다. 원장은 병원 글의 문장을 고칠지와 의료진 검토가 필요한 문장을 정합니다. 진단 담당은 고친 문장을 대신 쓰지 않습니다. 원문 미확보로 남은 문장은 묶음에서 빼지 않고 끝에 따로 모아, 어떤 구절을 구하지 못했는지와 다시 찾아볼 곳을 함께 씁니다. 빼 버리면 원장은 그 문장이 문제없다는 뜻으로 받아들일 수 있습니다.
환자는 「얼마나 좋아지나요」처럼 비율로 답을 듣고 싶어 하는 물음을 던집니다. 병원 글이 그 물음에 점수로 답하면 답이 빗나간 것처럼 느껴져 비율로 고쳐 쓰고 싶어지는데, 단위가 옮겨지는 출발점이 그 문장일 수 있습니다. 물음에 곧바로 답하면서도 잰 단위를 지키는 글의 모양은 답변형 콘텐츠 작성에서 이어서 정리합니다.
설문 점수 단위 진단 자주 묻는 질문
점수 변화와 환자 비율을 각각 맞게 전했지만 한 문장에 이어 쓴 답변은 어떻게 매기나요?
두 숫자와 단위가 저마다 원문 구절과 같으면 단위 보존입니다. 다만 「즉」이나 「다시 말해」로 이어 두 숫자가 같은 사실인 것처럼 전했다면 단위 옮김으로 매기고, 이어 준 낱말을 기록에 옮깁니다.
논문에 숫자 없이 그래프만 있는데 AI가 점수를 숫자로 전하면 어떻게 하나요?
본문과 표에 그 숫자가 없으면 셋째 줄로 매기고 「그래프에만 있음」이라고 남깁니다. 진단 담당이 그래프를 눈으로 읽어 AI의 숫자가 맞는지 가늠하지 않습니다. 보충 자료를 원문이 가리키고 있으면 그 자료에 숫자가 있는지까지 찾습니다.
척도의 만점이나 방향이 논문에 실려 있지 않으면 어디서 찾나요?
원문이 도구를 소개하며 가리킨 문헌에서 찾습니다. 같은 이름의 설문이라도 판에 따라 문항 수와 만점이 다를 수 있으므로, 원문이 가리키지 않은 자료에서 찾은 값은 쓰지 않고 「원문에 범위 표기 없음」이라고 남깁니다.
두 집단의 점수 차이를 AI가 한 집단의 점수 상승처럼 전하면 어느 줄인가요?
넷째 줄입니다. 집단 사이의 차이와 한 집단 안의 앞뒤 변화는 원문에서 다른 숫자입니다. 기록에는 원문의 두 숫자를 어느 것이 집단 간 차이이고 어느 것이 앞뒤 변화인지 이름과 함께 옮깁니다.
병원이 자체로 조사한 만족도 점수를 AI가 치료 성공률처럼 전하면 어떻게 진단하나요?
같은 표로 매기며 원문은 병원 글이 됩니다. 만족도 점수가 치료 성공률로 전해졌다면 단위 옮김입니다. 병원 글에 설문 문항, 응답자 수, 조사 기간이 없으면 그 사실을 기록하고, 만족도 수치를 치료 결과처럼 읽히게 쓴 문장이 있는지 실장이 함께 찾습니다.