사후 하위집단의 유리한 결과만 전한 답변, 사전 지정 여부의 대조

유리한 하위집단만 전한 답변의 진단

진단 담당이 가리는 것은 두 가지입니다. 하나는 위상입니다. 원문이 탐색적이라고 밝힌 결과를 AI가 입증된 결론처럼 전했는지입니다. 다른 하나는 전체 결과입니다. 연구 전체에서 나온 결과가 하위집단 결과와 달랐다는 사실이 답에 남아 있는지입니다. 둘은 따로 매깁니다. 위상은 지켰는데 전체 결과가 빠진 답도 있고, 전체 결과는 전했는데 하위집단 결과를 결론으로 앞세운 답도 있기 때문입니다.

판정 값은 원문 그대로, 위상 올림, 전체 결과 빠짐, 원문 미확보의 넷입니다. 한 문장에 위상 올림과 전체 결과 빠짐이 함께 매겨질 수 있습니다. 치료가 실제로 그 집단에 듣는지는 이 진단에서 판정하지 않습니다.

병원 GEO 진단에서 이 항목을 따로 두는 까닭은 답이 놓이는 곳 때문입니다. 하위집단 결과가 병원의 진료 설명 곁에서 확정된 효과처럼 전해지면 읽는 사람에게 치료 결과를 약속하는 말로 받아들여질 수 있습니다. 그래서 위상 올림을 찾은 뒤에는 병원 홈페이지와 블로그에 같은 문장이 있는지까지 이어서 찾습니다.

사후 하위집단 결과를 전한 문장의 판정

원문에 그 분석이 사전 지정인지 사후인지가 드러나 있지 않으면 위상 올림은 매기지 않습니다. 기록에 「지정 여부 표기 없음」이라고 쓰고, 넷째 줄에 해당하는지만 가립니다. 진단 담당이 논문의 짜임을 읽고 사후 분석일 것이라고 짐작해 매기면 그 판정은 원문이 아니라 담당의 해석에 기대게 됩니다.

원문에서 옮길 세 구절

판정에 앞서 원문에서 세 구절을 찾아 그대로 옮깁니다. 간추리지 않고 원문 문장대로 옮기며, 외국어 원문은 원문을 남기고 뜻을 곁에 씁니다. 첫째는 전체 결과 구절입니다. 연구가 처음에 정한 주된 평가 항목에서 전체 대상자의 결과가 어떠했는지를 쓴 문장이며, 결과 부분의 앞쪽과 초록의 결과 칸에 실립니다. 둘째는 하위집단 결과 구절입니다. 어느 집단인지, 그 집단이 어떻게 정해졌는지가 같은 문장이나 표 제목에 있는지 함께 옮깁니다.

셋째는 분석 계획 구절입니다. 방법 부분의 통계 분석 단락에서 하위집단 분석을 미리 정했다고 썼는지, 「사후」「탐색적」이라고 밝혔는지를 찾습니다. 원문이 임상시험 등록 번호나 연구 계획서를 가리키고 있으면 그 문서의 해당 칸도 옮깁니다. 원문이 가리키지 않은 문서를 진단 담당이 따로 찾아 근거로 삼지는 않습니다.

AI가 붙인 링크가 논문이 아니라 기사나 병원 글이면 그 글이 어느 구절을 옮겼는지부터 가립니다. 기사가 하위집단 결과만 제목으로 뽑았다면, AI 문장이 기사와는 맞고 원문과는 어긋나는 일이 생깁니다. 이때 판정은 원문을 기준으로 매기고, 어긋남이 시작된 글의 주소를 기록에 남깁니다. 병원이 직접 고칠 수 없는 바깥 글이 어긋남의 출발점일 때 그 글을 어떻게 다룰지는 병원 외부 출처 관리에서 따로 다룹니다.

AI 문장에서 가려낼 세 가지

세 구절을 옮겼으면 AI 문장으로 돌아가 세 가지를 가립니다. 집단 한정어가 남아 있는지, 확정하는 말이 더해졌는지, 전체 결과가 언급됐는지입니다.

집단 한정어는 원문의 집단 이름과 글자 그대로 같을 필요는 없습니다. 원문이 나이와 중증도로 정한 집단을 AI가 「일부 환자」라고만 전했다면 한정어가 남았다고 매기지 않습니다. 읽는 사람이 자기가 그 집단에 드는지 가늠할 수 없기 때문입니다.

확정하는 말은 원문의 단서와 짝지어 읽습니다. 원문이 「추가 연구가 필요하다」고 맺은 결과를 AI가 「효과가 있다」로 전했다면 확정어가 더해진 것입니다. 원문 저자가 스스로 센 말을 썼다면 AI가 말을 더한 것이 아니므로 위상 올림으로 매기지 않고, 원문 구절만 기록에 남깁니다.

전체 결과 언급은 질문과 함께 읽습니다. 질문이 연구 전체의 결론을 물었는데 답이 하위집단 수치로만 채워졌다면 넷째 줄입니다. 의료 판단이 필요한 문장, 곧 그 집단에 실제로 권할 만한지에 관한 문장은 판정하지 않고 원장에게 검토를 요청합니다.

하위집단 진단 기록 한 건의 구성

이 진단은 구절 세 개와 AI 문장 한 개가 한 묶음으로 남아야 나중에 다시 읽을 수 있습니다. 기록 한 건은 아래 여섯 칸으로 씁니다.

넷째 칸에는 진단 담당의 말을 쓰지 않고 원문의 낱말을 옮깁니다. 「사후」라고 쓴 원문과 「탐색적」이라고 쓴 원문을 담당이 한 낱말로 고쳐 쓰면, 나중에 원문을 다시 찾을 때 검색어가 맞지 않습니다.

여섯째 칸이 병원 글이면 수정 권고가 뒤따릅니다. 권고는 두 가지로 한정합니다. 하위집단 결과를 쓴 문장 안에 집단 이름과 사후 분석이라는 단서를 함께 넣을 것, 같은 문단에 전체 결과를 한 문장으로 넣을 것입니다. 문장을 어떻게 고칠지는 원장과 의료진이 정하며, 진단 담당은 고친 문장을 대신 써 주지 않습니다. 이렇게 고친다고 AI 답변이 달라진다고 약속하지도 않습니다.

실장은 여섯 칸이 모두 채워졌는지, 넷째 칸이 원문 낱말인지를 가린 뒤 원장에게 넘깁니다. 구하지 못한 구절은 빈칸이 아니라 「구하지 못함」으로 채워져 있어야 하고, 빈칸이 남은 기록은 담당에게 돌려보냅니다. 하위집단 결과는 「누구에게 맞는 치료인가요」 같은 물음에 바로 답하는 문장으로 쓰일 때 단서가 잘린 채 옮겨질 수 있습니다. 물음에 바로 답하면서도 조건을 함께 싣는 글의 모양은 답변형 콘텐츠 작성에서 이어서 정리합니다.

기록을 다시 읽을 때 어긋나기 쉬운 두 곳

첫째는 둘째 칸과 셋째 칸의 평가 항목이 서로 다른 경우입니다. 전체 결과는 주된 평가 항목으로 옮겼는데 하위집단 결과는 다른 평가 항목의 수치를 옮겼다면, 두 구절은 나란히 놓고 읽을 수 없습니다. 하위집단 결과 구절을 옮길 때 어떤 평가 항목의 결과인지 괄호로 함께 씁니다.

둘째는 첫째 칸의 AI 문장을 줄여 옮긴 경우입니다. 담당이 긴 답에서 핵심만 간추려 옮기면 AI가 곁에 달아 둔 단서가 기록에서 빠지고, 위상 올림이 아닌 문장이 위상 올림으로 매겨집니다. 판정 대상 문장은 앞뒤 한 문장씩을 더해 그대로 옮깁니다.