매칭을 무작위 배정으로 부른 답의 판정
AI가 매칭 연구를 무작위 배정 연구로 소개했다면, 병원 GEO 진단에서는 연구 설계를 원출처보다 높여 부른 답으로 매깁니다. 설계의 이름이 달라지면 읽는 사람이 그 결과를 원인으로 받아들이는 세기도 함께 커지므로, 결과 문장이 원출처와 같더라도 따로 기록할 오류입니다.
두 절차는 하는 일이 다릅니다. 매칭은 이미 서로 다른 방법을 받은 사람들 가운데 나이나 성별 같은 조건이 비슷한 사람끼리 짝지어 견줄 집단을 만드는 일입니다. 무작위 배정은 누가 어느 방법을 받을지를 처음부터 우연에 맡겨 정하는 일입니다. 앞의 것은 받은 뒤에 사람을 추리는 절차이고, 뒤의 것은 받기 전에 사람을 나누는 절차입니다.
가상으로 만든 예입니다. 원출처의 방법 부분에는 이미 두 방법 가운데 하나를 받은 사람의 기록에서 나이와 성별이 같은 사람끼리 짝지었다고 쓰여 있는데, 답은 「무작위 배정 연구에서」라는 말로 결과를 소개합니다. 원출처 어디에도 방법을 우연으로 정했다는 구절이 없으므로, 이 답은 설계를 높여 부른 답입니다.
진단 담당이 가리는 것은 답이 설계를 부른 말과 원출처가 설계를 밝힌 말이 같은 절차를 가리키는지입니다. 매칭 연구의 결과를 얼마나 믿을 수 있는지는 가리지 않으며, 그 판단은 병원의 담당 의료진이 합니다.
매칭과 무작위 배정을 알리는 원출처의 말
원출처에서 두 절차는 아래 표의 세 곳에서 서로 다른 말로 드러납니다.
| 원출처에서 찾는 곳 | 매칭 연구에 나오는 말 | 무작위 배정 연구에 나오는 말 |
|---|---|---|
| 제목이나 요약의 설계 표시 | 짝지은 비교, 매칭, 이미 있는 기록을 분석했다는 말 | 무작위 배정, 무작위로 나눈 비교라는 말 |
| 방법 부분의 대상자 설명 | 무엇을 기준으로 짝지었는지, 짝을 찾지 못한 사람을 어떻게 했는지 | 배정 순서를 어떻게 만들었고 누가 모르게 했는지 |
| 방법 부분의 방법 결정 주체 | 진료 과정에서 이미 정해진 방법을 그대로 따랐다는 말 | 연구가 정한 절차가 방법을 정했다는 말 |
셋 가운데 가장 분명한 것은 셋째 줄입니다. 누가 방법을 정했는지를 밝힌 구절이 있으면 설계 표시에 쓰인 낱말이 낯설어도 어느 절차인지 가릴 수 있습니다. 세 곳의 말이 서로 어긋나는 원출처는 진단 담당이 한쪽을 택하지 않습니다. 구절을 모두 옮긴 뒤 실장을 거쳐 담당 의료진의 답을 받습니다.
판정에 앞서 답하는 세 물음
진단 담당은 연구를 근거로 든 AI 문장마다 아래 세 물음에 차례로 답합니다.
- 답이 연구 설계를 부른 말이 있습니까. 있으면 그 말을 문장째 옮기고, 없으면 없다고 남깁니다.
- 원출처는 설계를 어떤 말로 밝혔습니까. 설계 표시와 매칭 방법, 배정 방식을 밝힌 구절을 찾은 곳과 함께 옮깁니다.
- 두 말이 같은 절차를 가리킵니까. 같은지, 답의 말이 더 높은지, 답의 말이 넓어 어느 쪽인지 알 수 없는지를 가립니다.
첫째 물음에서 옮기는 것은 설계를 부른 말에 한합니다. 「연구에서 밝혀졌다」처럼 결과를 전하는 말은 설계를 부른 말이 아닙니다. 둘째 물음의 구절은 인용 출처가 기사나 병원 글일 때 그 글에 머물지 않고 연구 원문까지 올라가 찾습니다. 기사가 「무작위」라고 썼더라도 원문이 그렇게 밝히지 않았다면 원출처의 말은 원문의 것입니다.
셋째 물음에서 더 높다는 것은 답의 말이 방법을 우연에 맡겨 정했다는 뜻을 담는데 원출처에는 그런 구절이 없는 경우입니다. 진단 담당은 어느 설계가 더 높은지를 외운 순서로 매기지 않습니다. 배정 방식을 밝힌 구절이 원출처에 있는지 없는지만으로 가립니다.
설계 표시 판정표
세 물음의 답을 모으면 AI 문장은 아래 설계 표시 판정표의 다섯 줄 가운데 하나에 놓입니다. 표는 원출처가 매칭 연구일 때를 기준으로 썼습니다.
| 답이 설계를 부른 말 | 원출처 구절과의 관계 | 판정 |
|---|---|---|
| 짝지어 견준 연구라고 부름 | 같은 절차를 가리킴 | 설계 일치 |
| 비교 연구처럼 넓은 말로 부름 | 틀리지 않으나 어느 절차인지 알 수 없음 | 설계 흐림 |
| 설계를 부른 말이 없음 | 맞댈 말이 없음 | 설계 빠짐 |
| 무작위 배정 연구라고 부름 | 원출처에 배정 방식을 밝힌 구절이 없음 | 설계 격상 |
| 어떤 말이든 | 원출처의 구절을 찾지 못했거나 서로 어긋남 | 보류 |
설계 흐림과 설계 빠짐은 틀린 말을 하지 않았다는 점에서 설계 격상과 구분됩니다. 다만 둘 다 읽는 사람이 설계를 짐작으로 채우게 하므로 일치로 올리지 않습니다. 설계 격상 줄에는 답의 결론 말도 함께 옮깁니다. 설계가 높여졌는데 결론까지 원인으로 전해졌다면 두 오류가 겹친 줄이고, 원장에게 먼저 보고할 줄입니다. 표의 다섯 값은 답이 설계를 부른 말에만 매기며, 결과 수치가 원출처와 다른지는 수치 대조 항목에서 따로 다룹니다.
무작위라는 말이 가리키는 서로 다른 세 가지
설계 격상을 가릴 때 걸림돌이 되는 것은 「무작위」라는 낱말이 연구 안에서 여러 일에 쓰인다는 점입니다. 아래 세 가지는 낱말은 같지만 절차가 다릅니다.
첫째는 방법을 무작위로 정했다는 말입니다. 누가 어느 방법을 받을지를 우연이 정했다는 뜻이고, 무작위 배정 연구라고 부를 수 있는 것은 이 경우뿐입니다.
둘째는 대상자를 무작위로 뽑았다는 말입니다. 많은 기록 가운데 분석할 사람을 우연으로 골랐다는 뜻이며, 뽑힌 사람이 어느 방법을 받았는지는 이미 정해져 있었습니다. 원출처에 이 구절만 있는데 답이 무작위 배정 연구라고 불렀다면 설계 격상입니다.
셋째는 짝을 무작위로 골랐다는 말입니다. 조건이 맞는 짝 후보가 여럿일 때 그 가운데 하나를 우연으로 택했다는 뜻이고, 매칭 절차의 한 부분입니다. 이 구절 역시 배정 방식을 밝힌 구절이 아닙니다.
진단 담당은 원출처에서 「무작위」가 나온 문장을 옮길 때 그 말이 꾸미는 낱말까지 함께 옮깁니다. 「무작위로」 뒤에 오는 말이 배정인지, 추출인지, 짝 고르기인지가 옮긴 구절에 남아 있어야 나중에 기록을 읽는 사람이 같은 값으로 읽습니다.
설계 격상이 병원 밖에서 시작된 경우
설계 격상 줄은 인용 출처를 열어 「무작위」라는 말이 처음 나온 글을 찾습니다. 병원 홈페이지 글에서 시작됐다면 실장이 그 글을 쓴 담당자와 담당 의료진에게 답의 문장과 원출처 구절을 함께 넘깁니다.
병원 밖 기사에서 시작된 줄은 기사가 무엇을 받아 썼는지를 한 번 더 가립니다. 병원이 낸 보도자료가 매칭 연구를 「비교 연구에서 입증」처럼 뭉뚱그려 알렸다면 여러 기사에 같은 말이 퍼져 있을 수 있으며, 연구 설계를 보도자료에 밝혀 쓰는 방법은 병원 보도자료에서 다룹니다.
AI 답변에서만 「무작위」가 나온 줄은 병원 글에도 기사에도 고칠 문장이 없습니다. 이 줄은 답의 문장과 원출처 세 곳의 구절을 보관한 채 다음 진단으로 가져갑니다. 넘길 곳이 없어도 기록을 줄이지 않는 까닭은, 병원이 같은 연구를 새 글에서 소개할 때 어떤 말이 잘못 옮겨졌는지를 미리 알 수 있기 때문입니다.
매칭 연구와 무작위 배정 자주 묻는 질문
원출처가 매칭이라는 낱말 없이 점수로 짝지었다고만 썼다면 어떻게 옮깁니까?
구절을 글자 그대로 옮기고, 진단 담당이 그것을 매칭 연구라는 이름으로 바꿔 부르지 않습니다. 판정은 이름이 아닌 절차로 하므로, 짝지어 집단을 만들었다는 구절과 방법을 누가 정했는지 밝힌 구절이 있으면 매길 수 있습니다.
병원 글에는 설계를 밝힌 말이 없는데 AI 답변에만 무작위라는 말이 나왔다면 병원이 할 일이 있습니까?
병원 글이 그 말을 쓰지 않았으므로 고칠 문장은 없습니다. 다만 병원 글에 설계 표시가 비어 있다는 사실을 기록에 남겨 원장에게 올립니다. 설계를 글에 넣을지는 원장과 담당 의료진이 정합니다.
한 답에서 같은 연구를 한 번은 짝지은 연구로, 한 번은 무작위 연구로 불렀다면 어떻게 매깁니까?
문장마다 따로 매겨 설계 일치 한 줄과 설계 격상 한 줄로 남깁니다. 두 줄이 같은 답에서 나왔고 서로 어긋난다는 점을 비고에 씁니다. 하나로 합쳐 절반만 맞았다는 식의 값은 만들지 않습니다.
영문 원출처의 설계 말을 한글로 옮길 때 낱말을 어떻게 정합니까?
구절은 원문 그대로 옮기고, 곁에 쓰는 한글 풀이는 담당 의료진이 한 번 읽고 정한 낱말만 씁니다. 정한 낱말은 목록으로 보관해 다음 진단에서도 같은 말로 풉니다. 진단마다 풀이가 달라지면 같은 값의 줄이 다른 오류처럼 읽힙니다.
무작위 배정 연구 안에서 일부 사람만 짝지어 다시 분석한 결과를 답이 전했다면 어느 줄입니까?
표는 매칭 연구를 기준으로 썼으므로 이 경우는 구절이 서로 어긋나는 원출처로 다룹니다. 연구 전체의 설계 표시와 그 결과가 나온 분석의 구절을 둘 다 옮기고 보류로 매긴 뒤, 담당 의료진의 답을 받아 다시 매깁니다.
다음 진단에서 같은 연구를 다시 물을 때
설계 격상이나 설계 흐림으로 남은 줄은 다음 진단에서 같은 질문을 그대로 다시 합니다. 질문에 「무작위 연구입니까」 같은 말을 새로 넣지 않습니다. 질문이 설계를 먼저 말해 버리면 답이 그 낱말을 되받아 쓸 수 있고, 앞 줄과 견줄 수 없는 줄이 됩니다.
설계를 직접 묻는 질문을 꼭 넣어야 한다면 따로 표시한 줄로 둘 다 남기고, 그 질문을 누가 왜 넣었는지도 한 줄로 씁니다. 환자가 실제로 할 법한 질문의 답과, 진단을 위해 만든 질문의 답은 보고서에서 섞지 않습니다.
보류 줄은 의료진의 답이 오는 대로 진단 담당이 다시 매기되, 앞서 보류였다는 기록을 지우지 않습니다. 답이 오기 전에 다음 진단이 시작되면 보류인 채로 원장에게 올립니다.