논문의 수와 환자 자료의 수
같은 환자 자료를 쓴 논문 여러 편이 별개의 효과 검증으로 세어졌다면, 논문마다 연구 기관과 모집 기간, 등록 번호, 대상 수를 옮겨 맞대고 같은 환자들에게서 나온 결과가 여러 번 세어졌는지를 판정합니다. 한 번 모은 환자 자료로 여러 편의 논문을 쓰는 일은 흔합니다. 처음 결과를 내고, 다른 항목을 따로 분석하고, 더 오래 지켜본 결과를 다시 냅니다. 논문은 세 편이지만 환자는 한 무리입니다. 답변이 「세 편의 연구에서 효과가 확인됐다」고 전했다면, 한 번의 검증이 세 번으로 세어진 것입니다.
독립된 검증은 서로 다른 환자에게서 같은 결과가 나왔을 때 무게가 더해집니다. 같은 환자를 다시 분석한 결과는 처음 결과와 함께 움직이므로, 처음 결과에 치우침이 있었다면 뒤의 논문도 같은 치우침을 안고 있습니다. 그래서 편수가 아니라 환자 자료의 수를 셉니다.
판정은 네 가지입니다. 답변이 셈한 논문들이 서로 다른 환자 자료에서 나왔으면 독립 맞음, 같은 환자 자료에서 나온 논문을 서로 다른 검증으로 셌으면 중복 셈입니다. 논문에 식별 정보가 모자라 같은 자료인지를 가릴 수 없으면 겹침 미상, 논문의 방법 절을 읽지 못했으면 원문 미확인입니다.
중복 셈은 논문들이 틀렸다는 뜻이 아닙니다. 같은 자료로 여러 편을 쓴 것은 연구진의 정당한 일일 수 있고, 뒤의 논문이 앞의 논문을 밝혀 두는 경우도 많습니다. 오류는 답변이 그것을 독립된 여러 검증으로 셈한 데에 있습니다.
같은 자료인지를 가르는 네 가지 식별 정보
| 식별 정보 | 논문에서 찾는 곳 | 같을 때 읽히는 것 | 다를 때 읽히는 것 |
|---|---|---|---|
| 연구 기관 | 방법 절, 저자 소속 | 같은 곳에서 모았을 수 있음 | 다른 환자일 가능성이 큼 |
| 모집 기간 | 방법 절의 대상 모집 시기 | 같은 시기의 같은 환자일 수 있음 | 기간이 겹치지 않으면 다른 환자 |
| 등록 번호 | 초록 끝, 방법 절, 등록 기록 | 같은 연구에서 나온 논문 | 다른 연구로 등록됨 |
| 대상 수와 특성 | 대상 특성 표 | 같은 무리일 수 있음 | 다른 무리일 수 있음 |
등록 번호가 같으면 같은 연구에서 나온 논문으로 읽습니다. 가장 분명한 단서입니다. 등록 번호가 없거나 서로 다르면 나머지 세 칸을 함께 읽습니다. 기관이 같고 모집 기간이 겹치고 대상 수가 같거나 한쪽이 다른 쪽의 일부이면 같은 자료로 읽습니다.
논문이 스스로 밝힌 문장도 찾습니다. 뒤의 논문 방법 절에 「앞서 보고한 연구의 대상을 추가로 분석했다」거나 「같은 대상의 장기 추적 결과」라는 문장이 있으면 그 구절을 옮깁니다. 이 문장이 있으면 식별 정보를 맞대기 전에 같은 자료로 정할 수 있습니다.
식별 정보로 겹침을 가리는 다섯 단계
- 진단 담당이 여러 연구를 들어 효과를 전한 답변 문장을 그대로 옮기고 질문, 서비스, 물은 날, 답변이 든 논문의 목록을 씁니다.
- 진단 담당이 논문마다 연구 기관, 모집 기간, 등록 번호, 대상 수와 특성을 방법 절에서 옮겨 한 표에 나란히 놓습니다.
- 진단 담당이 방법 절에서 앞선 논문의 대상을 다시 썼다고 밝힌 문장이 있는지를 찾아 옮깁니다.
- 진단 담당이 표를 읽어 논문들을 같은 환자 자료끼리 묶고, 묶음의 수와 답변이 센 수를 맞대어 네 판정 가운데 하나를 매깁니다.
- 의료진이 묶음을 읽어 회신하고, 병원 글에 같은 셈이 있으면 원장이 그 문장을 어떻게 할지를 정합니다.
둘째 단계의 표가 판정의 바탕입니다. 논문마다 한 줄씩 네 칸을 채우고, 논문에 없는 칸은 「논문에 없음」이라고 씁니다. 빈칸이 많으면 겹침 미상이 나오기 쉬우므로, 등록 기록이나 논문의 부록에서 찾을 수 있는지를 함께 읽습니다. 본문이 구독자에게만 열리면 읽으려고 새로 가입하거나 결제하지 않습니다.
넷째 단계에서 묶음을 셉니다. 논문 다섯 편이 두 묶음에 들어가면 독립된 환자 자료는 둘입니다. 묶음마다 어느 논문이 들어갔는지를 표 옆에 씁니다. 답변이 「다섯 편의 연구」라고 셌다면 중복 셈으로 매기고, 묶음의 수를 옆 칸에 씁니다. 묶음의 수가 답변이 센 수와 같으면 독립 맞음입니다.
묶음을 정하지 못하는 논문이 섞여 있으면, 정해진 묶음과 정하지 못한 논문을 나눠 씁니다. 정한 것만으로도 중복이 드러나면 중복 셈으로 매기고 정하지 못한 논문의 수를 옆 칸에 씁니다. 정한 것에서 중복이 없고 정하지 못한 논문이 남아 있으면 겹침 미상입니다.
네 가지 판정과 병원이 할 일
| 판정 | 논문들의 환자 자료 | 답변의 셈 | 병원이 할 일 |
|---|---|---|---|
| 독립 맞음 | 서로 다름 | 논문 수를 독립된 검증 수로 셈 | 기록을 유지함 |
| 중복 셈 | 같은 자료가 섞여 있음 | 같은 자료의 논문을 따로 셈 | 병원 글에 같은 셈이 있는지 읽음 |
| 겹침 미상 | 식별 정보가 모자라 가릴 수 없음 | 논문 수를 검증 수로 셈 | 연구진이나 의료진에게 자료 관계를 물음 |
| 원문 미확인 | 방법 절을 읽지 못함 | 어떤 꼴이든 | 본문을 읽을 권한이 있는 사람을 찾음 |
답변이 편수를 말하지 않고 「여러 연구에서 일관되게 확인됐다」고만 했더라도 셈으로 읽습니다. 여러 연구라는 말과 일관되다는 말이 독립된 검증이 여럿이라는 뜻을 전하기 때문입니다. 답변이 든 논문의 목록으로 묶음을 세어 맞댑니다.
중복 셈으로 매긴 뒤에도 그 결과가 틀렸다고 쓰지 않습니다. 한 묶음의 결과는 한 번의 검증으로 남습니다. 진단이 넘기는 것은 독립된 환자 자료가 몇이었는지와 답변이 몇으로 셌는지의 차이입니다.
겹침 판정의 역할 나눔
이 판정에는 논문을 한 표에 모으는 일, 같은 자료인지를 읽는 일, 병원 글을 모으는 일이 들어 있습니다. 앞의 일은 진단 담당이, 가운데 일은 의료진이, 뒤의 일은 실장이 합니다.
진단 담당은 표를 만듭니다. 논문마다 네 칸을 방법 절의 구절 그대로 옮기고, 스스로 밝힌 문장이 있으면 함께 옮깁니다. 모집 기간은 날짜까지 옮깁니다. 「2020년부터」와 「2020년 3월부터」는 겹침을 가르는 데 다르게 쓰입니다. 표를 만드는 동안 같은 자료라고 짐작되는 논문이 있어도 표에는 짐작을 쓰지 않습니다.
의료진은 표를 읽어 묶음을 정합니다. 기관과 기간이 겹쳐도 대상 질환이 다르면 다른 환자일 수 있고, 등록 번호가 달라도 같은 환자 무리를 다시 등록한 경우가 있을 수 있습니다. 이런 판단은 논문을 읽는 사람이 합니다. 표만으로 정할 수 없으면 연구진에게 문의할지를 원장과 함께 정합니다.
실장은 병원 글을 모읍니다. 병원 의료진이 같은 자료로 여러 편의 논문을 냈다면, 병원 글이 그것을 「여러 편의 연구로 입증」이라고 소개하고 있는지를 옮깁니다. 병원이 연구 소식을 알릴 때마다 새 연구처럼 쓴 글이 여럿이면 그 글들의 주소를 함께 모읍니다.
원장은 병원 글을 어떻게 할지를 정합니다. 같은 자료에서 나온 논문들을 병원 글에서 어떻게 소개할지, 논문 사이의 관계를 밝혀 쓸지입니다. 진단은 편수를 줄여 쓰라거나 늘려 쓰라고 권고하지 않고, 독립된 환자 자료의 수와 논문의 수를 나란히 넘깁니다.
인계할 때는 옮긴 답변과 논문 목록, 네 칸의 표, 스스로 밝힌 문장, 의료진이 정한 묶음, 판정, 병원 글을 모은 기록과 원장의 결정을 넘깁니다. 겹침 미상으로 남은 논문은 누구에게 물었는지와 회신을 함께 넘깁니다.
같은 환자 자료의 여러 논문 자주 묻는 질문
같은 자료로 서로 다른 항목을 분석한 논문도 중복으로 세나요?
효과를 검증한 횟수로 세면 중복입니다. 한 논문은 통증을, 다른 논문은 삶의 질을 분석했다면 두 항목의 결과는 따로 전할 수 있습니다. 그러나 두 논문을 효과를 검증한 횟수 둘로 셌다면, 같은 환자에게서 나온 검증 하나를 둘로 센 것입니다.
추적 기간을 늘려 다시 낸 논문은 어떻게 다루나요?
같은 환자이므로 같은 묶음에 넣습니다. 뒤의 논문은 앞의 결과가 오래 지나서도 이어지는지를 알려 주는 자료이고, 새 환자에게서 같은 결과가 나왔다는 자료가 아닙니다. 답변이 장기 결과를 전한 것은 맞게 읽고, 두 논문을 독립된 검증으로 셌는지만 판정합니다.
여러 기관이 함께 쓰는 등록 자료에서 나온 논문들은 어떻게 가리나요?
같은 등록 자료라도 논문마다 뽑은 기간과 대상이 다를 수 있으므로 표의 네 칸을 그대로 읽습니다. 기간과 대상이 겹치면 겹치는 만큼 같은 환자가 들어 있습니다. 겹치는 정도를 표로 정할 수 없으면 겹침 미상으로 매기고, 등록 자료의 이름을 옆 칸에 씁니다.
여러 연구를 합친 분석이 같은 자료를 두 번 넣은 것으로 보이면 이 판정에서 다루나요?
이 판정은 답변의 셈을 읽습니다. 합친 분석의 포함 목록에 같은 자료의 논문이 둘 들어 있는 것으로 보이면, 표를 만들어 옆 칸에 붙이고 의료진에게 넘깁니다. 그 분석의 결과가 달라지는지는 진단이 가리지 않습니다.
논문이 앞선 논문과의 관계를 전혀 밝히지 않았으면 겹침 미상인가요?
표의 네 칸으로 정할 수 있으면 정합니다. 기관과 기간과 대상이 모두 같으면 밝힌 문장이 없어도 같은 자료로 읽습니다. 칸이 비어 정할 수 없을 때에만 겹침 미상입니다. 관계를 밝히지 않았다는 사실은 옆 칸에 씁니다. 병원 글이 그 논문을 인용하고 있으면 이 사실도 함께 넘깁니다.
연구 소식을 알리는 글과 밖의 논문 목록
병원이 연구 소식을 밖에 알릴 때 앞서 낸 논문과 같은 자료에서 나온 것인지를 밝혀 쓰는 방법은 병원 보도자료에서 다룹니다. 병원 글이 기대는 밖의 논문을 목록으로 만들어 같은 자료끼리 묶어 관리하는 방법은 병원 외부 출처 관리에서 이어집니다.