열어 놓았다는 것과 누가 다시 셈해 봤다는 것
원자료를 공개했다는 사실을 제삼자 검증이 끝났다는 말로 설명한 답변은 공개를 검증으로 올린 오류로 매기며, 자료에 접근할 수 있다는 것과 누군가 그 자료를 실제로 다시 검증했다는 것을 재검증 보고서의 있고 없음으로 가립니다. 병원 가운데에는 제 통계의 바탕이 된 자료를 홈페이지에 올려놓는 곳이 있습니다. 진료 건수나 대기 시간, 만족도 조사의 결과를 표와 함께 원자료 파일로 내놓는 것입니다. 이런 병원에 대해 AI가 「이 병원의 데이터는 제삼자 검증을 거쳤습니다」 「공개된 자료로 검증이 완료된 수치입니다」라고 답하는 경우가 있을 수 있습니다.
공개는 병원이 한 일이고, 검증은 병원 밖의 누군가가 해야 하는 일입니다. 자료를 열어 놓으면 누구든 내려받아 다시 셈해 볼 수 있게 됩니다. 그러나 할 수 있게 되었다는 것과 누가 실제로 했다는 것은 다릅니다. 아무도 그 파일을 내려받지 않았을 수 있습니다. 내려받아 다시 셈했더니 병원의 수치와 달랐을 수도 있습니다. 공개라는 사실은 이 가운데 어느 것도 말해 주지 않습니다.
이 차이가 흐려지면 병원의 수치에 없던 무게가 실립니다. 「검증된 수치」라는 말을 읽은 환자는 병원 밖의 기관이 그 수치를 보증한 것으로 받습니다. 병원은 받은 적 없는 검증을 받은 것처럼 소개되고, 나중에 그 말이 병원의 글로 옮겨지면 병원이 그렇게 주장한 셈이 됩니다. 그래서 진단은 공개의 있고 없음과 재검증의 있고 없음을 다른 칸에 씁니다.
값은 자료대로 전함, 공개를 검증 완료로 올림, 일부 재검증을 전체로 넓힘, 요약 공개를 원자료 공개로 올림, 공개 자료 없음의 다섯입니다. 일부 재검증을 전체로 넓힘은 병원 밖에서 자료의 한 부분을 다시 검증한 보고서가 있는데, 그것을 자료 전체가 검증된 것으로 전한 경우입니다.
공개 범위와 재검증 자료에 따른 판정
| 공개 범위와 재검증 자료, AI의 표현 | 값 | 진단에서의 쓰임 |
|---|---|---|
| 공개된 범위와 재검증의 있고 없음을 자료대로 전함 | 자료대로 전함 | 공개 범위와 보고서의 범위를 병원 자료와 맞댐 |
| 재검증 보고서가 없는데 제삼자 검증을 거쳤다고 전함 | 공개를 검증 완료로 올림 | 맨 앞에 올리고 「재검증 자료 없음」을 기록 |
| 한 부분에 대한 재검증 보고서를 자료 전체의 검증으로 전함 | 일부 재검증을 전체로 넓힘 | 보고서가 다룬 범위를 옮겨 표시 |
| 요약표만 공개했는데 원자료를 공개했다고 전함 | 요약 공개를 원자료 공개로 올림 | 공개된 파일의 꼴을 옮겨 표시 |
| 공개된 자료의 주소나 병원의 답을 받지 못함 | 공개 자료 없음 | 맞다고도 틀리다고도 쓰지 않고 자료부터 요청 |
공개 범위와 재검증은 따로 읽어, 둘 다 어긋났으면 두 값을 모두 씁니다. 요약표만 공개한 병원에 대해 「원자료를 공개했고 제삼자 검증도 마쳤다」고 전했다면 요약 공개를 원자료 공개로 올림과 공개를 검증 완료로 올림을 나란히 씁니다. 순위는 검증에 대한 값을 앞에 놓습니다.
진단은 병원의 수치가 맞는지를 다시 셈하지 않습니다. 담당이 원자료를 내려받아 합계를 다시 맞추는 일은 이 항목의 범위가 아닙니다. 맞대는 것은 공개된 것이 무엇인지와, 병원 밖에서 한 재검증의 기록이 있는지입니다.
답변마다 옮기는 다섯 가지
담당은 답변마다 아래 다섯 가지를 옮깁니다. 셋째와 다섯째 칸은 실장이 채웁니다.
| 옮길 것 | 내용 | 찾는 곳 |
|---|---|---|
| 응답의 검증 문장 | 질문, 공개와 검증에 대해 쓴 문장을 글자 그대로, 받은 날 | AI 답변 화면 |
| 공개된 데이터 | 주소, 파일의 꼴, 다루는 기간과 항목, 올린 날 | 병원 홈페이지의 공개 자료 |
| 재검증 보고서의 유무 | 누가, 자료의 어느 부분을, 언제 다시 검증했는지, 보고서의 주소 | 실장의 답, 보고서를 낸 곳의 페이지 |
| 병원 공개 글의 표현 | 자료 공개를 알린 문장과 그 주소 | 병원 홈페이지, 병원이 낸 글 |
| 병원의 답 | 재검증을 의뢰하거나 통보받은 적이 있는지 | 실장의 답 |
응답의 검증 문장은 주어와 맺는 말을 옮깁니다. 「누구나 검증할 수 있습니다」는 할 수 있다는 말이고, 「검증됐습니다」 「검증을 거쳤습니다」는 이미 했다는 말입니다. 「제삼자」 「독립 기관」 「외부 전문가」처럼 누가 했는지를 든 낱말이 있으면 그대로 옮깁니다. 주체의 이름까지 나왔다면 그 주체가 실제로 그런 보고서를 냈는지를 맞댈 수 있습니다.
공개된 데이터는 파일의 꼴까지 옮깁니다. 줄마다 기록이 든 원자료인지, 합계와 비율만 든 요약표인지, 그림으로만 올린 도표인지입니다. 환자 한 사람씩의 기록이 든 파일이라면 개인을 알아볼 수 있는 칸이 있는지를 실장에게 알리고, 담당은 그 파일의 내용을 보고서에 옮기지 않습니다. 기간과 항목도 씁니다. 세 해 가운데 한 해의 자료만 공개되어 있다면 그것이 공개의 범위입니다.
재검증 보고서의 유무는 병원의 답과 보고서를 낸 곳의 글로 채웁니다. 병원이 「외부에서 다시 셈해 본 곳이 있다」고 답하면 그 보고서의 주소를 받아 누가 무엇을 다뤘는지를 옮깁니다. 보고서가 있다는 말만 있고 글을 열 수 없으면 「보고서를 열지 못함」으로 쓰고 있는 것으로 세지 않습니다. 병원이 돈을 내고 맡긴 검증이라면 그 관계를 함께 씁니다.
병원 공개 글의 표현도 읽습니다. 병원이 자료를 올리면서 「투명하게 검증받고자 공개합니다」라고 썼다면, 그 문장은 검증을 받겠다는 뜻이지 받았다는 기록이 아닙니다. AI가 이 문장을 「검증받았다」로 옮겼는지를 두 문장을 나란히 놓아 읽습니다. AI 서비스가 왜 그렇게 옮겼는지는 공식 안내로 확인된 범위 밖입니다.
자료 공개와 제삼자 재검증의 비교
둘은 한 주체가 누구인지, 남는 기록이 무엇인지, 받쳐 주는 주장이 어디까지인지에서 다릅니다.
자료 공개는 병원이 혼자 할 수 있는 일입니다. 남는 기록은 공개된 파일과 그 주소, 올린 날입니다. 공개가 받쳐 주는 주장은 「이 자료는 누구나 열 수 있다」까지입니다. 자료 안의 숫자가 맞다는 것, 셈하는 방법이 알맞다는 것은 공개로 받쳐지지 않습니다. 공개는 다른 사람이 그것을 따져 볼 길을 연 것입니다.
제삼자 재검증은 병원 밖의 주체가 있어야 합니다. 남는 기록은 그 주체가 낸 보고서입니다. 누가 했는지, 자료의 어느 부분을 다뤘는지, 어떤 방법으로 다시 셈했는지, 결과가 병원의 수치와 같았는지가 보고서에 있습니다. 재검증이 받쳐 주는 주장은 보고서가 다룬 범위 안에서 「병원 밖의 누가 다시 셈해 이런 결과를 얻었다」까지입니다. 보고서가 다루지 않은 기간과 항목은 받쳐지지 않습니다.
병원 글에 쓸 수 있는 낱말도 여기서 갈립니다. 공개만 한 병원은 「공개했다」고 쓸 수 있고, 재검증 보고서가 있는 병원은 보고서가 다룬 범위를 밝혀 「이 부분은 다시 검증됐다」고 쓸 수 있습니다. 검증이라는 낱말을 병원 글에 실을지는 원장이 의료광고 심의 기준 확인을 거쳐 정합니다.
넘기는 묶음과 병원 글의 권고
원장에게는 답변마다 질문과 AI 문장, 공개된 데이터의 주소와 꼴, 재검증 보고서의 유무와 범위, 병원 공개 글의 문장, 값을 묶어 넘깁니다. 공개를 검증 완료로 올림을 맨 앞에 올립니다. 환자나 기자가 「검증받은 수치냐」고 물어 올 때 직원이 답할 수 있도록, 공개한 것과 검증받은 것을 한 줄씩 나눠 씁니다.
수정 권고는 병원 글에 한정합니다. 자료 공개를 알리는 글에 공개한 범위와 파일의 꼴, 올린 날을 쓰고, 재검증을 받은 적이 없다면 「외부의 재검증은 아직 없습니다」라는 문장을 함께 넣도록 권고합니다. 재검증 보고서가 있다면 보고서가 다룬 범위와 주소를 밝히도록 권고합니다. 고친다고 AI 답변이 달라진다고 약속하지 않습니다.
자료 공개를 바깥에 알리는 글에서 공개와 검증을 가려 쓰지 않으면 같은 혼동이 그 글을 옮긴 곳마다 퍼지므로, 알리는 글의 문장을 어떻게 쓰는지는 병원 보도자료에서 이어서 정리합니다.
원자료 공개와 제삼자 검증 설명 자주 묻는 질문
공공 기관의 평가 자료에 병원 수치가 실려 있으면 제삼자 검증으로 매겨도 되나요?
그 기관이 병원의 자료를 받아 다시 셈한 것인지, 병원이 낸 수치를 그대로 실은 것인지를 그 기관의 안내에서 옮깁니다. 다시 셈했다는 설명이 있고 다룬 범위가 답변과 같으면 자료대로 전함이며, 비고에 기관의 안내 주소를 씁니다. 그대로 실은 것이라면 공개를 검증 완료로 올림입니다.
학술지에 실린 병원의 논문을 근거로 「검증된 데이터」라고 전한 답변은 어떻게 매기나요?
논문이 실렸다는 것은 심사를 거쳤다는 기록이고, 병원이 공개한 원자료를 누가 다시 셈했다는 기록이 아닙니다. 논문이 다룬 자료와 병원이 공개한 자료가 같은 것인지를 실장에게 묻고, 재검증 보고서가 따로 없으면 공개를 검증 완료로 올림으로 매기며 비고에 「논문 게재를 근거로 듦」이라고 씁니다.
병원이 의뢰한 컨설팅 회사가 자료를 점검했다면 제삼자 재검증으로 세나요?
보고서가 있고 다룬 범위가 밝혀져 있으면 재검증의 기록으로 옮기되, 병원이 의뢰했다는 관계를 함께 씁니다. AI가 「독립 기관」이라고 전했다면 그 낱말이 관계와 맞는지를 비고에 표시합니다. 그 관계에서의 검증을 어떤 말로 부를지는 진단이 정하지 않습니다.
원자료 파일이 예전에는 있었는데 지금은 내려가 있으면 어느 값으로 매기나요?
지금 열리는 범위가 공개의 범위입니다. 파일이 내려가 있으면 공개 자료 없음이며, 비고에 실장이 답한 내린 날과 까닭을 씁니다. 답변을 받은 날에는 열려 있었다는 자료가 있으면 그 날짜와 함께 씁니다.
AI가 「검증 가능」이라고만 전했는데 환자가 검증됐다고 읽을 것 같으면 오류로 세나요?
답변의 글자가 할 수 있다는 쪽이고 공개 범위가 맞으면 자료대로 전함입니다. 환자가 어떻게 읽을지는 진단이 정하지 않습니다. 다만 병원 공개 글에 같은 낱말이 있다면 그 문장 가까이에 재검증의 있고 없음을 밝히는 문장을 넣도록 권고 목록에 올립니다.