개발 자료 안에서 잰 성능을 다른 병원으로 넓힌 답
AI 답변이 진단 보조 AI의 내부 검증 결과를 다른 병원에도 그대로 적용해 전했다면, 병원 GEO 진단에서는 성능을 잰 범위를 넓힌 답으로 매깁니다. 개발에 쓴 자료 안에서 잰 성능은 그 자료가 나온 기관과 환경에 대한 수치이고, 다른 기관에서도 같은지는 그 기관의 자료로 따로 재어야 말할 수 있습니다.
여기서 진단 보조 AI는 영상이나 검사 결과를 읽어 의료진의 판단을 돕는 프로그램을 가리킵니다. 이런 프로그램을 만든 곳은 모은 자료의 한 부분으로 학습시키고 남긴 부분으로 성능을 잽니다. 이것이 내부 검증입니다. 개발에 쓰이지 않은 다른 기관의 자료로 다시 잰 것이 외부 검증입니다.
가상으로 만든 예입니다. 원출처에는 한 기관의 자료를 나눠 학습과 시험에 썼고 시험 자료에서 정확도가 95퍼센트였으며, 다른 기관의 자료로는 아직 재지 않았다고 쓰여 있습니다. 그런데 답은 「이 프로그램은 어느 병원에서나 95퍼센트의 정확도를 낸다」고 전합니다. 수는 원출처와 같지만, 그 수가 통하는 범위가 한 기관에서 모든 병원으로 넓어졌습니다.
GEO 진단 담당은 그 프로그램이 다른 병원에서 실제로 잘 작동하는지를 판정하지 않습니다. 답이 말한 적용 범위가 원출처가 성능을 잰 범위 안에 있는지만 가립니다.
성능을 잰 자료의 네 모습
원출처는 성능을 어떤 자료로 쟀는지를 방법 부분에 밝힙니다. 아래 표의 네 모습 가운데 어느 것인지에 따라 답이 말할 수 있는 범위가 달라집니다.
| 성능을 잰 자료 | 원출처에 쓰인 모습 | 답이 말할 수 있는 범위 |
|---|---|---|
| 개발 자료에서 떼어 둔 부분 | 한 묶음의 자료를 학습용과 시험용으로 나눴다는 문장 | 그 자료가 나온 기관의 자료 안에서 |
| 같은 기관의 다른 시기 자료 | 개발 뒤에 같은 기관에서 새로 모은 자료로 쟀다는 문장 | 같은 기관의 뒤 시기까지 |
| 다른 기관의 자료 | 개발에 참여하지 않은 기관의 자료로 쟀다는 문장과 그 기관의 수 | 잰 기관들까지 |
| 진료 현장에서 새로 모은 자료 | 실제 진료에 쓰면서 앞으로 모은 자료로 쟀다는 문장 | 그 현장과 그 기간까지 |
첫째와 둘째 모습은 내부 검증 성능이고, 셋째와 넷째 모습은 외부 검증 성능입니다. 네 모습 어디에도 「어느 병원에서나」를 받쳐 주는 줄은 없습니다. 셋째 모습이라 해도 말할 수 있는 범위는 실제로 잰 기관까지입니다. 원출처마다 쓰는 말이 조금씩 다르므로, 옮길 때는 표의 이름으로 바꿔 부르지 않고 원출처의 문장을 그대로 옮긴 뒤 어느 모습에 해당하는지를 옆에 남깁니다.
적용 범위를 원출처와 맞대는 네 단계
- GEO 진단 담당이 질문과 받은 날, AI 답변 원문을 저장하고, 성능을 말한 문장에서 수치와 적용 범위를 말한 부분을 따로 표시합니다.
- GEO 진단 담당이 원출처에서 자료를 어떻게 나눴는지, 외부 검증 성능이 있는지, 있다면 어떤 기관 몇 곳에서 쟀는지를 밝힌 구절을 옮깁니다.
- GEO 진단 담당이 답의 적용 범위를 옮긴 구절과 맞대어 값을 매깁니다.
- 실장이 범위 넓힘 줄을 원장에게 올리고, 보류 줄은 담당 의료진에게 원출처를 읽어 달라고 요청합니다.
첫째 단계에서 적용 범위를 말한 부분은 「어느 병원에서나」 「실제 진료에서도」 「국내 병원에서」처럼 그 성능이 통하는 곳을 알리는 말입니다. 「이 연구의 시험 자료에서」처럼 성능을 잰 곳을 밝힌 말도 적용 범위를 말한 부분입니다. 수치만 있고 이런 말이 없으면 없다고 남깁니다.
둘째 단계의 구절은 프로그램을 소개한 기사나 병원 글이 아닌 성능을 발표한 논문이나 공식 문서에서 옮깁니다. 기사가 「여러 병원에서 입증」이라고 썼더라도, 논문에 다른 기관의 자료로 쟀다는 문장이 없으면 외부 검증 성능은 없는 것으로 남깁니다.
넷째 단계에서 범위 넓힘 줄을 올릴 때는 수치가 원출처와 같은지 다른지를 함께 밝힙니다. 수치는 맞고 범위만 넓어진 줄과 수치까지 달라진 줄은 원장이 받아들이는 무게가 다르고, 뒤따르는 일도 다릅니다.
적용 범위 판정표
셋째 단계의 값은 아래 적용 범위 판정표의 네 줄 가운데 하나입니다.
| 답이 말한 적용 범위 | 원출처 구절과 맞댄 결과 | 판정 |
|---|---|---|
| 성능을 잰 곳을 밝혀 전함 | 구절이 밝힌 범위와 같음 | 범위 일치 |
| 수치만 전하고 어디에서 잰 것인지 밝히지 않음 | 맞댈 말이 없음 | 범위 빠짐 |
| 성능을 잰 곳보다 넓은 곳에서도 같다고 전함 | 그 넓은 곳에서 잰 구절이 없거나, 있어도 답의 말과 다름 | 범위 넓힘 |
| 어떤 말이든 | 자료를 나눈 방식이나 외부 검증 성능의 유무를 밝힌 구절을 찾지 못함 | 보류 |
내부 검증 성능을 다른 병원에도 같다고 전한 답은 셋째 줄입니다. 셋째 줄에는 외부 검증 성능이 있는 경우도 들어갑니다. 원출처가 다른 기관 두 곳에서 잰 성능을 밝혔는데 답이 모든 병원으로 넓혔거나, 외부 검증 수치가 내부 검증 수치와 달랐는데 답이 같다고 전한 경우입니다. 범위 빠짐은 틀린 말을 하지 않았지만, 읽는 사람이 그 수치를 자기가 가는 병원의 성능으로 받아들일 여지를 남깁니다.
범위 넓힘으로 매긴 줄의 기록
앞의 가상 예를 기록으로 옮기면 다음과 같습니다.
답의 문장 칸에는 「이 프로그램은 어느 병원에서나 95퍼센트의 정확도를 낸다」가 들어가고, 수치에는 「95퍼센트」, 적용 범위에는 「어느 병원에서나」가 표시됩니다. 자료를 나눈 방식 칸에는 한 기관의 자료를 학습용과 시험용으로 나눴다는 구절이, 외부 검증 성능 칸에는 다른 기관의 자료로는 아직 재지 않았다는 구절이 들어갑니다.
값은 범위 넓힘입니다. 답이 말한 범위는 모든 병원이고 구절이 밝힌 범위는 한 기관의 자료 안이어서, 넓은 곳에서 잰 구절이 없습니다. 비고에는 수치가 원출처와 같다는 점을 따로 남깁니다. 수치가 맞았다는 사실 때문에 범위가 넓어진 것을 놓치지 않게 하려는 기록입니다.
기록에 쓰지 않는 것도 있습니다. 「다른 병원에서는 성능이 떨어질 것이다」 같은 문장은 넣지 않습니다. 다른 병원에서 성능이 어떨지는 재지 않았으니 알 수 없다는 것이 원출처에서 읽히는 전부이고, 낮을 것이라는 말도 높을 것이라는 말과 똑같이 구절에 없는 말입니다.
범위 넓힘 줄을 넘기는 곳
범위 넓힘과 범위 빠짐 줄은 인용 출처의 문장을 열어 적용 범위를 말한 부분이 어디에서 달라졌는지를 가립니다. 병원 홈페이지 글이 성능 수치에 「어느 병원에서나」 같은 말을 달아 놓았다면 실장이 글을 쓴 담당자와 담당 의료진에게 기록을 함께 넘깁니다.
프로그램을 들여온 소식을 알리는 보도자료가 성능 수치를 어디에서 잰 것인지 없이 실은 경우, 그 수치는 기사마다 같은 모습으로 옮겨져 있을 수 있습니다. 성능 수치에 잰 범위를 함께 밝혀 쓰는 방법은 병원 보도자료에서 다룹니다.
병원 글과 보도자료는 잰 범위를 밝혔는데 답에서만 넓어졌다면 고칠 글이 없으므로 기록을 보관하고, 다음 진단에서 같은 질문의 답을 새 줄로 매깁니다.
진단 보조 AI의 성능 적용 범위 자주 묻는 질문
여러 병원의 자료를 모아 개발한 프로그램이라면 그 병원들에서는 외부 검증 성능으로 칩니까?
치지 않습니다. 개발에 자료를 낸 기관은 몇 곳이든 개발 자료 안입니다. 원출처가 자료를 낸 기관 가운데 하나를 통째로 빼놓고 그 기관의 자료로 쟀다고 밝혔다면, 그 문장을 그대로 옮기고 표의 어느 모습인지는 구절대로 남깁니다.
허가를 받은 프로그램이라는 사실만으로 다른 병원에서도 같다고 매길 수 있습니까?
매길 수 없습니다. 허가를 받았다는 구절과 성능을 어느 자료로 쟀는지를 밝힌 구절은 서로 다른 구절입니다. 허가 문서에 다른 기관의 자료로 잰 성능이 실려 있으면 그 문서가 원출처가 되고, 실려 있지 않으면 값은 달라지지 않습니다.
원출처가 장비나 촬영 방식이 다르면 성능이 달라질 수 있다고 한계를 밝혔다면 어디에 옮깁니까?
비고에 그 구절을 그대로 옮기고, 범위 넓힘으로 매긴 줄에는 함께 표시합니다. GEO 진단 담당이 병원의 장비와 개발 기관의 장비를 견줘 차이를 짐작해 쓰지는 않습니다. 저자가 밝힌 한계만 옮깁니다.
외부 검증 기관이 해외 병원뿐인데 답이 국내 병원에서도 같다고 했다면 어떻게 매깁니까?
원출처가 성능을 잰 곳은 해외 기관뿐이고 국내 병원에서 잰 성능은 실려 있지 않으므로 범위 넓힘입니다. 나라가 달라 성능이 어떨지를 GEO 진단 담당이 평가하지는 않으며, 기록에는 외부 검증 기관이 어느 나라의 몇 곳이었는지를 남깁니다.
수치 없이 「정확하다」고만 전한 답도 이 판정으로 매깁니까?
적용 범위를 말한 부분이 있으면 매깁니다. 「어느 병원에서나 정확하다」는 수치가 없어도 성능을 잰 곳보다 넓은 곳을 말했으므로 범위 넓힘입니다. 적용 범위를 말한 부분도 수치도 없는 문장은 맞댈 말이 없어 이 표에 올리지 않습니다.
병원이 그 프로그램을 쓰고 있을 때 더하는 것
병원이 같은 프로그램을 진료에 쓰고 있다면 답의 문장은 곧 이 병원에 대한 말로 읽힙니다. 이때는 기록에 한 칸을 더해, 이 병원의 자료로 잰 성능이 있는지를 원장에게 물어 남깁니다. 없다면 「우리 병원에서도 같다」는 말을 받칠 구절이 병원 안에도 없는 것입니다. 병원 자료로 잰 성능이 있다면 누가 언제 어떤 자료로 쟀는지를 한 줄로 받고, 환자 한 사람 한 사람의 기록은 받지 않습니다.
병원 글이나 광고에 그 프로그램의 성능 수치를 실을 수 있는지는 이 진단이 정하지 않습니다. 원장이 의료광고 심의 기준과 해당 제품의 표시 기준을 공식 안내에서 찾아 따로 검토받고, 진단 기록은 그 검토에 넘기는 자료로 씁니다.