사실과 연결을 떼어 따로 매기는 평가
맞는 사실들이 합쳐져 잘못된 결론을 만든 답변은 결론 문장을 사실과 연결로 나누어 평가합니다. 사실은 하나씩 출처와 승인 자료에 맞대고, 사실과 사실을 잇는 말은 따로 떼어 출처가 그 연결까지 말했는지를 읽습니다. 사실이 모두 맞아도 연결이 출처에 없다면, 그 결론은 답에서 더해진 것입니다.
「이 병원은 진료 과목이 많고 전문의가 여럿이어서 어떤 증상이든 한 번에 해결됩니다」라는 답이 있다고 하겠습니다. 진료 과목이 많다는 것도, 전문의가 여럿이라는 것도 병원 자료와 같을 수 있습니다. 그러나 「이어서」와 「한 번에 해결됩니다」는 어느 자료에도 없을 수 있습니다. 값을 하나씩 맞대는 대조만 하면 이 문장은 맞는 문장으로 지나갑니다.
더해지는 연결은 세 가지 꼴로 나타날 수 있습니다. 한 사실이 다른 사실의 까닭이라는 인과, 두 사실이 같은 대상이라는 동일성, 그래서 다른 곳보다 낫다는 우열입니다. 판정 값은 연결 근거 있음, 인과 덧붙음, 동일성 덧붙음, 우열 덧붙음, 사실 틀림, 자료 미확인 여섯입니다.
사실을 이어 전하는 답에 관해 알려진 것
챗GPT 공식 도움말은 검색 결과와 인용이 불완전하거나 틀릴 수 있으니 인용된 출처를 열어 답을 뒷받침하는지 가리라고 안내합니다. AI가 여러 출처의 사실을 이어 하나의 결론을 만드는 방식은 공식 안내에 나와 있지 않아 진단 기록으로 확인할 부분입니다.
그래서 진단은 연결이 더해진 까닭을 적지 않습니다. 연결 말이 어느 출처에 있었는지, 없었는지까지만 옮깁니다. 결론이 실제로 맞는지 틀리는지도 이 판정에서 정하지 않습니다. 출처가 말하지 않은 연결이라는 것까지가 기록입니다.
연결 판정표
결론 문장에서 떼어 낸 연결은 하나마다 아래 연결 판정표의 여섯 줄 가운데 하나로 판정합니다.
| 연결의 꼴 | 출처에서 찾은 것 | 판정 | 기록에 옮길 것 |
|---|---|---|---|
| 어느 꼴이든 | 출처가 두 사실과 그 연결을 함께 말함 | 연결 근거 있음 | 연결이 실린 문장 |
| 「그래서」「덕분에」처럼 까닭을 이음 | 두 사실은 출처에 있으나 잇는 말은 없음 | 인과 덧붙음 | 두 사실의 출처, AI가 쓴 잇는 말 |
| 「같은」「그 의료진이」처럼 두 사실을 한 대상으로 묶음 | 두 사실이 다른 대상을 두고 쓰였을 수 있고 출처가 같다고 하지 않음 | 동일성 덧붙음 | 두 사실이 가리킨 대상 |
| 「그래서 다른 곳보다」처럼 견줌 | 견줄 자료가 출처에 없음 | 우열 덧붙음 | AI가 쓴 견주는 말 |
| 어느 꼴이든 | 이어진 사실 가운데 하나가 승인 자료와 다름 | 사실 틀림 | 틀린 사실, 승인 자료의 값 |
| 어느 꼴이든 | 출처를 열지 못하거나 승인 자료를 받지 못함 | 자료 미확인 | 받지 못한 자료와 날짜 |
연결 판정표의 다섯째 줄로 매긴 문장은 틀린 사실을 값을 가리는 판정으로 넘기고, 연결은 사실을 바로잡은 뒤 둘째 줄부터 넷째 줄 가운데 하나로 다시 매깁니다. 같은 표의 넷째 줄은 입증 자료가 있는지를 가리는 우위 표현의 분류로 함께 넘깁니다. 이 표의 첫째 줄에서 연결을 말한 출처가 병원 글이라면 그 연결은 병원의 주장이므로 기록에 「병원 글의 주장」이라고 씁니다.
결론 분해표
결론 문장 하나마다 아래 결론 분해표의 다섯 줄을 채웁니다.
| 줄 | 옮길 내용 | 쓰는 까닭 |
|---|---|---|
| 결론 문장 | 답에 쓰인 그대로 | 분해의 대상 |
| 떼어 낸 사실 | 문장 안의 사실마다 번호와 AI가 쓴 말 | 사실을 하나씩 맞댐 |
| 사실마다의 출처 | 사실이 실린 출처의 주소와 구절, 승인 자료의 값 | 사실 틀림을 가름 |
| 잇는 말 | 「그래서」「같은」「더」처럼 사실 사이에 놓인 말 그대로 | 연결을 떼어 냄 |
| 연결의 꼴 | 인과, 동일성, 우열 가운데 무엇인지 | 연결 판정표의 줄을 고름 |
결론 분해표의 넷째 줄은 AI가 쓴 말 그대로 옮깁니다. 「~이어서」 같은 어미에도 까닭을 잇는 뜻이 담길 수 있어, 낱말만이 아니라 어미까지 읽습니다. 잇는 말이 둘 이상이면 연결도 둘 이상이므로 따로 매깁니다. 한 결론에 인과와 우열이 함께 들어 있다면 인과 덧붙음과 우열 덧붙음을 한 문장에 함께 매길 수 있습니다. 같은 표의 셋째 줄에서 두 사실이 서로 다른 출처에서 왔다면, 연결은 어느 출처에도 없을 수 있다는 점을 기록에 함께 씁니다.
결론 문장을 사실과 연결로 나누는 다섯 단계
- 진단 담당이 답을 받아 보관하고, 병원에 관해 결론을 내린 문장을 옮깁니다.
- 진단 담당이 결론 문장을 사실과 잇는 말로 나누어 결론 분해표에 씁니다.
- 진단 담당이 사실마다 인용된 출처에서 같은 구절을 찾아 옮깁니다.
- 실장이 사실마다 원장이 승인한 자료의 값을 넘깁니다.
- 진단 담당이 연결마다 출처에 그 연결이 실려 있는지를 읽어 연결 판정표의 줄을 매깁니다.
다섯째 단계에서 연결이 출처에 있는지는 두 사실이 같은 문단에 나란히 있다는 것만으로 정하지 않습니다. 출처가 두 사실을 한 문단에 썼더라도 잇는 말이 없다면, 둘 사이의 인과나 동일성은 출처가 말한 것이 아닙니다. 출처의 문장에 잇는 말이 실제로 있을 때에만 연결 판정표의 첫째 줄로 매깁니다. 출처가 「~와 관계가 있을 수 있다」처럼 연결을 조건 붙여 말했는데 답이 조건 없이 전했다면, 연결은 같은 표의 첫째 줄로 매기고 빠진 조건은 조건을 가리는 판정으로 넘깁니다.
자주 이어지는 사실 짝에 판정을 적용하는 방법
의료진의 경력과 진료의 결과가 이어질 수 있습니다. 「대학병원에서 오래 일한 의료진이 있어 치료가 안전하다」에서 경력은 사실로 맞대고, 「있어」와 「안전하다」는 연결로 떼어 냅니다. 출처가 안전을 말하지 않았다면 인과 덧붙음이고, 안전이라는 말 자체는 치료 결과를 단정하는 표현을 가리는 판정으로도 넘깁니다.
장비와 검사의 정확도가 이어질 수 있습니다. 「최신 장비를 갖추어 정확하게 진단한다」에서 장비의 이름과 들인 해는 사실로, 「갖추어」와 「정확하게」는 연결로 놓습니다. 장비 제조사의 자료가 장비의 성능을 말했더라도, 그 병원의 진단이 정확하다는 연결은 그 자료에 없을 수 있습니다.
개원한 지 오래되었다는 것과 경험이 이어질 수 있습니다. 개원 연도는 사실이고, 「오래되어 경험이 많다」는 인과입니다. 오래된 병원이라도 의료진이 바뀌었을 수 있으므로, 출처가 그렇게 말하지 않았다면 덧붙음으로 매깁니다.
두 지점의 사실이 한 지점의 것으로 묶일 수 있습니다. 「이 병원은 야간 진료를 하고 주차장이 넓다」에서 야간 진료는 본원의 것이고 주차장은 분원의 것이라면, 두 사실은 맞아도 한 곳의 것으로 묶은 것은 동일성 덧붙음입니다.
판정 뒤 병원 글에서 이어지는 일
진단 담당은 덧붙음으로 매긴 연결마다 결론 문장, 떼어 낸 사실과 그 출처, 잇는 말을 묶어 넘깁니다. 병원 글에 없는 연결이라면 병원이 고칠 글은 없습니다. 병원 글이 그 연결을 이미 말하고 있었다면, 그 주장에 근거가 있는지를 원장이 정할 건으로 올립니다. 어느 쪽이든 고친 뒤 AI 답의 결론이 달라진다고 약속하지는 않습니다.
병원 글이 할 수 있는 일은 사실을 조건과 함께 적고, 결론은 사실이 말하는 만큼만 쓰는 것입니다. 물음 하나에 사실로 답하고 판단을 더하지 않는 문단의 끝맺음은 답변형 콘텐츠 작성에서 정한 꼴을 따릅니다.
맞는 사실로 만든 잘못된 결론 자주 묻는 질문
문장 속 사실이 모두 맞다면 오류로 기록하지 않아도 되나요?
사실은 맞음으로 기록하고, 연결은 따로 기록합니다. 결론이 출처에 없는 연결로 만들어졌다면 그 연결을 덧붙음으로 남깁니다. 사실이 맞다는 기록이 연결까지 맞다는 뜻으로 읽히지 않도록 두 칸을 나눕니다. 보고서의 수도 사실의 판정과 연결의 판정을 따로 셉니다.
「~할 수 있다」처럼 약하게 말한 연결도 덧붙음인가요?
출처에 없다면 말투와 관계없이 덧붙음으로 매깁니다. 기록에 AI가 쓴 말투를 그대로 옮겨, 받는 사람이 연결의 세기를 함께 읽게 합니다.
두 출처의 사실을 이은 결론은 어느 출처와 맞대나요?
사실은 각자의 출처와 맞대고, 연결은 두 출처 모두에서 찾습니다. 어느 쪽에도 잇는 말이 없다면 덧붙음이고, 기록에 두 출처를 나란히 씁니다.
병원 글에 이미 그런 결론이 쓰여 있었다면 어떻게 하나요?
출처가 연결을 말했으므로 연결 판정표의 첫째 줄입니다. 다만 그 연결이 병원의 주장이라는 점을 기록에 쓰고, 우열을 말한 것이라면 입증 자료를 가리는 분류로 함께 넘깁니다.
이어진 사실 가운데 하나가 곧 바뀔 예정이라면 어떻게 하나요?
받은 날의 승인 자료로 사실을 맞댑니다. 바뀌는 날짜를 옮기고, 그 날 전과 뒤 가운데 어느 값이 맞는 사실인지는 변경 효력일 기준으로 넘깁니다. 연결의 판정은 사실이 바뀌어도 출처에 연결이 있었는지로 매긴 그대로 남깁니다.
숫자를 이어 만든 결론과 순서만으로 인과처럼 읽히는 문장
두 숫자를 이어 새 값을 만든 결론도 있습니다. 한 해 환자 수와 의료진 수를 나누어 「의료진 한 명이 하루 몇 명을 본다」고 전한 경우입니다. 두 숫자가 맞더라도 나눈 값은 출처에 없는 값이므로, 새 값은 값을 가리는 판정으로 넘기고 나누는 연결은 연결 판정표의 둘째 줄로 매깁니다.
잇는 말 없이 두 사실을 차례로 놓아 인과처럼 읽히는 문장도 있습니다. 「새 장비를 들였다. 대기 시간이 줄었다」처럼 두 문장이 나란히 놓인 경우입니다. 잇는 말이 없으므로 매길 연결은 없습니다. 기록에는 두 문장이 나란히 놓였다는 사실과, 읽는 사람이 인과로 받아들일 수 있다는 점을 적어 병원이 글의 순서를 손볼지 정하게 합니다.