같은 문장이 있어야 공통 원천으로 묶는 기준
어느 출처를 고치면 여러 오류에 영향을 줄지는 여러 답의 오류에 같은 출처가 인용되었는지와, 그 출처 안에 오류와 같은 문장이 실제로 있는지를 함께 따져 판단합니다. 두 조건이 모두 맞는 출처만 공통 원천으로 묶고, 그 출처에 이어진 오류의 수를 한 번의 수정이 미칠 수 있는 범위로 추정합니다.
진단에서 오류가 여럿 나오면 오류마다 출처를 따로 고치기보다 여러 오류가 기대는 한 출처를 먼저 고치는 편이 효율적입니다. 문제는 인용이 겹친다는 것만으로 묶을 때 생깁니다. 병원 소개 페이지가 여러 답에 인용되었더라도, 그 페이지에 틀린 진료 시간이 적혀 있지 않다면 그 페이지를 고쳐도 진료 시간 오류는 그대로입니다.
그래서 묶음의 근거는 인용 목록이 아니라 출처 속 문장입니다. 오류 문장과 같은 값을 말하는 문장을 출처에서 찾아 옮길 수 있을 때만 그 출처를 오류의 원천으로 보고, 여러 오류가 같은 문장이나 같은 페이지로 모일 때 공통 원천이 됩니다.
수정 범위를 추정으로만 쓰는 까닭
챗GPT 공식 도움말은 검색 결과와 인용이 불완전하거나 오래되었거나 틀릴 수 있다고 안내하고, 검색할 때 질문을 하나 이상의 검색어로 바꾸어 검색 제공자에게 보낸다고 안내합니다. 퍼플렉시티 공식 도움말은 답마다 원래 출처로 이어지는 번호 붙은 인용을 단다고 안내합니다.
이 안내는 답이 출처를 인용한다는 것을 말할 뿐, 한 출처를 고치면 그 출처를 인용하던 답이 모두 바뀐다고 말하지 않습니다. 같은 질문도 검색어가 달라지면 다른 출처가 인용될 수 있어, 공통 원천을 고친 뒤에 어떤 답이 달라질지는 공식 안내에 나와 있지 않아 진단 기록으로 확인할 부분입니다.
그래서 수정 영향 범위는 약속이 아니라 관측 안의 추정으로 씁니다. 이 출처를 고치면 이번 진단에서 이 출처에 이어진 오류 몇 건이 바뀔 조건이 생긴다는 뜻이고, 실제로 바뀌었는지는 고친 뒤 같은 질문으로 다시 물어 가립니다.
공통 출처 묶음 판정표
오류와 출처의 관계는 출처마다 아래 공통 출처 묶음 판정표의 네 줄 가운데 하나로 판정합니다.
| 출처와 오류의 관계 | 판정 | 처리 |
|---|---|---|
| 여러 답의 오류에 인용되고, 출처 안에 오류와 같은 문장이 있음 | 공통 원천 | 먼저 고칠 후보로 올리고 이어진 오류 수를 씀 |
| 여러 답에 인용되나, 오류와 같은 문장이 없음 | 인용만 겹침 | 묶지 않고 오류마다 다른 원천을 찾음 |
| 한 답의 오류에만 인용되고, 같은 문장이 있음 | 단일 원천 | 그 오류의 처리 순서대로 고침 |
| 오류와 같은 문장이 있으나 어느 답에도 인용되지 않음 | 잠재 원천 | 병원 쪽 페이지라면 함께 고칠 목록에 올림 |
공통 출처 묶음 판정표의 판정 값은 이 넷뿐입니다. 잠재 원천은 이번 답에 인용되지 않았지만 같은 틀린 문장을 담은 페이지로, 공통 원천만 고치고 남겨 두면 다음에 그 페이지가 인용되어 같은 오류가 다시 나올 수 있습니다.
공통 원천을 가리는 다섯 단계
- 진단 담당이 오류마다 답 속 오류 문장과 그 문장에 걸린 인용 출처를 오류-출처 대응표에 옮깁니다.
- 진단 담당이 대응표에서 둘 이상의 오류에 걸린 출처를 추려냅니다.
- 진단 담당이 추려낸 출처와 한 오류에만 걸린 출처를 열어, 오류와 같은 값을 말하는 문장을 찾아 그대로 옮깁니다.
- 진단 담당이 병원 쪽 페이지에서 같은 틀린 문장을 찾아 잠재 원천을 더하고, 공통 출처 묶음 판정표로 판정합니다.
- 원장이 공통 원천과 잠재 원천을 받아 한 번에 고칠 범위를 정하고, 실장이 고친 날을 기록합니다.
둘째 단계에서 둘 이상의 오류에 걸린 출처를 추릴 때는 서로 다른 서비스의 답을 함께 셉니다. 한 서비스의 여러 답에서만 인용된 출처와 여러 서비스에서 인용된 출처는 영향 범위가 다르므로, 대응표에 서비스 수를 따로 적어 원장이 묶음의 크기를 읽을 수 있게 합니다.
셋째 단계에서 같은 값을 말하는 문장은 낱말이 똑같지 않아도 됩니다. 오류가 평일 저녁 여덟 시까지 진료한다는 것이라면 출처에 야간 진료는 저녁 여덟 시까지라고 적힌 문장도 같은 값입니다. 판정의 기준은 표현이 아니라 값이 같은지입니다. 반대로 낱말이 같아도 값이 다르면 같은 문장이 아닙니다. 출처가 토요일 진료를 오전까지라고 적었는데 오류가 토요일 오후 진료라면, 토요일 진료라는 낱말은 겹쳐도 그 출처는 이 오류의 원천이 아닙니다.
넷째 단계에서 병원 쪽 페이지를 따로 찾는 까닭은 인용 목록에 나오지 않은 병원 페이지에도 같은 틀린 문장이 남아 있을 수 있기 때문입니다. 병원 쪽 페이지는 병원이 직접 고칠 수 있으므로, 인용 여부와 상관없이 공통 원천과 한 번에 고치는 편이 다시 손대는 일을 줄입니다.
오류-출처 대응표
다섯 단계의 결과는 오류마다 아래 오류-출처 대응표의 다섯 칸에 남깁니다.
| 칸 | 채우는 내용 | 채우는 사람 |
|---|---|---|
| 오류와 답 | 오류 문장, 질문, 서비스, 받은 날 | 진단 담당 |
| 인용 출처 | 오류 문장에 걸린 출처 주소들 | 진단 담당 |
| 출처 속 문장 | 출처에서 옮긴 같은 값의 문장, 또는 없음 | 진단 담당 |
| 판정과 묶음 | 판정 값과 묶인 출처 이름, 그 출처에 이어진 오류 수 | 진단 담당 |
| 수정과 추적 | 고친 날, 다시 물은 날, 오류가 남았는지 | 실장, 진단 담당 |
오류-출처 대응표의 이어진 오류 수는 이번 진단의 질문 목록 안에서 센 값입니다. 질문 목록이 바뀌면 같은 출처라도 수가 달라지므로, 수와 함께 질문 목록의 날짜를 씁니다. 이 수를 병원 전체의 오류 규모로 옮겨 보고하지 않습니다.
공통 원천을 묶을 때 자주 틀리는 경우
첫째는 가장 많이 인용된 출처를 공통 원천으로 정하는 일입니다. 병원 홈페이지 첫 화면처럼 여러 답에 두루 인용되는 페이지는 인용 수로는 맨 위에 오지만, 그 안에 오류와 같은 문장이 없다면 공통 출처 묶음 판정표의 둘째 줄입니다. 인용 수만 세면 고쳐도 아무 오류도 바뀌지 않을 페이지에 먼저 손을 댑니다.
둘째는 공통 원천을 고친 뒤 이어진 오류가 모두 해결되었다고 보고하는 일입니다. 수정 영향 범위는 추정이므로, 고친 뒤 같은 질문으로 다시 물어 오류마다 남았는지를 가려야 보고할 수 있습니다. 일부 답은 다른 출처를 새로 인용하며 같은 오류를 이어 갈 수 있습니다.
셋째는 출처 속 문장을 요약해 적는 일입니다. 요약하면 오류와 같은 값인지가 흐려지고, 다음 진단에서 출처가 바뀌었는지도 가릴 수 없습니다. 출처 속 문장 칸은 그대로 옮긴 문장으로만 채웁니다.
넷째는 외부 출처를 공통 원천으로 정하고 병원 쪽 잠재 원천을 놓치는 일입니다. 외부 출처는 요청을 보내고 기다려야 하지만, 병원 쪽 잠재 원천은 오늘 고칠 수 있습니다. 공통 원천이 외부에 있을수록 병원 쪽에 같은 문장이 남아 있지 않은지를 먼저 찾습니다. 외부 출처가 병원 쪽 옛 문장을 옮겨 실은 것이라면, 병원 쪽 문장을 고친 날이 외부 요청의 근거가 되기도 합니다.
고친 뒤의 변화를 읽는 일
공통 원천을 고친 뒤에는 AI 답의 변화와 함께 병원으로 오는 문의가 달라졌는지도 기간을 나누어 읽게 됩니다. 기간을 나누어 변화를 재고 우연한 흔들림과 가르는 방법은 광고 성과 측정에서 다룹니다.
공통 출처 수정 범위 자주 묻는 질문
공통 원천이 여럿이면 어느 것부터 고칩니까?
이어진 오류 가운데 환자의 연락이나 방문, 예약을 그르치게 하는 오류가 많은 원천부터 고칩니다. 이어진 오류 수가 같다면 병원이 직접 고칠 수 있는 원천을 먼저 고쳐, 요청을 기다리는 동안에도 고칠 수 있는 것을 끝냅니다.
공통 원천이 외부 사이트라서 고칠 수 없으면 묶음은 쓸모가 없습니까?
쓸모가 있습니다. 한 번의 요청으로 여러 오류의 원천을 바로잡을 수 있으므로 요청의 무게가 달라지고, 요청문에 이 출처가 여러 답의 오류로 이어지고 있다는 사실을 근거로 붙일 수 있습니다.
같은 틀린 문장이 병원 블로그 여러 글에 있으면 판정은 글마다 따로 매깁니까?
글마다 따로 된 페이지이므로 판정은 글마다 매깁니다. 다만 고칠 때는 같은 문장을 한 번에 찾아 모두 고치고, 대응표의 수정 칸에 함께 고친 글의 목록을 씁니다.
인용이 없는 답의 오류는 대응표에 어떻게 넣습니까?
인용 출처 칸을 없음으로 두고 오류만 넣습니다. 이런 오류는 공통 원천으로 묶을 수 없지만, 같은 값의 틀린 문장이 잠재 원천에 있다면 그 문장을 고칠 때 함께 다시 물어 기록합니다.
공통 원천을 고친 뒤 새 출처가 인용되며 다른 오류가 생기면 어떻게 합니까?
새 오류마다 새로 인용된 출처를 대응표에 더해 같은 방식으로 판정합니다. 고친 문장이 새로운 틀린 값을 만들었을 수도 있으므로, 고친 문장을 병원 공식 자료와 다시 맞대는 일을 먼저 하고, 새 출처는 그다음에 판정합니다.
묶음을 그대로 쓰기 어려운 경우
공통 원천이 다른 사이트의 글을 그대로 옮겨 실은 복제문이라면, 복제문을 고쳐도 원래 글이 남아 있는 한 같은 오류가 다시 옮겨질 수 있습니다. 이때는 복제문과 원래 글을 한 묶음으로 보고, 원래 글을 먼저 찾아 판정합니다.
공통 원천이 병원이 예전에 낸 보도자료처럼 병원이 만들었지만 지금은 병원 사이트에 없는 글이라면, 병원이 직접 고칠 수 없는 외부 출처로 다룹니다. 그 글을 실은 곳에 병원의 지금 공식 자료를 근거로 붙여 정정을 요청하고, 같은 내용을 병원 사이트에 바른 값으로 다시 싣는 일을 함께 검토합니다.
여러 지점을 둔 병원이라면 공통 원천이 법인 공통 페이지인지 지점 페이지인지를 함께 씁니다. 법인 공통 페이지의 수정은 모든 지점의 오류에 이어질 수 있지만, 지점 페이지의 수정은 그 지점의 오류에만 이어집니다. 두 경우의 이어진 오류 수를 한데 더하지 않고 따로 기록합니다.