섞인 자료를 판정에 쓰지 않는 이유
다른 응답의 문장과 출처가 섞인 자료는 그대로 판정하지 않고, 먼저 한 응답 단위로 되살립니다. 한 응답의 답변 문장 옆에 다른 응답의 출처 목록이 놓이면, 문장과 출처가 맞지 않는 것이 그 응답의 모순처럼 읽힙니다. 실제로는 두 응답이 각각 멀쩡했는데, 자료를 모으는 과정에서 이어 붙었을 뿐일 수 있습니다.
섞임은 자료를 옮기는 손에서 생깁니다. 답변 문장은 화면에서 복사해 표에 옮기고 출처는 나중에 다시 물어 받은 목록을 옆 칸에 넣거나, 여러 날의 캡처를 한 줄로 합치는 경우입니다. 같은 질문이라도 응답은 물을 때마다 달라질 수 있습니다. 오픈AI 도움말은 이미 받은 응답을 웹 결과로 다시 생성하려면 새로고침 단추에서 다시 시도나 웹 검색을 고르라고 안내합니다. 같은 질문 아래에 응답이 둘 이상 생길 수 있다는 뜻이어서, 문장과 출처가 같은 응답의 것인지를 따로 가려야 합니다.
섞인 자료로 판정하면 두 가지가 틀어집니다. 출처가 답변을 뒷받침하지 않는다는 오류가 없는 곳에 생기고, 병원은 멀쩡한 출처를 고칠 곳으로 받습니다. 반대로 실제로 문장과 출처가 어긋난 응답은 섞인 자료 속에서 다른 응답의 출처에 가려 드러나지 않을 수 있습니다.
자료 한 줄의 세 가지 상태
| 상태 | 기준 | 판정에 쓰는 방법 |
|---|---|---|
| 단일 응답 | 문장과 출처가 같은 응답 식별자를 가짐 | 그대로 판정에 씀 |
| 복원됨 | 섞여 있었으나 대화 원본으로 응답마다 문장과 출처를 다시 짝지음 | 되살린 응답 단위로 나눠 각각 판정에 씀 |
| 복원 불가 | 섞였거나 섞였을 수 있는데 대화 원본이 없어 짝을 되살릴 수 없음 | 판정에 쓰지 않고 같은 질문으로 다시 물음 |
복원 불가를 판정에서 빼는 것은 자료를 버린다는 뜻이 아닙니다. 그 줄은 어떤 질문에서 무엇이 의심되었는지를 알려 주는 단서로 남기고, 판정은 새로 받은 응답으로 합니다.
복원됨으로 매긴 줄은 하나의 줄이 둘 이상으로 늘어납니다. 섞여 있던 줄 하나를 응답 둘로 나눴다면 판정도 둘이 되고, 진단표의 줄 수가 달라진 까닭을 표 머리에 밝힙니다. 밝히지 않으면 지난 진단과 줄 수를 견줄 때 오류가 늘어난 것처럼 읽힐 수 있습니다.
응답 식별자가 아예 없는 줄은 섞였는지조차 가릴 수 없습니다. 이런 줄은 섞임이 드러나지 않았더라도 단일 응답으로 매기지 않고, 대화 원본을 찾아 식별자를 채운 뒤에 상태를 매깁니다.
한 응답 단위로 되살리는 다섯 단계
- 진단 담당이 자료의 줄마다 답변 문장과 출처 목록이 어디서 왔는지를 아래 표의 식별자로 씁니다.
- 진단 담당이 문장의 식별자와 출처의 식별자가 다르거나 한쪽이 빈 줄을 섞임 의심으로 표시합니다.
- 진단 담당이 섞임 의심 줄마다 대화 원본을 열어, 문장이 든 응답과 출처가 든 응답을 각각 찾습니다.
- 원본을 찾았다면 진단 담당이 응답마다 문장과 출처를 다시 짝지어 줄을 나누고 복원됨으로 매기며, 찾지 못했다면 복원 불가로 매깁니다.
- 진단 담당이 단일 응답과 복원됨 줄만 판정에 넘기고, 복원 불가 줄의 질문은 다시 물을 목록에 올립니다.
셋째 단계의 대화 원본은 자료를 만든 사람에게 요청합니다. 대행사 보고서라면 대행사에, 병원 직원이 모은 캡처라면 그 직원에게 대화 기록이나 공유 주소를 받습니다. 원본을 줄 수 없다는 답을 받았다면 그 사실을 줄 옆에 쓰고 복원 불가로 매깁니다. 요청한 날짜와 받은 답도 함께 남겨, 나중에 원본이 나오면 다시 되살릴 수 있게 합니다.
둘째 단계에서 한쪽 식별자가 빈 줄도 섞임 의심에 넣는 까닭은, 비어 있다는 것이 같은 응답이라는 뜻이 아니기 때문입니다. 출처만 따로 받아 넣은 줄일수록 출처 쪽 식별자가 비어 있는 경우가 있어, 빈 칸을 같은 응답으로 여기면 섞임을 놓칩니다.
넷째 단계에서 줄을 나눌 때는 원래 줄을 지우지 않습니다. 섞여 있던 원래 줄을 남기고 그 아래에 되살린 응답별 줄을 더해, 어떤 줄이 어떻게 나뉘었는지를 따라갈 수 있게 합니다.
응답 식별자의 다섯 칸
| 칸 | 담는 것 |
|---|---|
| 서비스 | 응답을 받은 서비스 이름 |
| 질문 원문 | 물은 문장 그대로 |
| 받은 시각 | 응답을 받은 날짜와 시각 |
| 대화 안 순번 | 같은 대화에서 몇 번째 응답인지, 다시 생성한 응답이면 몇 번째 생성인지 |
| 원본 위치 | 대화 기록의 공유 주소나 저장한 파일 이름 |
넷째 칸이 빠지면 같은 질문에서 다시 생성한 두 응답을 가를 수 없습니다. 질문과 날짜가 같아도 순번이 다르면 다른 응답이므로, 문장과 출처의 순번이 같은지를 맞댑니다.
다섯째 칸은 되살린 뒤에도 남깁니다. 판정에 이의가 들어왔을 때 원본을 다시 열어 짝을 가릴 수 있어야 하기 때문입니다.
다섯 칸은 문장과 출처에 각각 매깁니다. 한 줄에 식별자를 한 벌만 쓰면 문장과 출처가 같은 응답이라고 미리 정한 것이 되어, 섞임을 찾을 수 없습니다. 두 벌이 같으면 단일 응답이고, 다르면 섞임 의심입니다.
섞인 한 줄을 되살리는 적용 방법
되살리는 일은 한 줄을 두고 차례로 하면 헷갈리지 않습니다. 다음은 설명을 위해 꾸민 가상의 자료 한 줄입니다. 질문은 「○○의원 도수치료 하나요」이고, 답변 문장 칸에는 「○○의원은 도수치료를 합니다」가, 출처 칸에는 다른 지역 의원의 소개 페이지 주소가 들어 있었습니다.
먼저 문장과 출처의 식별자를 따로 씁니다. 문장은 월요일 오전에 받은 첫 응답에서 복사한 것이었고, 출처는 화요일에 같은 질문을 다시 물어 받은 응답의 출처 목록이었습니다. 받은 시각이 달라 섞임 의심으로 표시합니다.
다음으로 대화 원본을 엽니다. 월요일 응답의 출처 목록에는 병원 홈페이지의 진료 안내 페이지가 있었고, 화요일 응답의 문장은 「○○의원의 도수치료 여부는 확인되지 않습니다」였으며 그 출처로 다른 지역 의원의 페이지가 붙어 있었습니다.
이제 줄을 둘로 나눕니다. 월요일 응답은 도수치료를 한다는 문장과 병원 홈페이지 출처가 짝이고, 화요일 응답은 확인되지 않는다는 문장과 다른 지역 의원 출처가 짝입니다. 두 줄 모두 복원됨으로 매깁니다.
되살린 뒤의 판정은 섞인 줄의 판정과 다릅니다. 섞인 줄만 보면 병원이 도수치료를 한다는 문장에 엉뚱한 의원의 출처가 붙은 응답으로 읽혔습니다. 되살린 뒤에는 월요일 응답은 문장과 출처가 맞는 응답이고, 화요일 응답은 다른 지역 의원의 페이지가 출처로 붙은 응답이라는 것이 드러납니다. 병원이 따질 대상은 월요일 응답의 출처가 아니라 화요일 응답에 붙은 다른 의원의 페이지입니다.
두 응답을 나눈 뒤에는 어느 한 응답을 대표로 삼지 않습니다. 두 응답을 각각 병원 공식 정보와 맞대어 판정하고, 같은 질문에 서로 다른 답이 나왔다는 사실도 날짜와 함께 기록해 다음 진단에서 다시 묻습니다. 한 응답만 남기면 나머지 응답에서 드러난 문제가 기록에서 사라집니다.
되살린 줄을 넘길 때는 원래의 섞인 줄, 두 응답의 식별자, 대화 원본의 위치를 함께 넘깁니다. 다음 진단 담당은 이 기록으로 같은 질문을 다시 물을 때 응답마다 문장과 출처를 한 번에 저장해, 처음부터 섞이지 않게 합니다.
섞인 응답 자료 자주 묻는 질문
화면 캡처 한 장에 문장과 출처가 함께 있으면 단일 응답으로 매겨도 되나요?
한 장의 캡처에 문장과 출처가 이어져 보이면 같은 응답일 가능성이 높지만, 식별자의 서비스와 질문, 받은 시각을 채운 뒤에 단일 응답으로 매깁니다. 캡처가 잘려 문장과 출처가 서로 다른 장에 있다면 두 장이 같은 응답의 것인지 대화 원본으로 가립니다.
여러 응답을 요약해 한 줄로 만든 보고서는 어떻게 다루나요?
요약 줄은 판정에 쓰지 않습니다. 요약에 쓰인 응답을 하나씩 식별자와 함께 받아 응답 단위의 줄로 되돌린 뒤에 판정하고, 되돌릴 수 없으면 복원 불가로 매깁니다.
같은 응답 안에서 문장과 출처가 실제로 어긋나면 어떻게 기록하나요?
식별자가 같은 단일 응답인데 출처가 문장을 뒷받침하지 않는다면, 그것은 섞임이 아니라 그 응답의 인용 문제입니다. 단일 응답으로 매긴 뒤 출처 대조 항목에서 어긋남으로 판정합니다.
대화 원본이 삭제되었으면 복원할 방법이 없나요?
원본이 없으면 복원 불가입니다. 자료를 만든 사람의 기억으로 짝을 되살리지 않고, 같은 질문을 다시 물어 새 응답을 단일 응답으로 저장합니다.
되살리는 데 시간이 많이 들면 섞인 줄을 빼고 판정해도 되나요?
뺄 수 있지만 뺀 줄의 수와 까닭을 진단표 머리에 밝힙니다. 밝히지 않고 빼면 판정한 범위가 실제보다 넓게 읽힙니다. 뺀 줄의 질문은 다시 물을 목록에 올려, 다음 진단에서는 문장과 출처를 한 번에 받아 단일 응답으로 저장합니다.
자료를 되살린 뒤의 다음 단계
자료가 응답 단위로 정리되어야 그 위에 세우는 계획도 흔들리지 않습니다. 섞인 자료로 잡은 오류를 근거로 계획을 짜면 고칠 필요가 없는 곳에 일을 배정하게 됩니다. 정리된 진단 자료를 바탕으로 무엇을 먼저 할지 계획을 세우는 일은 GEO마케팅 전략에서 이어서 다룹니다.
대행사나 직원에게 자료를 받을 때는 응답 단위로 달라고 미리 요청합니다. 받은 뒤에 되살리는 것보다 처음부터 한 응답에 한 줄로 받는 편이 품이 적게 들고, 복원 불가로 빠지는 줄도 줄어듭니다.
앞으로 자료를 모을 때는 응답을 받는 즉시 문장, 출처, 식별자를 한 번에 저장하도록 양식을 정합니다. 문장과 출처를 따로 옮기는 단계가 없으면 섞일 틈도 생기지 않습니다.