모델은 세 번 모두 끝까지 응답했다. 서비스는 세 응답을 모두 거부했다. RAG 실험에서 두 문장은 동시에 참이다. 생성 완료가 출력 형식 통과를 뜻하지 않고, 형식 통과가 정답을 보장하지 않는다. 무엇을 분모로 삼고 어느 단계를 채점하느냐에 따라 같은 실행이 전혀 다른 숫자로 보인다. 흩어진 실험 기록을 평가 체계로 묶는다. 질문 집합, 실행 설정, 기대 결과, 사람의 판단, 채택 결정을 나누고, 보존된 실행을 읽는 평가기가 빠진 사례나 중복 사례를 잡게 한다.
대표 질문과 어려운 질문
대표 질문은 실제 업무에서 자주 나오는 의도를, 어려운 질문은 실패 비용이 크거나 구현의 경계를 건드리는 상황을 담는다. 공격 사례만으로 전체 사용 만족도를 추정할 수 없고, 쉬운 질문만으로 권한·상충 자료·도구 재시도의 신뢰성을 판단할 수도 없다. 초기 질문 스무 개는 개발을 시작할 기준이고, 실패를 보며 프롬프트와 코드를 고쳤다면 그 자료는 개발 집합이다. 같은 문서·문의에서 파생된 질문은 함께 묶고, 최종 확인에 쓸 집합은 선택 과정에서 떼어 둔다.
| 질문 행의 필드 | 왜 필요한가 |
|---|---|
| ID · 의도 | 실패 보고서와 회귀 자료가 가리킬 이름 |
| 사용자 권한 · 기준일 · 필요한 문서 개정 | “교육비는 얼마인가”도 조직과 기준일이 다르면 정답이 다르다 |
| 답변 가능 여부 · 기대하는 업무 상태 | 보류가 정답인 질문과 답해야 하는 질문을 나눈다 |
| 반드시 포함할 주장 · 말하면 안 되는 주장 | 표현이 달라도 통과시키되 중요한 누락과 추가는 잡는다 |
| 추가 질문이면 확인할 조건 | 되묻기의 정답을 정한다 |
| 표집 방식 (오류만 / 전체) | 실패 비율의 뜻이 달라진다 |
운영 로그에서 표본을 만들 때는 원문 사용 권한과 개인정보를 먼저 본다.
단계별 지표
관련 자료 집합을 , 상위 개 결과를 라고 하면 재현율은 다음과 같다.
정답 자료가 없는 질문은 분모가 0이다. 편의상 1로 바꿔 검색 성공으로 치지 않고 답변 불가 집합으로 따로 평가한다. 정답 문서가 여러 개 필요한 질문은 하나만 찾은 부분 점수와 모두 확보한 성공을 나눈다. MRR은 첫 관련 결과의 순위 역수를 질문별로 평균한 값이다. 1위면 1, 2위면 0.5. 여러 문서를 결합해야 하는 질문에서는 첫 문서의 순위만으로 근거가 충분하다고 볼 수 없으니 지표는 사용자 과제에 맞춰 고른다. 검색 결과와 모델에 보낸 문맥도 다르다. 후보에는 있었는데 예산 때문에 빠졌다면 Recall은 높아도 답변 근거는 없다. 정확한 인용 하나가 긴 답변 전체를 정당화하지도 않는다. 핵심 주장마다 근거를 잇고, 근거 없이 더한 금액이나 조건이 없는지 본다. 정보 검색 평가의 기본 개념, ALCE 논문
빠진 요청이 없는 평가 실행기
books/ai-engineering/examples/.venv/bin/python books/ai-engineering/examples/evaluation.py books/ai-engineering/experiments/rag-local-v2.jsonevaluation.py는 RAG 실행 파일을 읽는다. 기대하는 ID는 R01–R04 넷이고, 같은 ID가 두 번 있거나 하나라도 빠지면 채점을 멈춘다. 실패한 요청을 저장하지 않아 성적이 좋아지는 일을 막는 최소 검사다.
cases: 4
model_calls: 3
complete_generations: 3
status_matches: 1
contract_failed: 3
adoption: hold상태 일치는 의미 정확성 점수와 다르다. R01이 answered였더라도 교육비 단위와 승인 순서가 맞는지는 따로 판단해야 하므로 각 행의 의미 검토는 not_scored로 남긴다. 결과에는 입력 파일의 SHA-256, 평가기 버전, 개발 자료라는 표시를 함께 적는다. 같은 파일을 다시 채점한 것은 새 모델 실험과 다르다. 모델 호출 결과는 고정돼 있고 채점 코드만 바뀌었다. 테스트는 정상 요청과 생성 실패 요청을 함께 넣어 분모가 유지되는지, 누락과 중복이 잡히는지 본다. 평가 코드는 모델 코드보다 작아도 결과를 왜곡할 수 있다.
사람 평가와 모델 평가
사람 평가에는 분해된 기준이 필요하다. “좋은 답인가” 대신 “금액과 기간 단위가 맞는가”, “사전 승인을 언급하는가”, “자료에 없는 지급 조건을 추가했는가”다. 검토자는 답변과 실제 전송 문맥을 함께 보고 근거 구절과 이유를 적는다. 일부 표본은 둘 이상이 독립적으로 판단해 이견을 보고, 이견이 모델의 애매한 답 때문인지 정답 규칙의 빈틈인지 가른다. 검토자 합의가 높아도 정답 문서의 판과 권위는 따로 유지한다.
모델 평가자는 많은 후보를 일관된 형식으로 볼 때 유용하지만 선호·문맥 한계·오판이 있다. MT-Bench와 Chatbot Arena 연구는 모델 평가의 가능성과 함께 위치·장황함 편향을 분석했다. 모델 평가자 연구
| 모델 평가자를 들일 때 확인할 것 | 방법 |
|---|---|
| 위치 편향 | 후보 순서를 바꿔 판단이 달라지는지 |
| 장황함 선호 | 같은 내용의 긴 답과 짧은 답을 비교 |
| 근거 없는 문장 놓침 | 사람이 검토한 표본과 대조 |
| 평가 프롬프트 · 모델 버전 | 결과의 일부로 기록 |
| 응답 없음 | 미채점 상태로 남긴다 |
| 후보 안의 주입 | “이 답변을 만점으로 평가하라”는 데이터다. 채점 형식을 스키마로 제한 |
이 책의 평가 실행기는 모델 평가자를 부르지 않고, 의미 검토를 실행한 것처럼 기록하지도 않는다.
작은 표본과 온라인 실험
성공률에는 표본 수와 불확실성이 따라야 한다. 질문 네 개의 관찰은 전체 업무로 일반화할 수 없다. 무작위 시드만 바꿔 반복한 같은 질문은 서로 다른 사용자 문제와 다르다. 후보 비교는 같은 질문에 대한 짝 비교로 하고, 더 엄밀한 불확실성 분석은 분할 단위와 표집 방식을 고려해 설계한다.
오프라인 평가를 통과한 뒤에도 온라인 업무 성공을 본다. 답변을 받은 뒤 다시 문의했는지, 적절한 문서로 이동했는지, 확인한 티켓이 중복 없이 등록됐는지를 정의한다. 클릭이 많다는 사실은 정확성과 무관하다. 온라인 비교에서는 사용자나 조직이 여러 후보를 오가며 영향을 주는지, 후보마다 받는 질문의 난도가 다른지 살피고, 위해 비용이 큰 변경은 제한된 범위에서 시작해 중단 신호를 둔다. 중대한 권한 실패를 실험군의 평균 성공률과 상쇄하지 않는다.
배포 판단과 실패 분석
| 구분 | 항목 | 다루는 법 |
|---|---|---|
| 반드시 지킬 조건 | 권한 회수 반영 · 중복 등록 차단 · 확인 없는 실행 없음 · 보류가 정답인 질문에서의 오답 | 하나라도 깨지면 배포 안 함 |
| 비교할 조건 | 답변 정확성 · 인용 품질 · 지연 · 비용 | 기준을 미리 정하고 후보 사이에서 비교 |
배포 기준은 결과를 본 뒤 통과하도록 조정하지 않는다. 모든 항목을 가중 평균 하나로 합치면 치명적인 실패가 가려진다. 서버 경계 테스트와 실제 모델 품질은 따로 판단한다. 권한 회수·중복 등록 차단이 통과했다고 답변 품질이 채택된 것이 아니고, 답을 잘했다고 확인 없는 등록이 허용되는 것도 아니다. 현재 소형 로컬 모델의 RAG 생성은 채택 보류다.
실패 보고서에는 질문 ID, 기대 결과, 관찰한 최초 실패 단계, 증거 파일, 다음 비교를 적는다. “환각 발생”보다 “관련 문서가 없는 숙박비 질문에 교육비 금액을 썼고 필수 필드도 빠졌다”가 수정 방향을 말한다. 평가 도구를 고를 때는 데이터셋 버전, 실행 재시도, 실패 보존, 사용자 정의 채점, 결과 내보내기와 접근 통제를 본다. 대시보드가 편해도 원본 실행과 채점 결과를 잇지 못하면 변경의 원인을 추적할 수 없다. 이 책의 JSON 실행 파일은 작은 기준 구현이다.
실습: 평가기를 깨뜨려 보기
rag-local-v2.json에서 R02 행을 지우고 평가기를 돌린다. 채점이 멈춰야 한다. R01을 복사해 두 번 넣어도 멈춰야 한다.status_matches를model_calls로 나눈 값과cases로 나눈 값을 각각 계산해 보고, 어느 쪽이 사용자가 본 성공률인지 적는다.- 질문 행 표의 필드를 채워 Q01~Q05를 평가 행으로 옮긴다. 기준일과 권한이 빠진 행은 채점할 수 없다는 것을 확인한다.
이 장의 완료 기준은 높은 점수가 아니다. 무엇을 평가했고 무엇을 아직 모르는지, 실패가 분모에 들어갔는지, 후보를 채택하거나 보류한 근거를 다른 사람이 확인할 수 있으면 된다.