영어 약어가 처음 나오면 뜻을 밝히고 그다음부터는 같은 표기로 쓴다. API 필드와 코드의 상태 값은 번역하지 않는다. 아래 정의는 이 책에서 그 말을 쓰는 범위까지만 적은 것이다. 제품이 같은 단어를 다른 뜻으로 쓰면 그 제품 문서의 계약을 확인한다.
모델과 입력
| 용어 | 이 책의 의미 |
|---|---|
| 기반 모델 | 여러 작업에 활용하기 위해 이미 학습된 모델 |
| 추론 | 고정된 모델과 입력으로 출력을 계산하는 과정 |
| 파라미터 | 학습으로 조정하는 모델의 수치 값 |
| 토큰 | 토크나이저가 입력과 출력을 나누는 단위 · 글자나 단어와 하나씩 맞아떨어지지 않음 |
| 컨텍스트 | 현재 요청에서 모델이 조건으로 사용하는 입력 정보 |
| 문맥 예산 | 지시·질문·근거·이력과 출력 예약을 포함해 허용하는 길이 |
| 채팅 템플릿 | 역할 메시지를 모델이 학습한 형식의 토큰열로 표현하는 규칙 |
| 온도 | 출력 후보 확률의 상대적인 집중도를 조절하는 샘플링 설정 |
| 구조화된 출력 | 정해진 스키마로 표현한 응답 · 사실 정확성과 별개 |
| 환각 | 확인 가능한 사실이나 제공한 근거로 뒷받침되지 않는 내용을 생성하는 현상 |
모델이 막힘없이 답했다면 다음 토큰의 확률이 높았다는 뜻이지 누가 그 답을 검증했다는 뜻이 아니다. 모델은 자주 본 문장을 고를 뿐이어서, 그 문장이 지금 적용되는 규정과 같은지는 사람이 근거 문서를 열어 확인한다.
검색과 데이터
| 용어 | 이 책의 의미 |
|---|---|
| 임베딩 | 텍스트 등 입력을 작업에 사용할 수 있는 벡터로 표현한 값 |
| 벡터 공간 | 모델·풀링·정규화 등 표현 규칙이 함께 정하는 비교 환경 |
| 코사인 유사도 | 두 벡터의 내적을 각 길이로 나눠 방향이 얼마나 같은지만 남긴 값 |
| 청크 | 검색·문맥 구성을 위해 나눈 문서의 일부 |
| 색인 | 검색을 돕도록 구성한 데이터 표현과 구조 |
| 전수 검색 | 허용된 모든 후보를 비교하는 검색 |
| 근사 최근접 검색 | 모든 후보를 비교하지 않고 가까운 후보를 찾도록 설계한 검색 |
| RAG | 검색한 자료를 생성 입력에 연결하는 구성 |
| 하이브리드 검색 | 키워드·벡터 등 다른 검색 신호를 결합하는 방식 |
| RRF | 여러 검색 순위의 역수 형태 점수를 합치는 순위 융합 |
| 재순위화 | 후보를 추가 모델이나 규칙으로 다시 평가해 순서를 정하는 단계 |
| 리비전 | 내용이 확정된 특정 시점의 문서·모델·코드 · 개정할 때마다 새로 생긴다 |
| 시행일 | 정책이 적용되기 시작하는 시점 · 등록·수정 시각과 다름 |
서버는 요청 안의 s1 같은 인용 별칭을 받아 그 요청에서 실제로 쓴 청크 식별자로 바꿔 준다. 별칭은 그 요청 안에서만 통해서, 다음 요청의 s1은 또 다른 청크를 가리킨다. 유사도 점수로는 두 벡터가 얼마나 가까운지까지만 알 수 있다. 그 답이 맞는지, 그 문서를 볼 권한이 있는지는 따로 판단한다.
실행과 학습
| 용어 | 이 책의 의미 |
|---|---|
| 도구 호출 | 모델이 제안하거나 클라이언트가 요청한 구조화된 작업 · 실제 실행과 구분 |
| 워크플로 | 다음에 어디로 갈지를 코드가 미리 정해 둔 실행 흐름 |
| 에이전트 루프 | 관찰에 따라 다음 행동을 제안하고 검증·실행을 반복하는 흐름 |
| MCP | 호스트·클라이언트·서버 사이의 기능 연결을 위한 프로토콜 |
| 인증 | 요청 주체가 누구인지 확인하는 과정 |
| 인가 | 확인한 주체가 자원·작업에 접근해도 되는지 판단하는 과정 |
| 멱등성 | 같은 작업을 여러 번 실행해도 효과가 한 번만 남는 성질 |
| SFT | 입력과 바람직한 응답 쌍을 이용하는 지도 파인튜닝 |
| LoRA | 고정된 기반 가중치에 저랭크 변화량을 학습하는 적응 방법 |
| QLoRA | 양자화한 기반 모델에 LoRA를 얹어 메모리를 줄이는 학습 방법 |
MCP로 서버에 붙는 데 성공했다면 확인된 것은 연결까지다. 그 업무를 실행할 권한은 따로 받고, 모델이 계획을 세울 줄 아는지는 따로 재 본다. 도구가 성공을 돌려줘도 서버에 업무 상태를 다시 물어 그 응답과 맞춰 본다.
평가와 운영
| 용어 | 이 책의 의미 |
|---|---|
| 기준선 | 개선 후보와 비교하기 위해 조건을 고정한 기존 방법 |
| 회귀 | 변경으로 기존 정상 기능이나 품질이 악화되는 현상 |
| 평가 누수 | 선택·학습에 사용한 정보가 독립 평가에 섞이는 문제 |
| 근거 지지 | 문서 내용이 답변의 주장을 뒷받침하는 관계 |
| 보류 | 답변이나 실행에 필요한 조건이 다 모일 때까지 판정을 미루는 처리 |
| 추적 ID | 한 요청의 여러 처리 기록을 연결하는 식별자 |
| span | 추적 아래에서 시작·끝과 부모·자식 관계를 함께 남기는 작업 구간 |
| 백프레셔 | 처리 용량에 맞게 상위 유입을 제한하거나 거절하는 제어 |
| 마감 | 요청이 유효하게 끝나야 하는 절대 시점 |
| 롤백 | 검토한 이전 실행 구성으로 복귀하는 절차 |
execution_unknown | 도구를 호출한 뒤 외부 작업이 끝났는지 지금은 확인할 수 없는 상태 |
insufficient_evidence와 generation_failed를 같은 답변 불가로 뭉뚱그리지 않는다. insufficient_evidence는 근거가 모자라 답을 확정하지 않은 상태이고, generation_failed는 생성 단계에서 실패한 상태다. answered도 자동 검사를 통과했다는 뜻이지, 답이 질문에 맞는지는 사람이 따로 읽어 본다.