문서에 근거해 답하려면 외부 문서를 읽어야 하고, 도구를 실행하려면 모델이 만든 인자를 받아야 한다. 기능에 필요한 바로 그 통로가 공격 경로다. “외부 입력을 받지 않는다”는 원칙으로는 이 서비스를 만들 수 없으니, 입력을 받아도 무엇을 할 수 없는지를 코드로 정한다. 앞에서 만든 권한·인용·업무 규칙을 위협 모델 하나로 모으고, 모델이 공격자의 요구를 그대로 제안한 경우에도 서버가 어디서 막는지 확인한다. 프롬프트 한 줄로 안전을 끝내려 하지 않는다.
자산과 신뢰 영역
인증은 요청자가 누구인지 확인하고, 인가는 그 주체가 해당 작업을 해도 되는지 판단한다. 검색은 주체와 문서 권한을 점수 계산 전에 걸고, 티켓 도구는 Actor를 신뢰된 호스트에서 받는다.
| 경계 | 공격자가 시도할 일 | 서버가 유지할 조건 |
|---|---|---|
| 질문 → 검색 | 다른 조직 문서를 요구 | 현재 주체에게 허용된 자료만 후보가 된다 |
| 문서 → 생성 | 문서 안에서 상위 지시를 사칭 | 문서는 근거 자료고 실행 권한이 없다 |
| 생성 → 인용 | 존재하지 않는 비공개 출처를 제시 | 실제 전송한 근거의 식별자·구절만 허용 |
| 모델 → 업무 도구 | 승인 없이 티켓 등록 | 확인한 초안만 등록되고 재실행은 같은 결과 |
| 요청 → 로그 | 비밀·개인정보를 로그에 심음 | 허용한 진단 필드만 기록 |
이 표는 모든 공격의 목록이 아니라 지켜야 할 조건의 출발점이다.
프롬프트 주입의 세 겹
프롬프트 주입은 입력으로 모델의 의도된 작업을 바꾸려는 시도다. 사용자가 직접 지시를 바꾸려는 경우와 검색 문서 같은 외부 자료에 지시를 심는 경우가 있고, OWASP는 이 직접·간접 주입과 방어의 한계를 설명한다. OWASP 프롬프트 주입
books/ai-engineering/examples/.venv/bin/python -m unittest discover -s books/ai-engineering/examples -p 'test_security.py' -v구분자·역할 메시지·자료 출처 표시는 모델이 입력의 성격을 이해하는 데 도움이 되지만, 문서 내용과 명령의 구분을 모델 하나에 맡기면 그 모델의 오판이 전체 통제 실패가 된다. 금지 단어 목록도 문맥·인코딩·언어를 바꾼 공격 전체를 막는다는 증명이 되지 못한다. 그래서 공격 테스트는 모델의 제안이 이미 잘못됐다고 놓고 시작한다. 모델의 저항성을 재려면 공격 문서를 실제 생성기에 넣고 시도한 행동과 서버의 최종 결과를 함께 기록해야 한다.
실행과 표시
생성한 문자열을 SQL, 셸, 템플릿 코드로 실행하지 않는다. 티켓 도구는 작업 이름을 제한하고 Pydantic으로 인자를 검사하고 매개변수화한 SQL을 쓰며, OCR의 외부 명령도 인자 목록으로 부른다. 모델에게 코드를 만들게 하는 기능이 따로 있다면 실행 환경의 파일·네트워크·시간·메모리 권한을 독립적으로 제한한다. URL을 받는 도구는 문자열이 URL처럼 보이는지만 보면 부족하다. 내부 서비스·로컬 주소로의 요청, 리디렉션 뒤의 목적지, DNS 해석 이후의 실제 연결 주소까지 네트워크 정책에 넣는다. 이 프로젝트는 모델이 임의 URL을 내려받는 도구를 두지 않았고, 추가한다면 도구 목록의 확장이 아니라 새 네트워크 권한의 도입으로 다룬다.
출력도 데이터다. 응답을 웹 화면에 보일 때는 기본으로 텍스트로 렌더링하고, 마크다운이 필요하면 HTML·링크·이미지의 허용 범위를 정한다. 공격자가 만든 외부 이미지 주소를 자동으로 불러오는 것만으로 별도 요청이 나간다. 인용 링크는 서버가 아는 문서 경로에서 만든다.
| 상한 | 막는 것 |
|---|---|
| 입력 길이 · 출력 토큰 한도 | 한 요청의 모델 비용 |
| 업로드 크기 · 압축 해제 후 크기 · 페이지 수 · 오디오 길이 | 작은 파일이 큰 메모리를 먹는 일 |
| 루프의 단계·크레딧 한도 | 반복 도구 호출로 쌓이는 소액 비용 |
| 대기열 상한 | 동시 요청이 자원을 다 차지하는 일 |
로그 최소화와 삭제 경로
문제 분석에 질문 원문이 늘 필요한 것은 아니다. 기본 로그에는 추적 ID, 버전, 단계, 상태, 소요 시간, 확인 가능한 토큰 사용량을 남기고, 원문을 모아야 하는 품질 조사에는 목적·대상·보관 기간·열람 권한을 따로 정한다. 정규표현식으로 이메일을 가렸다고 자유 서술 전체가 익명화된 것은 아니다. OpenTelemetry의 민감한 데이터 안내는 수집 단계부터 필요한 정보만 고르고 처리 단계에서 제거·변환하는 방법을 다루는데, 관측 도구를 깔았다고 데이터 보호가 끝나지 않으니 외부 수집기로 보내는 속성에 무엇이 들어 있는지 본다. OpenTelemetry 민감한 데이터 처리
운영 설계에는 데이터 종류별 삭제 책임자와 완료 확인 방법을 적는다. 법적 보관 의무와 충돌하는 판단은 조직의 절차로 처리하고, 이 기술 예제는 준법 인증을 대신하지 못한다. 질문 해시도 원문을 지키는 장치와 다르다. 가능한 질문의 범위가 작으면 후보를 해시해 맞춰 볼 수 있다. 운영 분석에 안정된 사용자 식별자가 필요하면 목적에 맞는 가명화와 키 관리·회전·접근 통제를 검토하고, 같은 사용자를 추적할 필요가 없으면 요청마다 새 추적 ID만 두는 쪽이 단순하다.
안전 정책과 사용 맥락
보안은 허용되지 않은 정보나 실행을 막는 문제고, 콘텐츠 안전 정책은 서비스가 어떤 요청에 어떻게 응답할지 정하는 문제다. 정중한 질문이 무권한일 수 있고 공격적인 문장 속에도 정당한 지원 요청이 있다. 한울연구소 도우미는 정책 근거가 없는 판단을 만들지 않고 담당 경로로 안내한다. 인사·건강·법적 분쟁처럼 영향이 큰 결정을 자동으로 확정하는 용도로 넓히지 않고, 지원 범위와 사람에게 넘길 조건을 명세로 두고 거절·보류·추가 질문을 사용자에게 구분해 보인다.
공정성은 평균 정확도 외에 사용자 집단과 입력 형태에 따른 실패 차이로 본다. 존댓말·구어체·오타, 보조 기술로 입력한 문장, 음성 인식 오류가 있는 질문에서도 같은 정책에 닿는지 확인한다. 차이가 보여도 바로 모델의 편향으로 단정하기 전에, 특정 부서의 문서가 덜 색인됐는지, 모바일 업로드의 해상도가 낮은지, 평가 질문의 난도가 다른지를 데이터·변환·검색·생성 단계별로 나눠 본다. 평가에 민감한 속성이 꼭 필요한지 먼저 판단하고 필요하면 수집 목적과 통제 범위를 정한다.
공격을 회귀 자료로
| 사례 | 주입 위치 | 기대 결과 | 증거 |
|---|---|---|---|
| 다른 조직 자료 요구 | 사용자 질문 | 자료가 문맥에 들어오지 않음 | 계수 함수가 받은 전체 입력 검사 |
| 가짜 출처 인용 | 생성 응답 | 출처 검사 실패 | unknown_source 확인 |
| 승인 사칭 | 계획기 행동 | 승인 함수 미호출 | 허용 행동 검사 |
| 처리 도중 권한 회수 | 저장소 권한 | 생성 답변 폐기 | RAG 통합 테스트 |
| 동일 등록 재시도 | 도구 실행 | 티켓 한 개 유지 | 티켓 DB·MCP 실행 |
공격 사례에는 입력만 두지 않고 공격자가 통제하는 위치, 보호할 자산, 기대하는 서버 결과, 실제 관찰한 행동, 재현 버전을 함께 적는다. 비밀 대신 가상 표식을 쓰면 실제 유출 없이 검사할 수 있다. 정상 업무 사례도 함께 돌린다. 공격을 다 막는다면서 모든 요청을 거부하는 구현은 기능을 잃은 것이라, 보안 개선이 합법적인 조회와 확인 후 등록을 깨뜨리지 않았는지 성공 사례로 확인한다. 새 공격에 규칙을 바꿨으면 기존 자료를 유지하고 변형 사례를 더한다. 한 공격 문자열을 외워 차단한 것과 권한 규칙을 고친 것은 다르다.
실습: 위협 모델 갱신하기
test_security.py를 돌리고 세 테스트가 각각 어느 겹을 검사하는지 그림에 대응시킨다.- 표의 경계마다 공격 문장을 하나씩 더 만들어 넣고, 서버의 어느 검사가 잡는지 기록한다. 아무 검사도 잡지 못하면 그것이 다음에 고칠 자리다.
- 문서 다운로드 도구를 붙인다고 가정하고 자산·표면 표에 새 행을 추가한다. 도구가 갈 수 있는 네트워크 주소를 어디서 제한할지 정한다.
이 장의 산출물은 위협 모델과 실행 가능한 경계 검사다. 모델의 주입 저항성 전체, 운영 인증, 모든 개인정보 삭제 경로는 아직 검증 밖에 있다.