추론 엔진 안에서 일어나는 일
공개 가중치 모델을 자체 GPU에 올려 서비스할 때 추론 엔진 안에서 무슨 일이 일어나는지 설명한다. 프리필과 디코드가 각각 어느 자원에 묶이는지에서 시작해 배치와 스케줄링, KV 캐시 메모리, 양자화, 디코딩 가속, 여러 장비로 나누는 법, 측정과 운영까지 인프라·ML 엔지니어가 설계를 고를 때 필요한 원리를 다룬다.
연재 중집필 중인 책입니다. 아직 본문이 비어 있거나 채워지는 중인 장이 있습니다.
LLM 서빙 실전