모델을 띄우는 것과 서비스하는 것은 다른 일이다
단일 GPU에서 모델이 도는 것을 확인한 다음부터가 서빙이다. 지연과 처리량이 왜 같이 좋아지지 않는지, 배치가 정확히 무엇을 사고 무엇을 파는지, KV 캐시가 메모리 예산의 어디를 먹는지를 순서대로 정리한다.
샘플레이아웃 검증용 더미 원고입니다. 내용은 실제 글이 아니며 검색엔진 색인에서 제외됩니다.
LLM 서빙 실전
샘플레이아웃 검증용 더미 원고입니다. 내용은 실제 글이 아니며 검색엔진 색인에서 제외됩니다.
모델을 띄우는 것과 서비스하는 것은 다른 일이다
단일 GPU에서 모델이 도는 것을 확인한 다음부터가 서빙이다. 지연과 처리량이 왜 같이 좋아지지 않는지, 배치가 정확히 무엇을 사고 무엇을 파는지, KV 캐시가 메모리 예산의 어디를 먹는지를 순서대로 정리한다.