LLM
LLM 추론 구조와 서빙 인프라 기록
- LLMLLM 게이트웨이는 왜 균등 분산을 포기하는가: 프리픽스 인지 라우팅여러 모델 백엔드 앞에 놓이는 LLM 게이트웨이가 라운드로빈 대신 캐시 지역성을 보는 이유와, 토큰 계량이 하필 이 계층에서 일어나는 구조를 정리합니다.
- LLM프리필과 디코드는 다른 일이다: 프리픽스 캐시 적중률이 비용이 되는 이유LLM 추론이 성격이 다른 두 구간으로 나뉘는 이유와, 요청 사이에 KV 캐시를 재사용하는 프리픽스 캐싱이 과금과 로드밸런싱 설계를 어떻게 바꾸는지 정리합니다.
- LLM같은 문장을 왜 매번 다시 계산하지 않을까: LLM 추론과 KV 캐시LLM이 토큰을 하나씩 만들어 내는 과정에서 KV 캐시가 선택이 아니라 전제인 이유를, attention의 Query·Key·Value와 메모리 비용 계산으로 설명합니다.