최근 글
전체 보기- LLMLLM 게이트웨이는 왜 균등 분산을 포기하는가: 프리픽스 인지 라우팅여러 모델 백엔드 앞에 놓이는 LLM 게이트웨이가 라운드로빈 대신 캐시 지역성을 보는 이유와, 토큰 계량이 하필 이 계층에서 일어나는 구조를 정리합니다.
- LLM프리필과 디코드는 다른 일이다: 프리픽스 캐시 적중률이 비용이 되는 이유LLM 추론이 성격이 다른 두 구간으로 나뉘는 이유와, 요청 사이에 KV 캐시를 재사용하는 프리픽스 캐싱이 과금과 로드밸런싱 설계를 어떻게 바꾸는지 정리합니다.
- LLM같은 문장을 왜 매번 다시 계산하지 않을까: LLM 추론과 KV 캐시LLM이 토큰을 하나씩 만들어 내는 과정에서 KV 캐시가 선택이 아니라 전제인 이유를, attention의 Query·Key·Value와 메모리 비용 계산으로 설명합니다.
- Kubernetes쿠버네티스에서 동적 스토리지 만들기개발자가 만든 PVC가 StorageClass와 CSI 드라이버를 거쳐 실제 볼륨이 되고, Pod에 연결되기까지의 과정을 운영자와 개발자 관점에서 설명합니다.
- Kubernetes쿠버네티스에서 스토리지 관리하기PV·PVC·StorageClass가 어떻게 연결되는지 살펴보고, 클러스터 운영자와 네임스페이스 개발자가 맡는 일과 데이터 삭제 정책을 설명합니다.