ORBiS Tree

SEARCH

AI 지식 검색

RESULTS

#KV Cache 문서

개념·기술

KV Cache

자동회귀 Transformer가 이전 토큰의 key·value 표현을 재사용하기 위해 저장하는 추론 메모리.

#Inference#KV Cache#LLM#Transformer