개념·기술
Context Window
언어 모델이 한 번의 처리에서 참조할 수 있도록 입력으로 구성하는 토큰 문맥 범위.
↳ 컨텍스트 윈도우
#Attention#Context Window#LLM#Tokenization
2026.10.16 06:47
개념·기술
Tokenization
텍스트를 모델이 처리할 수 있는 토큰 단위와 정수 ID의 열로 변환하는 전처리·표현 단계.
↳ 토큰화
#LLM#NLP#Tokenization#Tokenizer
2026.10.11 11:11