SEARCH

AI 지식 검색

전체 #AI Agent #AI Assistant #AI Lab #AI Research #AI Safety #Alignment #Anthropic #Attention #BERT #Benchmark #CUDA #ChatGPT #Claude #Context Window #Data Contamination #Data Provenance

RESULTS

#Tokenization 문서

Context Window

언어 모델이 한 번의 처리에서 참조할 수 있도록 입력으로 구성하는 토큰 문맥 범위.

#Attention#Context Window#LLM#Tokenization

2026.08.29 07:31

Tokenization

텍스트를 모델이 처리할 수 있는 토큰 단위와 정수 ID의 열로 변환하는 전처리·표현 단계.

#LLM#NLP#Tokenization#Tokenizer

2026.08.29 06:47