SEARCH

AI 지식 검색

전체 #LLM #NLP #Tokenization #Tokenizer

RESULTS

“Google” 검색 결과

1개 문서

개념·기술 설명·출처에서 언급

Tokenization

텍스트를 모델이 처리할 수 있는 토큰 단위와 정수 ID의 열로 변환하는 전처리·표현 단계.

#LLM#NLP#Tokenization#Tokenizer

2026.10.11 11:11