ORBiS
Tree
문서
검색
분류
보완
미작성
최근 변경
로그인
가입
SEARCH
AI 지식 검색
검색
전체
#AI Agent
#AI Assistant
#AI Lab
#AI Research
#AI Safety
#Alignment
#Anthropic
#Attention
#BERT
#Benchmark
#CUDA
#ChatGPT
#Claude
#Context Window
#Data Contamination
#Data Provenance
RESULTS
#Tokenizer 문서
개념·기술
Tokenization
텍스트를 모델이 처리할 수 있는 토큰 단위와 정수 ID의 열로 변환하는 전처리·표현 단계.
#LLM
#NLP
#Tokenization
#Tokenizer
2026.08.29 06:47