1-2 : 토큰(Token) 이해
생성일 : 2026.09.11 11:54
- AI는 텍스트를 문자 단위나 단어 단위가 아니라 토큰 단위로 읽는다.
- 예시: "Hello, world!"는 4개의 토큰으로 분할된다: ["Hello", ",", " world", "!"].
- 한글 예시: "안녕하세요"는 대략 5개의 토큰으로 분할된다: ["안", "녕", "하", "세", "요"].
- 토큰화는 문자와 단어 사이의 경계에서 텍스트를 나누는 과정이다.
토큰이 뭔가
AI는 텍스트를 문자 단위나 단어 단위로 읽지 않는다. 그 중간 어딘가인 토큰 단위로 쪼개서 읽는다.
"Hello, world!" → ["Hello", ",", " world", "!"] // 4토큰
"안녕하세요" → ["안", "녕", "하", "세", "요"] // 5토큰 (대략)