토큰

데이터
약 1분 읽기

LLM이 텍스트를 인식하고 생성하는 기본 단위로, 문장을 단어·글자보다 작은 의미 조각으로 나눈 것입니다. AI 모델의 연산 비용, 응답 속도, 한 번에 기억할 수 있는 정보량(컨텍스트 윈도우)을 결정하는 핵심 지표입니다.

다른 이름
Token토큰화

상세 설명

토큰은 AI가 언어를 데이터화하는 '최소 입자'입니다. 문장은 토크나이저(Tokenizer)를 거쳐 숫자 형태의 토큰으로 변환되며, 모델은 이를 통해 문맥을 파악합니다. 과거에는 영어 대비 한글의 토큰 효율이 낮아 동일 내용도 2~3배의 비용이 발생했으나, GPT-4o의 'o200k_base'나 클로드 3 등 최신 모델은 토크나이저 효율을 개선하여 한글 처리 비용과 속도를 크게 최적화했습니다. 토큰은 단순한 텍스트 단위를 넘어 API 과금액과 모델의 '기억 용량'을 측정하는 표준 척도로 활용됩니다.

도구 선택에서 중요한 이유

토큰은 AI 서비스의 운영 경제성과 성능에 직결됩니다. 동일한 문서라도 모델의 토크나이저 효율에 따라 과금액이 달라지며, 컨텍스트 윈도우 내에 얼마나 많은 정보를 담을 수 있는지가 결정됩니다. 특히 한국어 환경에서는 모델별 한글 토큰 압축률을 확인하는 것이 비용 최적화의 핵심입니다.

도구 선택 시 확인 사항

  • 해당 모델이 최신 토크나이저(예: GPT-4o의 o200k)를 사용하여 한글 효율이 개선되었는가?
  • 입력(Input)과 출력(Output) 토큰의 단가 차이가 예산 범위 내에 있는가?
  • 긴 문맥을 처리할 때 토큰 제한(Context Window)이 업무에 충분한가?

모델별 한글 토큰 처리 예시

영어 'Apple'은 보통 1토큰이지만, 한글 '사과'는 모델에 따라 차이가 큽니다. 과거 GPT-4(cl100k_base)에서는 한글 한 글자가 약 2~3토큰을 소모했으나, 최신 GPT-4o(o200k_base)는 압축 효율이 약 1.5배 이상 개선되어 더 적은 토큰으로 동일한 한글 문장을 처리할 수 있습니다.

텍스트 측정 단위 비교

Character (글자)

공백을 포함한 개별 글자 수. 인간이 체감하는 텍스트 양.

Word (단어)

띄어쓰기 기준 단위. 영어권에서 주로 사용하는 기준.

Token (토큰)

AI 내부 처리 단위. 비용과 모델 메모리 점유의 실제 기준.

관련 용어

컨텍스트 윈도우tokenizerbpellm-pricing