LLM 토큰 카운터 — GPT-4 / Claude / Gemini 토큰화 비교

토큰이란?

LLM은 문자나 단어가 아닌 토큰(token, 부분 단어)으로 텍스트를 처리합니다. 영문 1 토큰 ≈ 4자 ≈ 0.75단어. 한글 1자 ≈ 2-3 토큰. 토큰 수는 API 비용과 컨텍스트 윈도우 사용량을 직접 결정합니다.

토큰 카운터 사용 시점

• 📊 예산 추정: API 호출 전 비용 계산
• 📏 컨텍스트 자르기: 모델 최대 컨텍스트 윈도우에 맞게 자르기
• 🔀 모델 간 비교: 동일 텍스트의 GPT / Claude / Gemini 토큰 차이
• 🛠️ 프롬프트 최적화: 토큰 수로 프롬프트 중복 감지

API 가격 참고 (2026-05)