토큰(Token) — AI 요금은 글자 수로 안 매겨집니다

AI 요금표에 적힌 단위는 '글자'도 '단어'도 아닌 '토큰'입니다. 이 차이 때문에 같은 내용을 한국어로 쓰면 영어보다 비싸지고, 가격표는 그대로인데 실제 청구액만 오르는 일도 벌어집니다. 2026년 8월 기준 실제 요금표와 함께 정리했습니다.

배경 — 왜 지금 토큰을 알아야 하나

몇 년 전까지 AI 요금은 '월 구독료'가 전부였습니다. 지금은 다릅니다. API를 직접 쓰는 개발자는 물론이고, 구독제 사용자도 "한도에 도달했습니다"라는 문구를 만나면서 자기가 무엇을 얼마나 소비했는지 궁금해지기 시작했습니다.

여기에 에이전트형 AI가 확산되면서 소비량 자체가 급증했습니다. 예전에는 질문 한 번에 답변 한 번이었지만, 지금은 AI가 검색하고, 파일을 읽고, 도구를 호출하고, 그 결과를 다시 읽습니다. 이 과정이 전부 토큰으로 계량됩니다.

문제는 이 '토큰'이라는 단위가 직관과 어긋난다는 점입니다. 글자 수도, 단어 수도, 원고지 매수도 아닙니다.

토큰이란 무엇인가

토큰은 AI가 텍스트를 처리할 때 쪼개는 최소 단위입니다. 핵심은 자주 등장하는 문자 덩어리일수록 하나의 토큰으로 묶인다는 점입니다.

Anthropic 공식 문서 기준으로 영어는 대략 1토큰 ≈ 4글자 ≈ 0.75단어입니다(Anthropic Pricing Docs, 2026). 영어 "hello"는 흔한 조합이라 1토큰에 들어가지만, 한국어 "안녕하세요"는 같은 대접을 받지 못합니다.

왜 그럴까요. 토크나이저(문장을 토큰으로 쪼개는 사전)는 학습 데이터에서 자주 본 조합에 자리를 내줍니다. 학습 데이터의 다수가 영어이다 보니 "the", "ing", "tion" 같은 영어 조각은 효율적으로 압축되지만, 한국어는 배정받은 자리가 적습니다.

여기에 한국어 고유의 구조가 겹칩니다. 한국어는 교착어라서 어근에 조사와 어미가 계속 붙습니다. "먹다 / 먹었다 / 먹었었다"가 영어의 "eat / ate / eaten"보다 변형 폭이 훨씬 넓고, 토크나이저는 이 변형을 각각 처리해야 합니다.

핵심 데이터 — 2026년 8월 기준 실제 요금표

주요 모델의 API 요금입니다. 단위는 100만 토큰당 USD이며, 입력(내가 보내는 것)과 출력(AI가 쓰는 것)이 별도로 매겨집니다.

모델	입력	출력	출력/입력 배수
Claude Haiku 4.5	$1	$5	5배
Claude Sonnet 5	$2	$10	5배
Claude Opus 5	$5	$25	5배
GPT-5.6 Luna	$0.20	$1.20	6배
GPT-5.6 Terra	$2	$12	6배
GPT-5.6 Sol	$5	$30	6배
Gemini 3.1 Pro	$2	$12	6배

(출처: Anthropic 공식 Pricing 문서 2026.8 확인 / OpenAI GPT-5.6 요금은 2026년 7월 30일 인하 반영 / Google Gemini 3.1 Pro는 20만 토큰 이하 구간 기준)

? 해석: 표에서 가장 중요한 것은 맨 오른쪽 열입니다. 출력이 입력보다 5~6배 비쌉니다. 프롬프트를 줄이는 것보다 "답변을 짧게, 형식을 정해서" 받는 편이 요금 절감 효과가 큽니다. 표 형식이나 JSON으로 답을 받는 습관이 실제로 돈을 아낍니다.

여기에 세 가지 할인·가산 장치가 붙습니다.

프롬프트 캐싱: 반복해서 보내는 긴 문서·시스템 프롬프트를 캐시에 올려두면, 이후 읽기는 기본 입력가의 **10%**만 청구됩니다(Anthropic 기준). 대신 캐시에 처음 쓸 때 1.25배(5분)~2배(1시간)를 냅니다.
배치 처리: 실시간 응답이 필요 없는 작업을 묶어 보내면 입출력 모두 50% 할인됩니다.
토큰 바깥의 과금: 웹 검색 같은 서버 도구는 별도입니다. Anthropic 기준 웹 검색은 1,000회당 $10이고, 검색으로 가져온 본문은 다시 입력 토큰으로 계산됩니다.

심층 분석

한국어는 정말 몇 배 비싼가

여기서 수치를 조심해야 합니다. 국내 커뮤니티와 일부 기사에서 "한국어는 영어보다 3~5배"라는 숫자가 널리 인용되지만, 측정 시점과 토크나이저 세대에 따라 결과가 크게 갈립니다.

구세대 토크나이저(cl100k_base, GPT-3.5/4 계열) 기준 대규모 측정에서는 한국어가 영어의 약 2.36배로 보고됐습니다.
신세대 토크나이저(o200k_base, GPT-4o 이후) 기준으로 실제 블로그 글 285편을 측정한 사례에서는 한국어/영어 토큰 비율이 약 1.4배 수준으로 내려갑니다.
Microsoft 측은 2024년 국내 행사에서 GPT-4 토크나이저 개선으로 한국어 부담이 "2배에서 1.1배로 줄었다"고 밝힌 바 있습니다. 다만 이는 벤더 측 주장이며 독립 검증 수치는 아닙니다.

⚠️ 정리하면, 방향은 분명하지만(한국어가 불리하다) 배수는 모델 세대·텍스트 성격에 따라 1.4배에서 2배 이상까지 흔들립니다. 코드가 섞인 글과 순수 산문의 결과도 다릅니다. 비용이 중요한 작업이라면 남의 평균값을 쓰지 말고 그 텍스트를 직접 토크나이저에 넣어보는 편이 정확합니다.

가격표는 그대로인데 요금이 오르는 경우

토큰 과금의 가장 반직관적인 지점입니다. 단가가 그대로여도 토크나이저가 바뀌면 실질 비용이 오릅니다.

Anthropic은 공식 문서에서 Claude 4.7 이후 모델이 새 토크나이저를 쓰며, 같은 텍스트에 대해 약 30% 더 많은 토큰을 생성한다고 명시하고 있습니다(성능 향상과 맞바꾼 설계). 100만 토큰당 단가는 동일하지만, 같은 문서를 넣으면 토큰 수가 늘어나므로 청구서는 올라갑니다.

즉 AI 비용을 볼 때 봐야 할 숫자는 두 개입니다. 단가(가격표)와 소모량(토크나이저). 요금 비교 기사가 대부분 앞의 것만 다루는 이유는 뒤의 것이 측정하기 번거롭기 때문입니다.

텍스트만 토큰이 아니다

이미지, PDF, 웹페이지도 전부 토큰으로 환산돼 입력 요금에 합산됩니다. Anthropic 문서가 제시한 대략적인 기준은 다음과 같습니다.

일반 웹페이지(10kB) → 약 2,500토큰
대형 기술문서(100kB) → 약 25,000토큰
논문 PDF(500kB) → 약 125,000토큰

"PDF 하나 넣었을 뿐인데" 요금이 뛰는 이유가 여기 있습니다.

실제로 얼마인가 — 계산해보기

블로그 글 한 편을 쓴다고 가정하겠습니다. 참고자료 20,000토큰을 넣고, 3,000토큰짜리 초안을 받는 작업입니다.

모델 입력 비용 출력 비용 합계 원화(1,400원 가정)

모델	입력	비용	출력	비용 합계
Claude Haiku 4.5	$0.020	$0.015	$0.035	약 49원
Claude Sonnet 5	$0.040	$0.030	$0.070	약 98원
Claude Opus 5	$0.100	$0.075	$0.175	약 245원

같은 작업인데 모델 선택만으로 5배 차이가 납니다. 여기에 한국어 자료를 넣으면 입력 토큰이 1.4배 안팎으로 늘고, 배치나 캐싱을 쓰면 절반 이하로 내려갑니다.

핵심은 모델 선택이 가장 큰 비용 레버라는 점입니다. 단순 요약·분류·태깅에 최상위 모델을 쓰는 것은 택배 보내는 데 화물기를 부르는 것과 비슷합니다.

국내 시사점

첫째, 구독제 사용자도 무관하지 않습니다. 주요 AI 서비스의 사용 한도는 대부분 토큰 기준입니다. 같은 요금을 내고도 한국어로 작업하는 사용자가 한도에 더 빨리 닿는 구조입니다. 실무에서 "프롬프트는 영어로, 답변은 한국어로" 전략이 도는 이유가 여기 있습니다.

둘째, 소버린 AI 논의의 실질적 근거가 됩니다. 한국어 데이터로 토크나이저를 별도 학습해 결합하면 한국어 처리 효율이 개선됩니다. 실제로 국내 모델 기술보고서 중에는 o200k_base에 한국어 전용 토큰 약 1.9만 개를 추가해 한국어 바이트당 처리 효율을 12.6% 개선했다고 보고한 사례가 있습니다(Motif 2.6B 기술보고서). 개선 폭이 극적이지는 않지만, 국가 단위로 누적되면 무시하기 어려운 인프라 비용 차이가 됩니다.

셋째, 기업 도입 시 견적의 함정입니다. 해외 벤더의 영어 기준 사례를 그대로 환산해 예산을 잡으면 실제 청구서와 어긋납니다. PoC 단계에서 자사 실제 문서로 토큰을 측정하는 절차가 필요합니다.

전망 & 주목할 변수

긍정 변수: 토크나이저 세대가 올라갈수록 비영어권 부담은 줄어드는 추세입니다. 신세대 토크나이저가 CJK 페널티를 상당폭 낮췄다는 측정이 나와 있습니다.
리스크 변수: 반대 방향도 존재합니다. 성능을 위해 토큰을 더 쓰는 설계가 채택되면 체감 비용은 오릅니다. 앞서 본 Claude 4.7 이후 사례가 그렇습니다.
체크포인트: ① 모델 교체 시 단가뿐 아니라 토큰 소모량 변화 확인 ② 장기 컨텍스트 구간 가산 요금 적용 여부 ③ 캐싱·배치 적용 가능한 워크로드 비중.

결론

AI 요금의 단위는 글자가 아니라 토큰입니다. 그리고 토큰은 언어별로 공평하지 않습니다.
출력이 입력보다 5~6배 비쌉니다. 프롬프트를 줄이는 것보다 답변 길이와 형식을 통제하는 쪽이 효과가 큽니다.
단가와 소모량은 다른 문제입니다. 가격표가 그대로여도 토크나이저가 바뀌면 청구서는 달라집니다.

"한국어는 3~5배 비싸다"는 말은 방향은 맞지만 숫자는 낡았습니다. 정확한 답은 각자의 문서를 직접 재보는 것뿐입니다.

[참고 출처]

Anthropic, Pricing (공식 문서, 2026.8 확인): https://platform.claude.com/docs/en/about-claude/pricing
OpenAI, GPT-5.6 발표: https://openai.com/index/gpt-5-6/
Google Cloud, Generative AI 요금: https://cloud.google.com/gemini-enterprise-agent-platform/generative-ai/pricing
한국어 토큰 비율 실측(285편 코퍼스): https://jangwook.net/en/blog/en/multilingual-llm-token-tax-experiment/
CJK 토큰 효율 측정: https://masonailab.com/en/insights/token-efficiency/
CJK 텍스트 처리 가이드(2.36배 인용): https://tonybaloney.github.io/posts/cjk-chinese-japanese-korean-llm-ai-best-practices.html
Microsoft 토큰 효율화 발언 보도(ZDNet Korea, 2024.4): https://zdnet.co.kr/view/?no=20240430131643
Motif 2.6B 기술보고서(한국어 토크나이저 12.6% 개선): https://arxiv.org/pdf/2508.09148
한국어 토큰 부담 관련 국내 보도: https://kitpa.org/news/1601