tyrano.dev

2. 컨텍스트 윈도우 — AI가 아까 한 말을 까먹는 이유

· 7분 읽기

목차
  1. 배경 — 기억이 아니라 재열람
  2. 그릇 안에 들어가는 것들
  3. 핵심 데이터 — 2026년 8월 기준 컨텍스트 윈도우
  4. 심층 분석
  5. 까먹는 데는 세 가지 다른 이유가 있다
  6. 스펙상 창과 실효 창은 다르다
  7. 한국어 사용자의 창은 더 좁다
  8. 캐싱해도 자리는 그대로 차지한다
  9. 시사점
  10. 전망 & 주목할 변수
  11. 결론

컨텍스트 윈도우 — AI가 아까 한 말을 까먹는 이유

"방금 전에 말씀드렸잖아요." AI에게 이 말을 해본 적 있다면, 컨텍스트 윈도우를 만난 것입니다. AI는 기억력이 나쁜 게 아니라, 애초에 기억이라는 걸 하지 않습니다. 왜 이런 일이 벌어지는지 정리했습니다.

배경 — 기억이 아니라 재열람

먼저 가장 큰 오해부터 풀겠습니다. AI는 대화를 기억하지 않습니다.

우리가 세 번째 질문을 던지면, 시스템은 첫 번째 질문, 첫 번째 답변, 두 번째 질문, 두 번째 답변, 그리고 세 번째 질문을 전부 다시 모델에게 보냅니다. 모델은 매번 처음 보는 사람처럼 전체 대화록을 읽고 답을 씁니다.

그러니까 AI가 "기억한다"고 느껴지는 것은, 매 턴마다 대화록 전체를 다시 읽고 있기 때문입니다. 그리고 이 대화록을 담는 그릇의 크기가 컨텍스트 윈도우(context window) 입니다.

Anthropic 공식 문서는 이를 학습 데이터와 명확히 구분해 '작업 기억(working memory)' 이라고 표현합니다. 모델이 훈련 때 배운 지식과, 지금 이 대화에서 참조 가능한 내용은 완전히 다른 층위라는 뜻입니다.

그릇 안에 들어가는 것들

여기서 중요한 것은 그릇에 들어가는 게 대화만이 아니라는 점입니다. Anthropic 문서 기준으로 컨텍스트 윈도우를 차지하는 것은 다음과 같습니다.

  • 시스템 프롬프트(서비스가 미리 심어둔 지시문)
  • 지금까지의 모든 대화 내용
  • 첨부한 이미지, PDF, 문서
  • 도구 정의(AI가 쓸 수 있는 기능 목록 자체)
  • 도구 실행 결과(웹 검색으로 가져온 본문 등)
  • AI의 사고 과정(thinking) — 모델에 따라 이전 턴의 사고 블록이 그대로 남아 계속 자리를 차지합니다
  • 그리고 지금 생성 중인 답변까지

PDF 하나 올렸을 뿐인데 대화가 급격히 무거워지는 이유가 여기 있습니다. 1편에서 봤듯 논문 PDF 한 편은 대략 12만 토큰입니다.

핵심 데이터 — 2026년 8월 기준 컨텍스트 윈도우

모델 컨텍스트 윈도우 최대 출력 장문 구간 가산요금
Claude Opus 5 / Sonnet 5 100만 토큰 12.8만 토큰 없음(전 구간 표준가)
Claude Haiku 4.5 20만 토큰 — —
GPT-5.6 (Sol/Terra/Luna) 105만 토큰 12.8만 토큰 27.2만 초과 시 입력 2배·출력 1.5배
Gemini 3.1 Pro 200만 토큰 — 20만 초과 시 입력 2배·출력 1.5배

(출처: Anthropic 공식 Context windows 문서 2026.8 확인 / OpenAI GPT-5.6 사양 / Google Gemini 요금 문서)

? 해석: 표에서 놓치기 쉬운 것이 맨 오른쪽 열입니다. 창이 크다고 값이 같지는 않습니다. OpenAI와 Google은 일정 구간을 넘으면 단가 자체가 뛰지만, Anthropic은 100만 토큰 전 구간을 표준가로 청구합니다. 긴 문서를 통째로 다루는 작업이라면 이 차이가 청구서를 가릅니다.

참고로 채팅 서비스 쪽은 별도 정책입니다. Anthropic 고객센터 기준, 유료 플랜에서 Opus 5와 Sonnet 5는 100만 토큰, Opus 4.8/4.7/4.6과 Sonnet 4.6은 50만 토큰 창을 씁니다. API 사양과 앱 사양이 다를 수 있다는 점을 기억해 두면 좋습니다.

심층 분석

까먹는 데는 세 가지 다른 이유가 있다

"AI가 까먹었다"는 하나의 현상처럼 보이지만, 원인은 셋으로 나뉩니다. 대응책도 각각 다릅니다.

① 넘침 — 오래된 대화가 밀려난다

가장 단순한 경우입니다. 그릇이 꽉 차면 뭔가는 빠져야 합니다. API에서는 입력이 창을 초과하면 아예 오류를 반환하지만, Anthropic 문서에 따르면 claude.ai 같은 채팅 인터페이스는 선입선출(FIFO) 방식으로 창을 관리할 수 있습니다. 오래된 대화부터 조용히 밀려나는 것입니다.

긴 대화 끝에 초반 지시사항을 AI가 잊어버렸다면, 이건 성능 문제가 아니라 그 내용이 물리적으로 창 밖으로 나간 것일 가능성이 큽니다.

② 컨텍스트 로트 — 넘치기 전부터 흐려진다

더 까다로운 쪽입니다. Anthropic은 공식 문서에서 "컨텍스트가 많다고 자동으로 더 좋은 것은 아니며, 토큰 수가 늘수록 정확도와 재현율이 저하된다" 고 명시하고, 이를 컨텍스트 로트(context rot) 라고 부릅니다. 벤더가 자사 스펙의 한계를 문서에 직접 적어둔, 흔치 않은 사례입니다.

즉 100만 토큰짜리 창이 있다고 해서 100만 토큰을 채워 쓰는 게 최선이 아닙니다.

③ 중간 실종 — 위치에 따라 다르게 읽는다

Liu 외 연구진의 논문 「Lost in the Middle」(TACL, 2024)은 모델이 긴 입력을 균등하게 읽지 않는다는 것을 보였습니다. 성능이 U자 곡선을 그린다는 것이죠. 맨 앞과 맨 뒤는 잘 읽고, 한가운데는 흐려집니다. 관련 정보가 중간에 위치했을 때 정확도가 30% 이상 떨어지는 결과가 여러 모델 계열에서 반복 확인됐습니다.

실무적으로는 단순합니다. 중요한 지시는 프롬프트 맨 앞이나 맨 뒤에 두십시오. 가운데 묻으면 안 읽힐 확률이 올라갑니다.

스펙상 창과 실효 창은 다르다

여기서 조심할 지점이 있습니다. 광고되는 컨텍스트 길이와 모델이 실제로 신뢰성 있게 활용하는 길이는 별개입니다.

NVIDIA의 RULER 벤치마크는 32K 이상을 표방하는 모델들의 실효 컨텍스트 길이가 공시값에 못 미치는 경우가 많다는 것을 보였습니다. Chroma가 2025년 7월 발표한 「Context Rot」 보고서는 18개 주요 모델을 대상으로, 단순한 과제에서도 입력이 길어지면 성능이 저하되며 그 정도가 모델마다 고르지 않다고 보고했습니다.

⚠️ 다만 "실효 컨텍스트는 20만~40만 토큰 구간"처럼 구체적 숫자를 제시하는 2차 자료들이 있는데, 이는 특정 벤치마크·특정 시점의 측정치이며 공식 발표가 아닙니다. 방향(길수록 나빠진다)은 신뢰할 만하지만, 배수나 임계점은 그대로 인용하지 않는 편이 안전합니다.

한국어 사용자의 창은 더 좁다

1편의 결론이 여기서 이어집니다. 한국어는 같은 내용을 담는 데 영어보다 토큰을 더 씁니다.

Anthropic 문서 기준 영어는 1토큰이 약 4글자입니다. 한국어는 그보다 잘게 쪼개지므로, 같은 분량의 문서를 넣으면 토큰이 더 빨리 찹니다. 신세대 토크나이저 기준 한국어/영어 비율을 1.4배로 잡으면, 100만 토큰 창은 한국어 사용자에게 실질적으로 70만 토큰 남짓의 창이 되는 셈입니다.

⚠️ 이 70만이라는 수치는 1.4배 가정에서 나온 단순 환산치이며, 실제 비율은 텍스트 성격에 따라 달라집니다. 정확한 값이 필요하면 해당 문서를 직접 토큰 계산 API에 넣어보는 것이 확실합니다.

캐싱해도 자리는 그대로 차지한다

1편에서 프롬프트 캐싱으로 반복 입력 비용을 90% 줄일 수 있다고 했습니다. 여기서 오해하기 쉬운 부분이 있습니다.

Anthropic 문서는 이를 못 박아 둡니다. 캐싱된 프리픽스도 컨텍스트 윈도우 자리는 그대로 차지합니다. 캐싱은 그 토큰에 대해 얼마를 낼지를 바꾸는 것이지, 자리를 차지하는지 여부를 바꾸지 않습니다.

요금과 용량은 별개의 문제라는 것. 이것이 컨텍스트 윈도우를 이해하는 핵심입니다.

시사점

첫째, 긴 문서 업무에서 체감 격차가 발생합니다. 계약서 검토, 판례 분석, 사업계획서 작성처럼 한국어 장문을 다루는 업무일수록 창이 빨리 차고, 컨텍스트 로트 구간에 더 일찍 진입합니다. 해외 사례의 "이 정도 문서는 한 번에 처리된다"는 기준을 그대로 적용하기 어렵습니다.

둘째, 프롬프트 설계보다 컨텍스트 설계가 중요해집니다. 무엇을 넣을지 고르는 일(검색·요약해서 필요한 것만 넣기)이 어떻게 물을지 다듬는 일보다 결과를 크게 좌우하는 국면입니다. 업계에서는 이를 '컨텍스트 엔지니어링'이라 부릅니다.

셋째, 실무 팁은 의외로 단순합니다.

  • 주제가 바뀌면 새 대화를 시작한다(가장 효과적)
  • 중요한 지시는 맨 앞이나 맨 뒤에 배치한다
  • 관련 없는 파일은 올리지 않는다
  • 긴 작업은 중간중간 "지금까지 정리해줘"로 요약본을 만들어 새 창에서 이어간다

전망 & 주목할 변수

  • 긍정 변수: 대화가 창을 넘어서면 서버가 앞부분을 자동 요약해 이어가는 컴팩션(compaction) 기능이 도입되고 있습니다(Anthropic은 4.6 이후 모델에 베타 제공). 일부 모델은 남은 토큰 예산을 스스로 인지하는 '컨텍스트 인식' 기능도 갖췄습니다.
  • 리스크 변수: 창이 커질수록 요금과 지연 시간이 함께 늘어납니다. 그리고 창을 키우는 것만으로 컨텍스트 로트가 해결되지는 않습니다.
  • 체크포인트: ① 장문 구간 가산요금 적용 여부 ② 이전 사고 블록이 창에 남는 모델인지 ③ 사용 중인 서비스의 컴팩션·요약 정책.

결론

  1. AI는 기억하지 않습니다. 매번 대화록 전체를 다시 읽습니다. 그 대화록의 크기 제한이 컨텍스트 윈도우입니다.
  2. 까먹는 이유는 셋입니다. 창 밖으로 밀려났거나, 길어져서 흐려졌거나, 하필 한가운데 있었거나. 원인마다 대응이 다릅니다.
  3. 창이 크다고 다 채우는 게 좋은 게 아닙니다. 벤더 공식 문서조차 "많을수록 좋지는 않다"고 적어두고 있습니다.

[참고 출처]

  • #토큰
  • #Gemini
  • #claude
  • #llm
  • #ChatGPT
  • #프롬프트 엔지니어링
  • #컨텍스트 엔지니어링
  • #컨텍스트 윈도우
  • #AI 기억
  • #컨텍스트 로트

관련 글

AI 용어

1. 토큰(Token) — AI 요금은 글자 수로 안 매겨집니다

AI 요금표에 적힌 단위는 '글자'도 '단어'도 아닌 '토큰'입니다. 이 차이 때문에 같은 내용을 한국어로 쓰면 영어보다 비싸지고, 가격표는 그대로인데 실제 청구액만 오르는 일도 벌어집니다. 2026년 8월 기준 실제 요금표와 함께 정리했습니다.

· 7분