Tech AI News - 테카이

KV 캐시 — 토큰을 하나씩 생성하는데 왜 매번 느려지지 않는가

· 6분 읽기

Read this post in English →

"토큰을 하나씩 생성하니 뒤로 갈수록 느려질 것"이라고 짐작하기 쉽습니다. 실제로는 어텐션이 과거 토큰의 키(key)·값(value) 행렬을 한 번 계산해 캐시에 저장해 두고 재사용하기 때문에, 토큰 하나를 만드는 데 드는 계산량은 거의 일정하게 유지됩니다. 문제는 이 캐시가 공짜가 아니라는 점입니다. 컨텍스트가 길어지고 동시 사용자가 늘수록, GPU 메모리를 더 많이 잡아먹는 쪽은 모델 가중치가 아니라 바로 이 캐시입니다.


배경 / 왜 지금 이 용어인가

컨텍스트 윈도우를 수십만~100만 토큰 단위로 늘리는 모델이 늘면서, GPU 메모리를 둘러싼 논의의 중심이 "모델이 몇 GB인가"에서 "추론 중에 얼마나 더 쌓이는가"로 옮겨가고 있습니다. Hugging Face Transformers 공식 문서는 이 변화의 배경을 간단한 비유로 설명합니다. 대화할 때마다 상대가 이전에 한 말을 전부 까먹고 처음부터 다시 들어야 한다면 비효율적이듯, 자기회귀(autoregressive, 한 번에 한 토큰씩 이전 결과를 입력으로 다시 쓰는) 방식의 모델도 매 단계 전체 문맥을 다시 계산하면 느려집니다.

이 비효율을 없애는 장치가 KV 캐시(key-value cache)입니다. 어텐션 레이어가 이미 처리한 토큰들의 키·값 쌍을 저장해 두었다가, 다음 토큰을 만들 때 다시 꺼내 쓰는 구조입니다. NVIDIA 개발자 블로그(2025년 12월)는 긴 컨텍스트·대량 동시 요청을 처리하는 서버일수록 이 캐시의 크기 자체가 GPU 메모리 설계의 핵심 변수가 된다고 설명합니다.


핵심 데이터 & 현황

지표수치출처·시점
LLaMA2-7B 모델 가중치 메모리(fp16)약 14GB"Efficient LLM Inference with Kcache" 논문, 2024년 4월
같은 모델, 배치 8·시퀀스 길이 32K(32,768토큰)일 때 KV 캐시 메모리약 128GB위 논문, 2024년 4월
Qwen3-8B(레이어 36개·KV 헤드 8개·헤드 차원 128·bf16) 기준 토큰 1개당 KV 캐시약 144KiBSebastian Raschka FAQ
위 조건에서 32,768토큰 시퀀스 1개의 캐시약 4.5GiB위 FAQ
같은 조건에서 동시 요청 8개의 캐시 총량약 36GiB위 FAQ
사전 할당 방식의 GPU 메모리 낭비(최대 시퀀스 길이 기준 예약)약 60%~80%PagedAttention 논문(SOSP 2023, arXiv 2309.06180)
PagedAttention 적용 후 메모리 낭비4% 미만위 논문
NVFP4 양자화의 KV 캐시 절감(FP8 대비)최대 약 50%NVIDIA 개발자 블로그, 2025년 12월

해석: 모델 가중치는 서버가 한 번만 메모리에 올려 모든 요청이 나눠 쓰는 값이라 고정적입니다. 반면 KV 캐시는 "진행 중인 요청마다" 따로 쌓이는 값이라, 컨텍스트가 길어지거나 동시 요청이 늘어나는 만큼 그대로 불어납니다. LLaMA2-7B 예시에서 가중치(14GB)보다 캐시(128GB)가 9배 넘게 큰 것도, 배치와 시퀀스 길이가 늘어난 결과입니다.

심층 분석

1) KV 캐시는 정확히 무엇인가

어텐션은 각 토큰의 쿼리(query, Q)를 지금까지 나온 모든 토큰의 키(key, K)와 대조해 가중치를 구하고, 그 가중치로 값(value, V)을 더해 다음 토큰의 표현을 만듭니다. 인과적 마스킹(causal masking, 뒤에 올 토큰을 미리 보지 못하게 막는 제약) 아래에서는 어떤 토큰의 K·V도 그보다 나중에 나온 토큰 때문에 바뀌지 않습니다. Hugging Face 공식 문서가 짚는 핵심이 이 지점입니다 — 한 번 계산된 과거 토큰의 K·V는 영원히 그 값 그대로이므로, 다시 계산할 이유가 없다는 것입니다.

그래서 새 토큰을 만들 때는 그 토큰의 K·V만 새로 계산해 캐시에 이어 붙이고, 어텐션은 "캐시에 쌓인 과거 K·V + 지금 막 계산한 K·V"를 함께 사용합니다. 이 구조 덕분에 토큰당 어텐션 비용은 문맥이 길어져도 선형으로만 늘어납니다. 캐시가 없다면 매 단계 전체 시퀀스를 다시 계산해야 해서 비용이 제곱으로 늘어납니다.

2) 흔한 오해 — 왜 그렇게 읽게 되나

가장 흔한 오해는 "캐시 덕분에 느려지지 않으니 메모리도 아낀다"는 생각입니다. 실제로는 정반대에 가깝습니다. KV 캐시는 계산을 저장으로 바꾸는 기술이라, 시퀀스가 길어질수록 저장해 둔 K·V 양도 함께 늘어납니다. 속도는 지키지만 메모리는 계속 더 씁니다.

두 번째 오해는 "쿼리(Q)도 캐시해야 하지 않나"입니다. Hugging Face 포럼의 설명을 빌리면, 쿼리는 "그 시점의 토큰이 나머지를 관찰하기 위해" 한 번 쓰고 버려지는 값입니다. 다음 토큰을 만들 때 필요한 건 그 새 토큰의 쿼리 하나뿐이고, 이전 토큰들의 쿼리는 이미 그 시점의 어텐션 계산에 다 쓰여 더 쓸 데가 없습니다. 반면 키·값은 이후 나오는 모든 토큰의 쿼리가 계속 대조해야 하는 대상이라 계속 들고 있어야 합니다. 요청되는 모양(shape)도 다릅니다 — 매 단계 필요한 건 과거 토큰 전체의 키·값이지만, 쿼리는 가장 최근 토큰 것 하나면 충분합니다.

3) 실제로 판단하는 기준

"KV 캐시가 가중치보다 더 큰 제약이 된다"는 말을 가늠하려면 둘의 증가 방식이 다르다는 점을 봐야 합니다. 가중치는 모델 하나당 정해진 크기로 한 번 로드되면 끝입니다. KV 캐시는 레이어 수 × KV 헤드 수 × 헤드 차원 × 정밀도(바이트)를 곱한 "토큰 1개당 비용"에, 시퀀스 길이와 동시에 처리하는 요청 수를 곱해서 커집니다. Raschka의 설명대로 Qwen3-8B 조건에서 토큰 1개가 약 144KiB라 해도, 3만 토큰짜리 대화 8개가 동시에 들어오면 캐시만 36GiB에 달합니다.

이 곱셈 구조 때문에 어느 지점부터는 캐시가 가중치를 앞지릅니다. LLaMA2-7B 사례(가중치 14GB, 배치 8·32K 토큰에서 캐시 128GB)가 그 경계를 보여주는 예시입니다. 분석: 이 역전이 일어나는 정확한 시점은 모델 구조(레이어·헤드 수)와 서비스 조건(배치·컨텍스트 길이)에 따라 달라지므로, "몇 토큰부터"라는 일반 공식은 없고 매번 다시 계산해야 하는 값입니다.

4) 메모리 압박을 줄이는 접근들이 겨냥하는 지점

이 곱셈식의 각 항을 줄이는 방향으로 여러 기법이 나와 있습니다. GQA(grouped-query attention, 쿼리 헤드는 그대로 두고 키·값 헤드 수만 줄여 공유하는 방식)는 공식의 "KV 헤드 수" 항을 줄입니다. NVFP4 같은 저정밀도 양자화는 "정밀도(바이트)" 항을 줄이는 방향으로, NVIDIA는 FP8 대비 캐시를 최대 약 50% 줄여 같은 메모리로 컨텍스트를 약 2배 더 담을 수 있다고 설명합니다.

PagedAttention은 다른 축을 건드립니다. 곱해지는 값 자체를 줄이는 게 아니라, 시퀀스가 최종적으로 얼마나 길어질지 모른다는 이유로 최대 길이만큼 미리 예약해 두던 낭비(60%~80%)를 없애, 필요한 만큼만 고정 크기 블록으로 나눠 할당합니다. 그 결과 낭비가 4% 미만으로 줄고, 같은 접두어(prefix)를 공유하는 요청끼리는 블록을 함께 쓸 수도 있습니다. 세 기법 모두 "KV 캐시가 비싸다"는 같은 문제를, 헤드 수·바이트당 비용·할당 효율이라는 서로 다른 지점에서 공략하는 셈입니다.

실전 — KV 캐시를 제대로 읽는 5가지 원칙

  1. "매번 다시 계산하지 않는다"는 말은 키·값에만 해당합니다. 쿼리는 매 단계 가장 최근 토큰 것 하나만 쓰고 버려지므로 캐시할 이유가 없습니다.
  2. KV 캐시는 메모리를 아끼는 기술이 아니라 계산을 메모리로 바꾸는 기술입니다. 토큰당 연산은 가벼워지는 대신, 컨텍스트가 길어질수록 저장해 둬야 할 양이 그만큼 쌓입니다.
  3. 가중치는 모델 하나당 한 번 로드되어 모든 요청이 나눠 쓰지만, KV 캐시는 진행 중인 요청마다 따로 생깁니다. 그래서 동시 사용자가 늘거나 컨텍스트가 길어지면 가중치보다 캐시가 GPU 메모리를 더 빨리 잡아먹습니다.
  4. 토큰당 캐시 크기는 레이어 수·KV 헤드 수·헤드 차원·정밀도로 정해집니다. GQA나 양자화처럼 캐시를 줄이는 기법들은 결국 이 중 한 항을 건드리는 것입니다.
  5. "컨텍스트 몇 토큰까지 지원한다"는 발표를 볼 때는 "그 길이를 몇 명이 동시에 쓸 수 있는가"를 함께 따져야 합니다. 캐시 메모리가 허용하는 동시 요청 수가 실제 체감 성능을 좌우합니다.

참고 링크

  • #작동 원리
  • #KV 캐시
  • #어텐션
  • #LLM 추론
  • #GPU 메모리
  • #PagedAttention
작동 원리

어텐션 — AI가 문장에서 '중요한 것'을 고르는 법

AI가 긴 문장을 전부 다 기억해서가 아니라 지금 필요한 몇 단어에만 집중해서 이해하는 원리가 어텐션입니다. 컨텍스트가 길어질수록 비용이 커지는 이유와, GQA·MLA 같은 최적화 기법이 실무 응답 속도와 요금에 미치는 영향을 정리했습니다.

· 5분

작동 원리

추론 모델 — 생각하는 AI가 더 비싼 이유

추론 모델은 답하기 전에 생각 토큰을 먼저 생성하는데, 이 토큰이 눈에 보이지 않으면서도 출력 요금으로 그대로 청구됩니다. OpenAI·Anthropic 공식 문서와 DeepSeek R1 비교로 가격 차이의 진짜 이유와 비용 조절법을 정리했습니다.

· 5분