Tech AI News - 테카이

컨텍스트 엔지니어링 — 프롬프트 엔지니어링과 뭐가 다른가

· 7분 읽기

Read this post in English →

컨텍스트 엔지니어링을 "프롬프트를 더 잘 쓰는 법"의 거창한 이름이라고 생각하면, 에이전트가 길게 돌다가 갑자기 엉뚱한 답을 내는 이유를 끝까지 못 찾는다. 문제는 지시문 문장이 아니라, 그 순간 모델이 보고 있는 토큰 전체인 경우가 많다.


배경 / 왜 지금 이 용어인가

2025년 6월, 개발자 Simon Willison 이 자신의 블로그에 "컨텍스트 엔지니어링(context engineering)이 프롬프트 엔지니어링보다 더 나은 용어로 떠오르고 있다"고 쓰면서 이 표현이 널리 퍼지기 시작했다. 그는 이 용어가 "모델이 작업을 그럴듯하게 풀어낼 수 있도록 필요한 모든 맥락을 제공하는 일"이라는 작업의 본질을 더 정확히 가리킨다고 설명했다. Andrej Karpathy 가 이 글에 동의를 표하고 Shopify CEO Tobi Lütke 가 같은 용어를 쓰면서 논의가 커졌다.

이 흐름은 같은 해 9월 Anthropic 의 공식 엔지니어링 블로그 글 "Effective context engineering for AI agents" 로 한 번 더 정리됐다. Anthropic 은 컨텍스트 엔지니어링을, LLM 추론 과정에서 모델에게 줄 "최적의 토큰 집합을 큐레이션하고 유지하는 일"로 정의하며, 단순히 프롬프트 문구를 다듬는 것과는 범위가 다르다고 명시했다.

이 시점에 용어가 부상한 이유는 작업 방식의 변화다. 한 번의 질문-답변으로 끝나는 작업에서는 지시문 문구(프롬프트)가 결과를 좌우했지만, 여러 단계에 걸쳐 도구를 호출하고 검색하고 이전 작업 결과를 참조하는 에이전트형 작업에서는 매 단계마다 모델 앞에 무엇을 "채워 넣는가"가 더 중요해졌다. 이 변화를 놓치면, 긴 작업 루프에서 에이전트가 실수를 반복할 때 원인을 계속 프롬프트 문구에서만 찾게 된다.

핵심 데이터 & 현황

비교축프롬프트 엔지니어링컨텍스트 엔지니어링
다루는 범위한 번의 지시문 문구시스템 프롬프트·도구 정의·검색 결과·대화 기록·메모리 전체
핵심 질문어떻게 지시해야 모델이 잘 알아듣나이 단계에서 모델이 봐야 할 최소한의 고신호(high-signal) 정보는 무엇인가
대표 기법역할 지정, 예시 제시(few-shot), 지시문 구조화적시(Just-in-Time) 검색, 압축(compaction), 구조화된 메모, 서브에이전트 분리
관계컨텍스트 엔지니어링의 한 구성 요소프롬프트 엔지니어링을 포함하는 상위 개념

(Simon Willison, 2025.06; Anthropic, "Effective context engineering for AI agents", 2025.09 기준 정리)

  • Context Rot(컨텍스트 부패): 콘텐츠 검색 스타트업 Chroma 가 2025년 7월 발표한 연구("Context Rot: How Increasing Input Tokens Impacts LLM Performance")는 GPT-4.1, Claude 4, Gemini 2.5, Qwen 3 등 18개 최신 모델을 대상으로, 입력 토큰이 늘어날수록 성능이 점진적으로 불안정해지는 현상을 측정했다. 목표 정보와 질문 사이의 의미적 유사도가 낮을수록, 방해 요소(distractor)가 많을수록 성능 저하가 더 빨리 나타났다.
  • 설문 지표(참고용): 데이터 플랫폼 업체 DataHub 가 2026년 발표한 "State of Context Management Report"는 IT·데이터 리더의 82%가 "프롬프트 엔지니어링만으로는 더 이상 충분하지 않다"고 답했다고 밝혔다. 다만 이는 특정 업체가 후원한 설문이라 수치 자체보다는 업계 인식의 방향성 참고용으로 보는 것이 적절하다.

해석: 두 수치가 가리키는 지점은 같다. 컨텍스트를 "더 많이" 채우는 것은 해법이 아니고, 오히려 Context Rot 연구처럼 역효과를 낼 수 있다. 관건은 어떤 정보를 언제 넣고 언제 빼느냐는 설계의 문제다.

심층 분석

1) 컨텍스트 엔지니어링은 정확히 무엇인가

Anthropic 의 정의를 풀어보면, 컨텍스트 엔지니어링은 모델의 "주의 예산(attention budget)"이 한정돼 있다는 전제에서 출발한다. 토큰을 무작정 많이 넣는다고 성능이 올라가지 않으므로, 원하는 결과를 그럴듯하게 만들어 낼 수 있는 "가장 적은 수의 고신호 토큰"을 찾아 넣는 일이 핵심이다. 여기에 포함되는 대상은 시스템 프롬프트의 톤·길이 조정, 어떤 도구를 에이전트에게 줄지 설계, 외부 문서를 검색해 가져오는 방식, 대화가 길어졌을 때 무엇을 남기고 무엇을 버릴지까지다.

Willison 은 이를 조금 다르게 쪼갰다. 그는 프롬프트 엔지니어링을 "컨텍스트 엔지니어링(과제에 필요한 맥락을 고르고 준비하는 일)"과 "프롬프트 프로그래밍(명확한 지시문을 쓰는 일)"으로 나눌 수 있다고 제안했다. 표현은 다르지만 결론은 같다: 지시문을 잘 쓰는 일은 더 큰 작업(무엇을 모델 앞에 놓을지 결정하는 일)의 한 조각일 뿐이다.

이미 블로그에서 다룬 개념들도 결국 이 상위 개념의 부품이다. 검색으로 외부 지식을 가져와 컨텍스트에 끼워 넣는 RAG(Retrieval-Augmented Generation), 모델이 외부 도구·데이터에 접근하는 방식을 표준화한 MCP(Model Context Protocol), 대화를 넘어 정보를 유지하는 메모리 설계 — 이들 각각은 "무엇을 컨텍스트에 넣을지"를 다루는 하나의 기법이고, 컨텍스트 엔지니어링은 이 기법들을 작업 전체 관점에서 조율하는 더 큰 틀이다.

2) 흔한 오해 — 왜 그렇게 읽게 되나

가장 흔한 오해는 "프롬프트 한 줄을 바꾼 것"을 컨텍스트 엔지니어링이라고 부르는 과장이다. 시스템 프롬프트에 문장 하나를 추가했다고 해서 그것이 컨텍스트 엔지니어링이 되는 것은 아니다. 두 용어가 겹쳐 보이는 이유는 실무에서 시스템 프롬프트를 고치는 작업이 둘 다에 걸쳐 있기 때문인데, 차이는 "그 문장을 어떻게 쓰느냐"(프롬프트 엔지니어링)가 아니라 "그 문장이 들어갈 자리에 애초에 무엇이, 왜, 언제 들어가야 하느냐"를 설계했는지(컨텍스트 엔지니어링)에 있다.

또 하나의 오해는 "컨텍스트 창이 커지면 이 문제가 사라진다"는 기대다. Chroma 의 Context Rot 연구가 보여주듯, 모델은 컨텍스트가 다 차기 전에도 품질이 떨어지기 시작한다. 창을 키우는 것은 컨텍스트 엔지니어링을 대체하지 못하고, 오히려 관리해야 할 토큰이 늘어난다는 의미에 가깝다.

3) 실제로 판단하는 기준

"이 변경이 컨텍스트 엔지니어링인가, 그냥 프롬프트 수정인가"를 가르는 질문은 하나로 좁혀진다 — 모델 앞에 무엇이 놓이는지 자체가 바뀌었는가, 아니면 이미 놓인 것의 표현만 바뀌었는가. 예를 들어 도구 설명 문구를 더 친절하게 다듬는 것은 프롬프트 엔지니어링이지만, 애초에 에이전트에게 줄 도구 목록 자체를 줄이거나 나누는 것, 문서 전체를 미리 넣는 대신 파일 경로만 쥐여주고 필요할 때 불러오게 하는 것(적시 검색, just-in-time retrieval)은 컨텍스트 엔지니어링이다.

개발자 Tian Pan 은 긴 작업을 수행하는 에이전트의 컨텍스트 관리 전략을 네 가지로 정리했다: 외부 저장소에 쓰기(write), 필요할 때 선택적으로 불러오기(select), 창에 있는 내용을 압축하기(compress), 별도 에이전트 프로세스로 작업을 분리하기(isolate). 이 네 가지 중 어느 하나라도 적용했다면 컨텍스트 엔지니어링을 한 것이고, 단순히 지시문 문장을 고친 것은 그 범주 밖이다.

4) 언제 쓸모 있고 언제 무의미한가

한 번의 질문에 한 번의 답을 내는 단순 작업, 예를 들어 짧은 문서 요약이나 번역 같은 일회성 과제에서는 프롬프트 엔지니어링만으로 충분한 경우가 많다. Willison 도 모든 작업에 컨텍스트 엔지니어링이 필요한 것은 아니라고 선을 그었다.

반대로 코딩 에이전트처럼 여러 단계에 걸쳐 파일을 읽고, 도구를 호출하고, 이전 단계의 결과를 참조해 다음 행동을 정하는 장기 작업 루프에서는 컨텍스트 엔지니어링이 필수적이다. 이런 작업에서 실패가 누적되는 속도는 느리지 않다 — 작업 시간이 늘어날수록 실패율이 완만하게 오르는 것이 아니라 가파르게 꺾이는 구간이 있다는 보고도 있다. 지시문을 아무리 정교하게 다듬어도, 그 단계에 쌓인 불필요한 컨텍스트 자체를 정리하지 않으면 해결되지 않는 문제라는 뜻이다.

실전 — 컨텍스트 엔지니어링을 제대로 읽는 5가지 원칙

  1. "더 많이"가 아니라 "필요한 만큼"으로 접근한다. 모델의 주의 예산은 한정돼 있다는 전제에서, 넣을 정보를 늘리기 전에 뺄 정보부터 찾는다.
  2. 도구와 시스템 프롬프트는 최소 구성으로 둔다. 도구 목록이 길고 설명이 중복될수록 모델이 어떤 도구를 쓸지 헷갈려 한다. 적은 수의 명확한 도구와, 긴 예외 목록 대신 다양한 예시 몇 개가 더 효과적이다.
  3. 필요할 때 불러오는 구조를 우선한다. 문서나 코드 전체를 미리 채워 넣기보다 파일 경로·참조만 쥐여주고 실제로 필요한 단계에서 불러오게 설계하면, 불필요한 토큰이 쌓이지 않는다.
  4. 대화·작업이 길어지면 압축한다. 지금까지의 진행 상황을 고신호 요약으로 바꿔 다시 채우는 압축(compaction) 단계를 작업 흐름에 넣으면, 창이 다 차기 전에 성능이 떨어지는 문제를 늦출 수 있다.
  5. 작업이 복잡해지면 쪼갠다. 하나의 긴 작업을 한 컨텍스트에 다 담으려 하지 말고, 독립된 하위 작업은 별도 에이전트나 세션으로 분리해 각자 필요한 컨텍스트만 가지게 한다.

참고 링크

  • #AI 용어
  • #컨텍스트 엔지니어링
  • #Context Engineering
  • #프롬프트 엔지니어링
  • #AI 에이전트
  • #LLM
작동 원리

추론 모델 — 생각하는 AI가 더 비싼 이유

추론 모델은 답하기 전에 생각 토큰을 먼저 생성하는데, 이 토큰이 눈에 보이지 않으면서도 출력 요금으로 그대로 청구됩니다. OpenAI·Anthropic 공식 문서와 DeepSeek R1 비교로 가격 차이의 진짜 이유와 비용 조절법을 정리했습니다.

· 5분

작동 원리

RAG — 파인튜닝 안 하고도 최신 정보를 아는 법

RAG(검색증강생성)는 모델 자체를 다시 학습시키는 대신 질문이 들어올 때마다 관련 문서를 찾아 프롬프트에 끼워 넣는 절차로, 지식이 자주 바뀌거나 출처 인용이 필요한 업무에서 파인튜닝보다 유리하지만 환각을 완전히 없애주지는 않는다는 점은 여전히 오해하기 쉽습니다.

· 4분

작동 원리

파인튜닝 — AI에게 회사를 가르친다는 오해

파인튜닝을 'AI에게 회사 지식을 통째로 가르치는 것'으로 오해하면 비용만 쓰고 최신 정보 반영은 못하는 모델을 얻습니다. LoRA 원리와 RAG·프롬프트 엔지니어링 중 무엇을 먼저 시도해야 하는지 판단 기준을 정리했습니다.

· 5분