하이브리드 서치 — 벡터DB만으로는 왜 부족한가
임베딩 기반 의미 검색은 뜻은 비슷해도 에러 코드나 제품명처럼 정확한 문자열을 놓칠 때가 많습니다. 하이브리드 서치는 BM25 키워드 검색과 벡터 검색을 함께 돌려 이 빈틈을 메우고, RRF 등으로 두 결과를 합치는 구조입니다.
임베딩 기반 의미 검색은 뜻은 비슷해도 에러 코드나 제품명처럼 정확한 문자열을 놓칠 때가 많습니다. 하이브리드 서치는 BM25 키워드 검색과 벡터 검색을 함께 돌려 이 빈틈을 메우고, RRF 등으로 두 결과를 합치는 구조입니다.
LLM이 토큰을 하나씩 만들어도 느려지지 않는 건 어텐션이 과거 토큰의 키·값을 캐시해 재사용하기 때문입니다. 이 캐시는 컨텍스트가 길어지고 동시 요청이 늘수록 모델 가중치보다 더 빨리 GPU 메모리를 잡아먹어, 쿼리는 왜 캐시하지 않는지와 메모리 한계가 어디서 오는지를 짚어봅니다.
MoE(전문가 혼합)는 전체 파라미터와 토큰당 실제로 쓰는 활성 파라미터를 분리하는 구조입니다. 모델이 커져도 계산량이 그만큼 늘지 않는 이유와, 메모리 비용은 여전히 전체 크기를 따른다는 점을 Mixtral·DeepSeek-V3 사례로 정리합니다.
LoRA는 모델 전체를 다시 학습하는 게 아니라 원본 가중치를 얼려둔 채 층마다 작은 저랭크 행렬 두 개만 학습하는 기법으로, 학습 파라미터는 수천 배 줄어도 GPU 메모리 절감은 그보다 훨씬 작은 이유를 함께 짚어봅니다.
추론 모델은 답하기 전에 생각 토큰을 먼저 생성하는데, 이 토큰이 눈에 보이지 않으면서도 출력 요금으로 그대로 청구됩니다. OpenAI·Anthropic 공식 문서와 DeepSeek R1 비교로 가격 차이의 진짜 이유와 비용 조절법을 정리했습니다.

벡터DB는 텍스트·이미지를 숫자 좌표(임베딩)로 바꿔 의미가 비슷한 것을 빠르게 찾아주는 전용 검색 창고입니다. RAG의 핵심 구성 요소지만, 데이터 규모와 지연시간, 검색 목적을 먼저 따져야 도입이 의미가 있습니다.

임베딩은 문장을 숫자 좌표로 바꿔 의미가 비슷한 것끼리 가깝게 묶는 기술로, RAG 검색의 핵심 부품이지만 LLM처럼 문장을 이해해서 답을 만드는 건 아니라는 점을 구분해야 검색 결과가 이상할 때 원인을 제대로 짚을 수 있습니다.

RAG(검색증강생성)는 모델 자체를 다시 학습시키는 대신 질문이 들어올 때마다 관련 문서를 찾아 프롬프트에 끼워 넣는 절차로, 지식이 자주 바뀌거나 출처 인용이 필요한 업무에서 파인튜닝보다 유리하지만 환각을 완전히 없애주지는 않는다는 점은 여전히 오해하기 쉽습니다.

파인튜닝을 'AI에게 회사 지식을 통째로 가르치는 것'으로 오해하면 비용만 쓰고 최신 정보 반영은 못하는 모델을 얻습니다. LoRA 원리와 RAG·프롬프트 엔지니어링 중 무엇을 먼저 시도해야 하는지 판단 기준을 정리했습니다.

AI와 대화할수록 똑똑해진다고 느끼지만, 실제로 대화 중 새로 배우는 것은 아니다. 학습(training)과 추론(inference)이 어떻게 다르고, 테스트-타임 컴퓨트가 왜 2026년 AI 업계의 새 화두가 됐는지 데이터로 정리했다.

GPT, 제미나이, 클로드까지 2026년 주요 AI 모델은 모두 2017년 구글이 발표한 트랜스포머 구조 위에서 작동합니다. 셀프 어텐션의 원리와 디코더 전용·MoE·맘바 하이브리드로 이어지는 변형 과정을 정리했습니다.

AI가 긴 문장을 전부 다 기억해서가 아니라 지금 필요한 몇 단어에만 집중해서 이해하는 원리가 어텐션입니다. 컨텍스트가 길어질수록 비용이 커지는 이유와, GQA·MLA 같은 최적화 기법이 실무 응답 속도와 요금에 미치는 영향을 정리했습니다.
