Tech AI News - 테카이

하이브리드 서치 — 벡터DB만으로는 왜 부족한가

· 5분 읽기

Read this post in English →

벡터DB에 임베딩을 넣고 검색을 붙였는데, 에러 코드나 제품 모델명을 입력했더니 전혀 관련 없는 결과가 올라왔다는 사례를 자주 봅니다. 의미 기반 검색은 "뜻이 비슷한 것"을 찾는 데는 강하지만, 정확한 문자열 그대로를 찾아야 하는 질문에는 약합니다. 하이브리드 서치는 이 약점을 메우려고 의미 검색과 키워드 검색을 같이 쓰자는 발상입니다.


배경 / 왜 지금 이 용어인가

임베딩 기반 벡터 검색은 문장이나 단어를 숫자 좌표로 바꿔 "의미가 비슷한 것"을 찾아줍니다. 그런데 이 변환 과정에서 문제가 하나 생깁니다. 토큰 전체를 하나의 고정 크기 벡터로 압축(풀링)하다 보니, ERR_SSL_VERSION_OR_CIPHER_MISMATCH 같은 에러 코드나 RTX-4090 같은 제품 모델명처럼 "정확히 일치해야 의미 있는" 문자열의 정체성이 흐려집니다. tianpan.co는 이런 식별자·SKU·함수명·희귀 고유명사를 벡터 검색이 자주 놓치는 대표 사례로 꼽습니다.

반대로 역색인 기반 키워드 검색(BM25)은 정확한 토큰이 있으면 찾고 없으면 못 찾는 단순한 구조라, "휴가"로 검색했을 때 "연차"를 찾아주지는 못합니다. 하이브리드 서치는 두 검색을 병렬로 돌려 서로의 빈틈을 채우는 구조로, RAG(검색 증강 생성) 파이프라인의 검색 품질을 끌어올리는 방법으로 자리 잡았습니다.

핵심 데이터 & 현황

하이브리드 서치를 구현하는 방식은 플랫폼마다 조금씩 다릅니다.

구분결합 방식비고
LangChain EnsembleRetrieverBM25Retriever + 벡터 리트리버를 가중치(예: 0.5:0.5)로 합친 뒤 RRF(Reciprocal Rank Fusion)로 재정렬가중치는 데이터에 맞춰 조정 권장
Weaviate네이티브 BM25 + 벡터 검색, alpha(0~1)로 비중 조절v1.24부터 점수를 정규화해 합치는 relativeScoreFusion 이 기본값, 이전엔 순위만 쓰는 rankedFusion 이 기본값이었다 (Weaviate 공식 문서)
Pineconesparse-dense를 하나의 벡터로 보고, 쿼리 단계에서 dense 값에 alpha·sparse 값에 (1-alpha)를 곱해 직접 스케일링자연어 질의엔 alpha 0.75(벡터 비중 높음)를 기본 권장(Pinecone 공식 문서). 커뮤니티에서는 alpha가 0.5 미만이면 관련도가 떨어진다는 보고도 있어(Pinecone 커뮤니티), 직접 측정이 필요하다
ElasticsearchRRF 기본 결합 + 필드별 가중치 튜닝2025년 Wands 가구 데이터셋 사례에서 기본 RRF는 BM25 단독보다 NDCG를 약 1.3% 높였고, 완전 일치 문서에 100배·부분 일치에 10배 가중치를 주는 단계적 튜닝은 7.5%까지 높였다(tianpan.co)

리랭킹까지 더하면 개선 폭이 더 커진다는 보고도 있습니다. Anthropic의 벤치마크를 인용한 Analytics Vidhya 글에 따르면, 맥락화된 임베딩과 맥락화된 BM25를 결합한 뒤 리랭커를 거치면 상위 20개 청크 기준 검색 실패율이 5.7%에서 1.9%로, 약 67% 줄었다고 합니다. 다만 이는 Anthropic이 자체 데이터로 측정한 수치이며, 모든 도메인에 그대로 적용된다고 보기는 어렵습니다.

심층 분석

1) 하이브리드 서치는 정확히 무엇인가

하이브리드 서치는 같은 질의를 두 검색기에 동시에 넣는 구조입니다. 하나는 임베딩 벡터 사이의 코사인 유사도로 "의미가 비슷한" 문서를 찾는 dense 검색이고, 다른 하나는 역색인에서 문서 길이와 단어 빈도를 보정해 "정확한 단어가 포함된" 문서를 찾는 BM25(sparse) 검색입니다. 두 검색의 결과 목록을 받은 뒤, 점수 스케일이 서로 다르다는 문제를 풀기 위해 보통 두 가지 중 하나로 합칩니다. RRF는 원래 점수를 버리고 순위만 사용해 1/(k + 순위)로 점수를 다시 매기는 방식이고(흔히 k=60), relativeScoreFusion 계열은 두 점수를 각각 0~1로 정규화한 뒤 가중합합니다.

2) 흔한 오해 — 왜 그렇게 읽게 되나

"벡터 검색이 더 똑똑하니 키워드 검색보다 항상 우월하다"는 오해가 흔합니다. 임베딩 모델이 문장 의미를 이해한다는 인상 때문인데, 실제로는 의미를 압축하는 과정 자체가 약점입니다. 질의에 들어 있는 희귀한 식별자 하나는 평균(풀링) 과정에서 다른 토큰들에 묻혀 신호가 약해집니다. 법률·의료·기술 문서처럼 용어를 엄격하게 통제해 쓰는 도메인일수록 이 문제가 두드러집니다. 또 하나는 "하이브리드만 붙이면 끝"이라는 생각인데, RRF나 alpha 같은 결합 파라미터의 기본값이 모든 데이터에 맞는 건 아닙니다.

3) 실제로 판단하는 기준

도입 여부와 비중을 정할 때는 먼저 실제 질의 로그를 봐야 합니다. 질의 중 에러 코드·제품 번호·함수명·고유명사처럼 정확히 일치해야 하는 식별자가 섞인 비율이 얼마나 되는지가 첫 기준입니다. 비율이 낮고 대부분 자연어 질문이라면 dense 단독으로도 충분할 수 있습니다. 둘째는 도메인 어휘가 얼마나 통제돼 있는지입니다. 셋째는 기본 가중치(alpha 0.75, RRF k=60 등)를 그대로 쓸지, 라벨링된 질의-정답 쌍으로 직접 튜닝할지입니다. tianpan.co가 인용한 Bruch 외(2022) 연구에 따르면 약 40쌍 정도의 라벨링된 데이터로 가중합의 비중을 튜닝하면 RRF보다 꾸준히 더 나은 결과를 냈다고 합니다. 넷째는 리랭커를 추가할 여력이 있는지로, 지연시간과 연산 비용이 늘어나는 대가로 정확도를 더 끌어올릴 수 있습니다.

4) 언제 쓸모 있고 언제 무의미한가

로그 검색, 코드 검색, 상품 카탈로그처럼 식별자·숫자·고유명사가 질의에 자주 섞이는 영역에서는 하이브리드 서치가 거의 필수에 가깝습니다. 반대로 질의가 전부 자연어 질문이고 식별자가 거의 없는 경우—예를 들어 일반적인 Q&A 챗봇—에서는 dense 단독 성능을 먼저 측정해 보는 편이 순서상 맞습니다. 분석: 데이터 규모가 작아 전체 비교가 금방 끝나는 경우라면, 두 검색기를 운영하고 결합 파라미터를 튜닝하는 복잡도가 얻는 이득보다 클 수 있습니다.

실전 — 하이브리드 서치를 제대로 읽는 5가지 원칙

  1. 도입 전에 실제 질의 로그를 분석해 에러 코드·제품명·함수명 같은 식별자가 섞인 질의 비율을 먼저 확인합니다. 비율이 높을수록 하이브리드의 효과가 뚜렷합니다.
  2. 두 검색의 점수 스케일이 다르다는 문제를 풀려면 RRF가 안전한 기본값입니다. 플랫폼이 relativeScoreFusion처럼 점수 정규화 방식을 지원한다면 두 방식을 모두 테스트해 보는 편이 낫습니다.
  3. alpha나 weights의 기본값(0.5~0.75)을 그대로 쓰지 말고, 라벨링된 질의-정답 쌍 수십 개로 직접 튜닝하는 쪽이 꾸준히 더 나은 결과를 냅니다.
  4. 하이브리드 결합만으로 끝내지 않고 cross-encoder 리랭커를 한 단계 더 얹으면 개선 폭이 커질 수 있습니다. 다만 지연시간과 비용이 함께 늘어난다는 점은 감안해야 합니다.
  5. 질의가 대부분 자연어이고 식별자가 드물거나 데이터 규모가 작다면, 먼저 dense 단독 성능을 측정하고 부족한 지점만 보완하는 순서가 복잡도를 줄입니다.

참고 링크

  • #AI
  • #하이브리드 서치
  • #BM25
  • #벡터 검색
  • #RAG
  • #dense retrieval
  • #검색 엔지니어링
작동 원리

벡터 DB — AI 전용 검색 창고

벡터DB는 텍스트·이미지를 숫자 좌표(임베딩)로 바꿔 의미가 비슷한 것을 빠르게 찾아주는 전용 검색 창고입니다. RAG의 핵심 구성 요소지만, 데이터 규모와 지연시간, 검색 목적을 먼저 따져야 도입이 의미가 있습니다.

· 4분

작동 원리

임베딩 — 문장의 의미를 좌표로 바꾼다는 말

임베딩은 문장을 숫자 좌표로 바꿔 의미가 비슷한 것끼리 가깝게 묶는 기술로, RAG 검색의 핵심 부품이지만 LLM처럼 문장을 이해해서 답을 만드는 건 아니라는 점을 구분해야 검색 결과가 이상할 때 원인을 제대로 짚을 수 있습니다.

· 5분

작동 원리

RAG — 파인튜닝 안 하고도 최신 정보를 아는 법

RAG(검색증강생성)는 모델 자체를 다시 학습시키는 대신 질문이 들어올 때마다 관련 문서를 찾아 프롬프트에 끼워 넣는 절차로, 지식이 자주 바뀌거나 출처 인용이 필요한 업무에서 파인튜닝보다 유리하지만 환각을 완전히 없애주지는 않는다는 점은 여전히 오해하기 쉽습니다.

· 4분