RAG 기초 해부 — 임베딩, 청킹, 하이브리드 검색, 재순위까지
RAG는 검색으로 가져온 문서를 모델의 컨텍스트에 실어 답변 정확도를 높이는 파이프라인입니다. 임베딩과 청킹, 벡터 스토어, 하이브리드 검색, 재순위, 검색 품질 평가와 한국어 특수성까지 다루는 기초 해부.
RAG 기초 해부 — 임베딩, 청킹, 하이브리드 검색, 재순위까지
개요
LLM에 물어봤는데 그럴듯하게 지어내는 답이 나온 경험은 이제 흔합니다. 이런 환각의 상당 부분은 모델이 “알아야 하는 정보”를 갖고 있지 않아서 생깁니다. RAG(Retrieval-Augmented Generation)는 답변을 생성하기 전에 관련 문서를 검색해서 모델의 컨텍스트에 함께 넘기는 구조로 이 문제에 접근합니다. 개념 자체는 2020년 논문(Lewis 외)에서 제안된 이래로, LLM 서비스가 보편화되며 사실상 표준 아키텍처가 되었습니다.
RAG를 “검색해서 넣어 주는 기능” 정도로만 이해하면 망칩니다. 컨텍스트에 문서를 가득 채우는 것이 능사가 아니기 때문입니다. Lost in the Middle(Liu 외, 2023)은 관련 문서가 컨텍스트의 중간에 놓이면 성능이 떨어진다는 걸 보여줬습니다. 즉 긴 컨텍스트가 검색 품질을 대신하지 못하며, 오히려 “무엇을 얼마나 정확히 상위에 넣는가”가 RAG의 본질입니다.
이 글은 RAG 파이프라인의 각 단계(임베딩 → 청킹 → 벡터 스토어 → 하이브리드 검색 → 재순위 → 평가)를 순서대로 해부하고, 한국어에서 특히 신경 써야 할 지점을 짚습니다. 이 글은 임베딩 기반 검색에 집중하고, 형태소 분석을 활용한 키워드 검색 엔진 자체는 별도 주제로 다루려고 합니다.
왜 RAG인가
파라미터에 지식을 심는 방법(파인튜닝)과 검색로 가져오는 방법을 비교하면 RAG의 위치가 명확해집니다.
- 최신성: 모델 학습 시점 이후의 정보는 파라미터에 없습니다. 문서를 갱신하면 즉시 반영되는 건 검색입니다.
- 출처 추적: 답변에 인용할 근거 문서를 남길 수 있어, 사용자가 검증할 수 있습니다.
- 비용: 대형 모델을 다시 학습하는 것과 문서 색인을 갱신하는 것은 비용 차원이 다릅니다.
RAG의 전제가 “가져온 문서의 품질이 답변 품질의 상한”이라는 점은 반복해 강조해도 지나치지 않습니다. 그래서 이 글의 절반 이상이 사실 검색 이야기입니다.
전체 파이프라인
전형적인 오프라인(색인)과 온라인(질의) 흐름을 텍스트로 그리면 다음과 같습니다.
[색인 시점]
원본 문서 수집
→ 전처리(정규화, HTML 제거 등)
→ 청킹(chunking): 검색 단위로 분할
→ 임베딩(embedding): 청크를 벡터로 변환
→ 벡터 스토어에 저장(메타데이터 함께)
[질의 시점]
사용자 질문
→ (쿼리 전처리/확장)
→ 검색: 벡터 검색 + 키워드 검색(하이브리드)
→ 재순위(rerank): 상위 후보 재정렬
→ 상위 k개 청크를 프롬프트에 삽입
→ LLM이 근거를 인용하며 답변 생성
각 단계를 하나씩 뜯어 봅시다.
임베딩: 문장을 벡터로 바꾸기
임베딩 모델은 텍스트를 고정 길이의 숫자 벡터로 바꿔주고, 의미가 비슷한 텍스트는 벡터 공간에서 가까워집니다. 유사도는 보통 코사인 유사도로 측정합니다. 검색은 “질문 벡터와 가장 가까운 청크 벡터를 찾는” 문제가 됩니다.
모델 선택에서 중요한 기준은 다국어(특히 한국어) 지원입니다. 영어 중심으로 학습된 모델의 벡터 공간에서 한국어 문장들은 제대로 뿌리지 못한 채 뭉쳐 버릴 수 있습니다. 다국어 검색용으로 자주 쓰이는 모델로는 dense/sparse/multi-vector 검색을 한 모델로 지원하는 BGE-M3 같은 계열이 있습니다. BGE-M3의 dense 임베딩은 1024차원으로, 다음 절의 벡터 스토어 예시 차원도 이에 맞췄습니다.
한국어에서의 임베딩 특수성
한국어는 임베딩 품질에 영향을 주는 특성이 몇 가지 있습니다.
- 조사: “도서관”+“에서”, “도서관”+“으로”처럼 어휘 뒤에 조사가 붙어 같은 대상이 여러 형태로 나타납니다. 임벌딩 모델이 이를 잘 흡수하지 못하면 사소한 조사 차이가 유사도를 흔듭니다.
- 띄어쓰기: 잘못된 띄어쓰기가 토큰 경계를 틀어지게 하고, 이는 토크나이저를 거쳐 임베딩까지 영향을 줍니다.
- 형태소 경계: “설정 방법”과 “설정하는 방법”처럼 활용형이 다양해, 어휘적 일치(키워드 검색) 관점에서는 표면형이 크게 갈립니다.
실무적으로는 (1) 질문과 문서 양쪽을 같은 전처리로 정규화하고, (2) 형태소 분석기로 명사구를 뽑아 메타데이터나 키워드 필드로 함께 저장하며, (3) 후술할 하이브리드 검색으로 어휘적 정확도를 보완하는 조합이 튼실합니다.
청킹: 검색 단위 만들기
문서 전체를 하나의 벡터로 만들면 특정 세부 주제가 묻힙니다. 반대로 너무 잘게 자르면 문맥이 끊깁니다. 청킹은 이 균형을 맞추는 작업이고, 대표 전략은 세 가지입니다.
- 고정 길이: 일정 토큰 수로 자르고 인접 청크끼리 겹침(overlap)을 줍니다. 단순하지만 문장 중간이 잘릴 수 있습니다.
- 재귀적 분할: 구분자 우선순위(문단 → 문장 → 문자)를 두고 큰 단위부터 시도합니다. 문장 경계가 존중되어 실무에서 가장 널리 쓰입니다.
- 시맨틱 청킹: 임베딩 유사도가 급변하는 지점을 문서 경계로 삼습니다. 비용이 더 들지만 주제 단위 분할에 유리합니다. 개념 소개는 Weaviate의 청킹 문서가 정리되어 있습니다.
한국어 문서에서는 문장 종결(마침표·물음표·느낌표) 기준 분할이 의외로 중요합니다. 조사가 붙은 명사구가 경계에서 잘리면 그 청크는 키워드 검색과 임베딩 양쪽에서 손해를 봅니다. 또 띄어쓰기 오류가 많은 원본이라면 청킹 전 전처리에서 정리해 주는 게 좋습니다.
청크 크기의 정답은 도메인마다 다릅니다. 제품 문서처럼 짧은 단위로 나뉘는 콘텐츠는 200~400 토큰급도 잘 동작하고, 긴 논증을 담은 문서는 더 크게 잡는 편이 낫습니다. 중요한 건 “이 값도 뒤에서 소개할 평가로 측정하며 정한다”는 태도입니다.
벡터 스토어: 벡터를 어디에 저장할까
벡터와 메타데이터를 저장하고 최근접 이웃 검색을 제공하는 저장소가 필요합니다. 대표적인 두 갈래를 보겠습니다.
pgvector: 이미 Postgres가 있다면
pgvector는 PostgreSQL 확장입니다. 별도 인프라 없이 SQL 한 줄로 시작할 수 있고, 메타데이터 필터링이 그냥 WHERE 절이 된다는 게 강점입니다.
CREATE EXTENSION vector;
CREATE TABLE documents (
id bigserial PRIMARY KEY,
content text,
source text,
embedding vector(1024) -- BGE-M3 dense 임베딩 차원
);
-- 근사 최근접 이웃 인덱스
CREATE INDEX ON documents
USING hnsw (embedding vector_cosine_ops);
-- 질의: 임베딩한 질문 벡터($1)와 코사인 거리가 가까운 상위 5개
SELECT id, content, source
FROM documents
ORDER BY embedding <=> $1
LIMIT 5;
데이터 규모가 커지면 HNSW 같은 근사 검색 인덱스가 필수가 됩니다. 운영 중인 서비스에 문서 검색을 얹는 상황이라면 “이미 있는 Postgres + pgvector”가 가장 낮은 마찰의 시작점입니다.
전용 엔진: Qdrant 등
Qdrant처럼 벡터 검색에 특화된 엔진도 있습니다. 대량 벡터의 고성능 검색, 페이로드 필터와 벡터 검색의 조합, 그리고 다음 절의 하이브리드 쿼리 내장 같은 이점이 있습니다. 어떤 쪽이든 “저장소보다 검색 품질이 병목”이라는 RAG의 특성은 변하지 않아서, 처음엔 운영 비용이 낮은 쪽에서 시작해도 됩니다.
하이브리드 검색: 벡터만으로는 부족한 이유
벡터 검색은 의미가 비슷한 문서를 잘 찾지만, 정확히 일치해야 하는 표현에는 약합니다.
- 고유명사, 사람 이름, 에러 코드, API 이름
- 숫자, 날짜, 버전 번호
- 한국어의 경우 동음이나 유사한 형태소로 인한 오탐
이런 쿼리는 BM25 같은 키워드 기반 검색이 강합니다. 그래서 두 검색을 동시에 실행해 결과를 합치는 하이브리드 검색이 실무 표준이 됐습니다. 합치는 방법은 각 결과의 순위를 역수로 결합하는 RRF(Reciprocal Rank Fusion) 등이 쓰이고, Qdrant는 v1.10부터 dense와 sparse 벡터를 한 쿼리로 함께 검색하는 하이브리드 쿼리를 지원합니다. sparse 벡터가 왜 키워드 검색을 대신할 수 있는지는 Qdrant의 sparse vector 설명 글이 개념적으로 잘 정리해 줍니다.
한국어에서 키워드 쪽 채널을 살리려면 토크나이즈가 관건입니다. Kiwi 같은 한국어 형태소 분석기로 명사·명사구를 추출해 색인하면 조사가 떨어진 어휘 단위 매칭이 가능해집니다. 앞서 임베딩 절에서 말한 “조사로 인한 표면형 폭발” 문제의 해법이 사실 이 지점에 있습니다.
재순위(rerank): 후보를 다시 세우기
첫 단계 검색(retriever)은 “빠르게 넓게” 수백 개를 모으는 역할에 충실합니다. 그다음 단계인 재순위는 질의와 문서를 함께 보고 관련도를 정밀하게 매기는 교차 인코더 방식의 모델로 상위 후보를 다시 세웁니다. 임베딩이 질문과 문서를 따로따로 벡터화한다면, 재순위 모델은 둘을 나란히 놓고 보는 셈입니다. 상용 서비스로는 Cohere Rerank가 이 역할의 대표적인 예이고, 오픈소스 reranker 계열도 선택지가 됩니다.
앞서 인용한 Lost in the Middle의 시사점이 여기서 다시 등장합니다. 컨텍스트 상위에 놓인 근거일수록 잘 활용되므로, “재순위로 상위 몇 개를 정확히 세우는 것”은 단순한 순서 정리가 아니라 답변 품질 직결 요소입니다. 그래서 RAG 개선의 우선순위는 대체로 다음 순서로 잡힙니다. 색인·청킹 정리 → 하이브리드 검색 → 재순위 → 프롬프트 조정.
검색 품질 평가: 감이 아니라 숫자로
파이프라인을 고치려면 측정이 먼저입니다. 최소한의 평가 장치는 다음과 같습니다.
- 골드 셋 구축: “질문 → 정답으로 삼을 문서(청크)” 쌍을 서른 개만 모아도 시작이 됩니다. 실제 사용될 질문 분포를 대표해야 합니다.
- 검색 지표: 정답 문서가 상위 k개 안에 들어가는 비율(Hit Rate@k), 정답 순위의 역수 평균(MRR), 순위 가중 지표(nDCG) 등으로 검색 단계를 분리 측정합니다.
- 생성 지표: 답변이 근거 문서와 모순되지 않는지(충실성), 근거를 인용하는지를 확인합니다. RAG의 실패는 “검색 실패”와 “생성 실패”로 나뉘므로 나눠 봐야 원인이 보입니다.
평가 셋이 있으면 청크 크기 변경, 임베딩 모델 교체, 하이브리드 가중치 조정 같은 결정을 회귀 없이 실험할 수 있습니다. 저는 사이드 프로젝트에서 질문 서른 개짜리 골드 셋을 만들어 두고, 설정을 바꿀 때마다 Hit Rate@5를 다시 재는 흐름으로 정착했습니다. 화려한 대시보드보다 이 습관이 RAG 품질을 지켜 줍니다.
한국어 RAG 체크리스트
지금까지의 내용을 한국어 관점에서만 다시 압축하면 다음과 같습니다.
- 임베딩은 다국어 모델을 쓰고, 질문·문서 양쪽에 같은 전처리를 적용할 것
- 청킹은 문장 종결 부호를 존중하고, 띄어쓰기 오류는 사전 정규화로 정리할 것
- 키워드 채널은 형태소 분석기(Kiwi 등) 기반으로 색인해 조사 문제를 완화할 것
- 고유명사·코드·숫자 정확도가 중요한 도메인이라면 하이브리드 + 재순위까지 갖출 것
- 모든 선택은 골드 셋 기반 지표로 비교해서 결정할 것
정리
- RAG의 본질은 생성이 아니라 검색입니다. 컨텍스트를 늘리는 대신 무엇을 상위에 넣을지를 다듬는 작업입니다.
- 파이프라인은 임베딩 → 청킹 → 저장 → 검색 → 재순위 → 생성의 직렬 구조이고, 각 단계는 독립적으로 교체·측정 가능합니다.
- 한국어는 조사·띄어쓰기·형태소 특성 때문에 전처리와 키워드 채널의 비중이 영어보다 큽니다.
- 평가 셋이 있는 팀과 없는 팀의 개선 속도는 극적으로 갈립니다. 작게라도 골드 셋부터 만드세요.
검색 품질이라는 오래된 문제 위에 LLM이 얹힌 것이 RAG라는 관점을 갖고 나면, 각 단계에서 뭘 측정하고 뭘 고쳐야 하는지가 훨씬 선명해집니다. 이 글을 출발점 삼아 여러분의 데이터에 맞는 파이프라인을 다듬어 가시길 바랍니다.
레퍼런스
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv:2005.11401) — RAG 개념을 제안한 원 논문 (2020)
- Lost in the Middle: How Language Models Use Long Contexts (arXiv:2307.03172) — 컨텍스트 중간 배치의 성능 저하를 보인 논문 (2023)
- BAAI/bge-m3 (Hugging Face) — 다국어 dense/sparse/multi-vector 임베딩 모델 카드
- Chunking (Weaviate Knowledge Cards) — 청킹 전략 개념 정리
- pgvector (GitHub) — Postgres 벡터 유사도 검색 확장
- Hybrid Queries (Qdrant 문서) — dense+sparse 하이브리드 쿼리(v1.10+)
- What is a Sparse Vector? (Qdrant) — sparse 벡터와 키워드 검색의 관계
- Cohere Rerank 문서 — 재순위 모델의 동작과 사용법
- Kiwi (GitHub) — 한국어 형태소 분석기