RAG(검색 증강 생성)란? 원리·구성 요소·도입 순서와 주의점 정리
똑똑해지고 싶은 똑이
조회 26
다 읽는 데 약 7분 걸려요핵심부터 꼼꼼한 설명까지 다 담았어요.
💡 핵심 킬러 메시지
RAG는 모델보다 '어떤 문서를 어떻게 나누고 찾게 하느냐'가 답의 품질을 좌우한다는 점이 핵심이에요.
RAG를 도입하면 AI가 우리 회사 문서로 답한다는데, 막상 해 보니 엉뚱한 문서를 가져와서 실망했던 적 있죠.
RAG는 Retrieval-Augmented Generation의 약자로, 우리말로는 검색 증강 생성이라고 불러요. 쉽게 말해 LLM이 답을 만들기 전에 관련 문서를 먼저 찾아서 그 내용을 참고해 답하게 하는 방식이에요. 오픈북 시험에 비유하면 이해가 쉬워요. 기억에만 의존해 답하는 대신, 책에서 해당 부분을 찾아 펼쳐 놓고 답을 쓰는 거예요. 사내 규정 챗봇, 제품 매뉴얼 상담, 문서 검색 도우미처럼 "우리 회사 자료를 바탕으로 답하는 AI"를 만들 때 가장 먼저 검토되는 구조예요. 이 글은 개발자가 아니어도 RAG를 이해하고 도입을 기획할 수 있도록 원리와 구성 요소, 도입 순서, 주의점을 정리했어요.
📷 사진 1 문서 더미와 AI 채팅 화면
Alt: RAG 문서 기반 AI 답변
(이 상자를 내 사진으로 바꿔 주세요)
왜 RAG가 필요한가요
용어가 낯설어 회의에서 고개만 끄덕였던 분도 있을 거예요. 구성 요소를 순서대로 보면 생각보다 단순해요.
LLM은 학습한 데이터 범위 안에서 답하기 때문에 최신 정보나 회사 내부 자료는 알지 못해요. 모르는 내용을 물으면 그럴듯하게 지어내는 환각이 생기기도 해요. 모델을 새 데이터로 다시 학습시키는 방법도 있지만 비용과 시간이 많이 들고, 자료가 바뀔 때마다 반복하기 어려워요. RAG는 모델은 그대로 두고 질문할 때마다 필요한 문서를 찾아 넣어 주기 때문에, 문서만 갱신하면 최신 내용을 반영할 수 있고 답변에 근거 문서를 함께 보여 줄 수도 있어요.
📷 사진 2 문서를 조각으로 나눈 예시
Alt: RAG 문서 분할
(이 상자를 내 사진으로 바꿔 주세요)
RAG는 이렇게 동작해요
- 문서 준비: PDF, 웹페이지, 사내 위키 같은 자료를 모아 텍스트로 바꿔요.
- 분할(청킹): 긴 문서를 의미 단위의 작은 조각으로 나눠요.
- 임베딩: 각 조각을 의미를 담은 숫자 벡터로 바꿔요.
- 저장: 벡터를 검색하기 좋은 저장소(벡터 데이터베이스 등)에 넣어요.
- 검색: 사용자의 질문도 벡터로 바꿔 의미가 가까운 조각을 찾아요.
- 생성: 찾은 조각을 질문과 함께 LLM에 넣어 답을 만들게 해요.
📷 사진 3 RAG 구성 흐름도 메모
Alt: RAG 구성 요소
(이 상자를 내 사진으로 바꿔 주세요)
구성 요소 한눈에 보기
| 구성 요소 | 하는 일 | 품질에 미치는 영향 |
|---|---|---|
| 문서 변환기 | PDF·표를 텍스트로 변환 | 표와 서식이 깨지면 정보 손실 |
| 분할 규칙 | 조각 크기와 겹침 결정 | 너무 작으면 문맥 손실, 너무 크면 검색 정확도 저하 |
| 임베딩 모델 | 의미를 벡터로 표현 | 한국어 지원 수준이 중요 |
| 벡터 저장소 | 유사 조각 검색 | 검색 속도와 필터 기능 |
| LLM | 최종 답변 생성 | 근거를 따르는 능력 |
| 프롬프트 | 답변 규칙 지정 | "문서에 없으면 모른다고 답하기" 등 |
📷 사진 4 문서가 조각으로 나뉘어 저장되는 개념도
Alt: RAG 청킹과 임베딩
(이 상자를 내 사진으로 바꿔 주세요)
📷 사진 5 검색된 문서 조각 화면
Alt: RAG 벡터 검색 결과
(이 상자를 내 사진으로 바꿔 주세요)
도입 순서
처음부터 전사 시스템을 만들기보다 범위를 좁혀 시작하는 것이 좋아요. 예를 들어 인사 규정 문서 몇 개만으로 질문 30개를 정해 테스트해 보는 식이에요. 질문 목록과 기대 답변을 미리 만들어 두면 설정을 바꿀 때마다 품질이 좋아졌는지 객관적으로 비교할 수 있어요. 이후 문서 범위를 넓히고, 문서 갱신 주기와 담당자를 정하고, 사용자 피드백을 모으는 순서로 확장하세요. 직접 구축하기 어렵다면 문서를 올리면 RAG처럼 작동하는 상용 서비스를 먼저 써 보며 요구 사항을 정리하는 것도 방법이에요.
품질이 떨어지는 흔한 원인
- 문서 자체가 부정확하거나 오래됨: RAG는 문서만큼만 정확해요.
- 검색 실패: 질문과 문서의 표현이 달라 관련 조각을 못 찾는 경우가 많아요. 키워드 검색과 의미 검색을 함께 쓰는 방식이 도움이 돼요.
- 표와 이미지 손실: 스캔 PDF나 복잡한 표는 텍스트 변환 단계에서 내용이 깨질 수 있어요.
- 권한 문제: 누구나 모든 문서를 볼 수 있게 되면 보안 사고가 될 수 있어요. 사용자 권한에 따라 검색 범위를 제한해야 해요.
- 근거 표시 없음: 출처를 함께 보여 주지 않으면 사용자가 답을 검증할 수 없어요.
RAG, 사내 문서로 처음 도입할 때
처음에는 자주 묻는 질문이 많은 문서 몇 가지로 작게 시작해 보세요. 문서를 어떻게 나눌지, 검색이 맞는 조각을 가져오는지 확인하며 범위를 넓혀 가면 좋아요. 문서가 바뀌면 다시 반영하는 흐름도 처음부터 함께 정해 두면 오래된 답이 줄어요. 답에 참고한 문서 조각을 함께 보여 주게 하면 사용자가 직접 확인하기 쉬워요. 품질이 떨어질 때 흔한 원인은 문서를 너무 크거나 작게 나눈 경우, 검색이 관련 없는 조각을 가져오는 경우라 이 두 곳부터 살펴보면 좋아요.
RAG 체크리스트
| 항목 | 확인할 것 | 체크 |
|---|---|---|
| 필요성 | 최신·사내 정보 반영 | ☐ |
| 문서 분할 | 적절한 크기 | ☐ |
| 임베딩 | 의미를 숫자로 | ☐ |
| 벡터 검색 | 관련 조각 찾기 | ☐ |
| 품질 | 검색 결과 점검 | ☐ |
보안과 비용도 함께 보세요
외부 LLM API를 쓰면 검색된 문서 조각이 외부 서버로 전송될 수 있어요. 회사의 데이터 반출 규정과 서비스의 데이터 처리 방침을 확인하고, 민감한 자료는 대상에서 빼거나 사내에서 실행되는 모델을 검토하세요. 비용은 문서 임베딩, 저장, 질문당 LLM 호출에서 발생하니 시범 운영 단계에서 사용량을 측정해 두는 것이 좋아요.
📷 사진 6 답변 아래 출처 문서가 표시된 화면
Alt: RAG 답변 출처 표시
(이 상자를 내 사진으로 바꿔 주세요)
RAG 감정 카드: RAG 앞에서 이런 마음이라면
읽다가 마음이 머문 대목이 있었다면, 지금 내 상태와 가장 가까운 카드를 골라 보세요.
📷 사진 7 답과 출처를 함께 보는 화면
Alt: RAG 답변 출처
(이 상자를 내 사진으로 바꿔 주세요)
자주 묻는 질문
RAG를 쓰면 환각이 없어지나요?
관련 문서를 참고하게 해 줄여 줄 수는 있지만 완전히 없어지지는 않아요. 답과 함께 출처를 확인하는 습관이 필요해요.
RAG와 파인튜닝은 무엇이 다른가요?
RAG는 질문할 때 문서를 찾아 넣어 주고, 파인튜닝은 모델 자체를 추가 학습시켜요. 자주 바뀌는 지식에는 RAG가 유리한 경우가 많아요.
RAG를 쓰면 환각이 없어지나요?
줄어들 수 있지만 완전히 없어지지는 않아요. 출처 표시와 사람 검토가 필요해요.
벡터 데이터베이스가 꼭 필요한가요?
문서가 적다면 간단한 방식으로도 가능하지만, 규모가 커지면 전용 저장소가 편해요.
개발 없이 써 볼 수 있나요?
문서 업로드형 AI 서비스로 개념을 체험해 볼 수 있어요. 보안 정책을 먼저 확인하세요.
마무리
RAG는 LLM에게 오픈북 시험을 보게 하는 방식이에요. 문서 품질과 검색 정확도가 성패를 가르니, 작은 문서 묶음과 테스트 질문 목록으로 먼저 시험해 보세요.
함께 읽으면 좋은 글
필요한 친구에게 한 번에 보내 보세요. 공유는 큰 힘이 돼요.
이 글, 어땠어요?
별을 눌러 평가해 주세요. 한 사람당 한 번만 세요.
아직 평가가 없어요. 첫 평가를 남겨 주세요.
💬 댓글
- 첫 댓글을 남겨 주세요.