오늘은 요즘 AI 서비스 기획에서 절대 빠질 수 없는 핵심 기술인 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 기반 서비스 설계에 대해 이야기해볼게. 챗GPT 같은 거대 언어 모델이 아무리 똑똑해도 우리 회사 내부 데이터나 실시간 정보는 알지 못하잖아? 그래서 엉뚱한 대답을 하는 **할루시네이션(환각 현상)**이 발생하곤 하지. RAG는 이 문제를 해결하고 똑똑한 AI 서비스를 만들기 위해 기획자가 반드시 알아야 할 실무 무기야.
1. RAG는 '오픈북 테스트'라고 생각하면 쉬워
보통 LLM을 활용한 서비스 기획을 할 때 프롬프트 엔지니어링만 고민하는 경우가 많아. 하지만 프롬프트만으로는 한계가 명확하거든. RAG는 쉽게 말해 AI에게 방대한 자료가 담긴 교과서를 쥐여주고, "이 책에서 질문에 맞는 내용을 찾아서 답변해줘"라고 요청하는 오픈북 테스트와 같아. 7년차 기획자인 내가 실무에서 겪어보니, 사용자가 질문을 던졌을 때 시스템이 내부 데이터베이스에서 가장 연관성 높은 문서를 먼저 **검색(Retrieval)**하고, 그 내용을 LLM에 입력값으로 함께 넘겨서 답변을 **생성(Generation)**하게 만드는 흐름을 설계하는 것이 RAG의 기본 구조야. 이 구조를 이해해야 개발자와 제대로 소통할 수 있어.
2. 기획자가 챙겨야 할 핵심은 '데이터 쪼개기(Chunking)'야
RAG 시스템의 성능은 결국 AI가 참고할 데이터의 품질에 달려 있어. 이때 기획자가 가장 깊게 관여해야 하는 부분이 바로 Chunking(청킹) 설계야. Chunking은 긴 문서를 AI가 검색하기 좋게 작은 단위로 쪼개는 작업을 말하거든.
- 너무 크게 쪼개면: 불필요한 정보가 섞여서 AI가 엉뚱한 답변을 할 확률이 높아져.
- 너무 작게 쪼개면: 문맥이 끊겨서 질문의 의도를 제대로 파악하지 못하지. 예를 들어 회사 규정집을 AI 서비스로 만든다면, '장(Chapter)' 단위로 쪼갤지, '조/항(Section)' 단위로 쪼갤지 기획자가 서비스 특성에 맞춰 가이드를 줘야 해. 단순히 개발자에게 데이터를 던져주는 게 아니라, 데이터의 구조를 분석하고 최적의 쪼개기 기준을 제안하는 것이 기획자의 핵심 역할이야.
3. 검색 성능을 높이는 '리랭킹'과 '출처 표시 UX'
데이터를 쪼개서 저장했다면, 사용자의 질문과 가장 유사한 문서를 잘 찾아와야겠지? 이때 유사도 점수만으로 문서를 가져오면 엉뚱한 정보가 상위에 올 수 있어. 그래서 검색된 결과의 순위를 다시 매기는 Reranking(리랭킹) 과정이 필요해. 기획자는 어떤 정보가 사용자에게 더 우선적으로 노출되어야 하는지 비즈니스 규칙을 세워야 해.
또한, RAG 기반 서비스에서 가장 중요한 UX는 바로 출처 표시야. AI가 답변을 생성할 때 "이 답변은 OO 규정 제3조를 바탕으로 작성되었습니다"처럼 참고한 원본 문서의 링크나 파일명을 명확히 보여주는 거지. 이렇게 출처를 표기해 주면 사용자는 AI의 답변을 신뢰하게 되고, 할루시네이션으로 인한 리스크도 크게 줄일 수 있어.
💡 핵심 정리
- 오픈북 테스트: RAG는 LLM의 할루시네이션을 방지하고 내부 데이터를 안전하게 활용하는 기술이야.
- 청킹(Chunking): 기획자는 데이터의 특성을 파악해 AI가 학습하기 가장 좋은 단위로 문서를 쪼개는 기준을 세워야 해.
- 출처 표기 UX: 답변의 신뢰성을 높이기 위해 원본 데이터의 출처를 명확히 보여주는 화면 설계가 필수적이야. 이제 AI 기획은 단순히 프롬프트를 잘 쓰는 단계를 넘어섰어. 우리가 가진 데이터를 어떻게 안전하고 똑똑하게 AI 시스템과 연결할지 설계하는 능력이 7년차인 내가 봐도 시장에서 정말 귀하게 대접받는 역량이거든. 이번에 준비하는 포트폴리오에 RAG 설계 구조와 데이터 처리 흐름을 한 페이지라도 녹여낸다면 면접관들의 눈을 단번에 사로잡을 수 있을 테니 꼭 시도해봐!