“도우누리 고객응대 매뉴얼 최종본이 어디 있지?” 폴더를 열면 ‘최종’, ‘최종2’, ‘수정본’이 나란히 있습니다. 자료를 찾은 뒤에도 어느 문서가 현재 기준인지 다시 확인해야 합니다. AI에게 물으면 금세 답을 얻을 수 있을 것 같지만, AI 역시 무엇을 근거로 삼아야 하는지 모른다면 그럴듯하게 틀린 답을 할 수 있습니다.
RAG는 이 문제를 풀 때 자주 쓰는 기술적 방식입니다. 영어로 Retrieval-Augmented Generation, 우리말로는 ‘검색 증강 생성’입니다. 질문을 받으면 관련 자료를 먼저 찾고, 찾은 내용을 바탕으로 답변을 만듭니다. 기억에만 기대어 말하는 대신 자료를 펼쳐 놓고 답하는 모습에 가깝습니다. Lewis 외, RAG 원 논문(2020)
RAG는 네 단계를 거쳐 답합니다
가상의 광진담쟁이협동조합 자료실을 예로 들어 보겠습니다. 직원이 “2026년 고객 문의 처리 기준에서 회신 기한은 어떻게 되나요?”라고 묻습니다. 시스템이 접근 허용된 문서 중 관련 부분을 찾고, AI가 그 부분을 읽은 뒤 답변과 출처를 보여줍니다. 아래는 이해를 돕기 위한 구조도이며, 현재 원드라이브에 이런 시스템이 연결되었다는 뜻은 아닙니다.
실제 구현에서는 문서를 읽기 쉬운 단위로 나누고 검색용 색인을 만들 수 있습니다. 질문과 유사한 표현만 찾는 방식도, 의미가 비슷한 문단을 찾는 방식도, 둘을 조합하는 방식도 있습니다. 중요한 것은 복잡한 기술 이름보다 정확한 문단이 검색되어 AI에게 전달되는가입니다. Microsoft의 RAG 설명도 검색 품질이 낮을 때 문서 분할과 검색 설정을 점검하도록 안내합니다. Microsoft Learn, RAG와 색인
자료를 연결하는 것과 AI를 다시 학습시키는 것은 다릅니다
“우리 문서를 AI에게 학습시키자”라는 표현을 많이 씁니다. 하지만 RAG에서는 보통 조직의 자료로 모델 자체를 다시 훈련하지 않습니다. 질문할 때 필요한 문서를 검색해 답변에 참고하게 합니다. 문서가 바뀌면 검색 대상과 색인이 갱신되어야 하고, 답변은 갱신된 자료를 찾아야 최신 기준을 반영할 수 있습니다.
| 구분 | 일반적인 AI 대화 | 조직 자료를 연결한 RAG |
|---|---|---|
| 답변 재료 | 질문과 모델이 가진 일반 지식 | 질문에 맞춰 검색한 조직 문서도 함께 사용 |
| 새 기준 반영 | 질문에 직접 제공하지 않으면 알기 어려움 | 자료와 검색 색인이 갱신되어야 반영 가능 |
| 근거 확인 | 근거 문서가 없을 수 있음 | 설계에 따라 문서명·위치·링크 표시 가능 |
| 남는 위험 | 일반적인 추측과 오래된 지식 | 잘못 검색된 자료, 구버전, 근거 없는 문장 |
RAG를 쓴다고 답이 자동으로 참이 되지는 않습니다. 검색된 문서가 오래됐거나 질문과 맞지 않으면 AI는 그 자료를 토대로 잘못 답할 수 있습니다. 관련 문서가 없을 때는 억지로 답하지 않고 “확인할 자료가 없습니다”라고 말하는 설계도 중요합니다.
‘최종본’이 여러 개라면 RAG도 헷갈립니다
RAG를 도입하기 전에 자료실부터 정리해야 하는 이유입니다. 같은 매뉴얼이 여러 폴더에 복사되어 있고 승인 날짜가 없으면 검색은 오래된 문단과 새 문단을 함께 찾을 수 있습니다. AI에게 최신본을 고르라는 지시만으로 그 문제를 안정적으로 해결할 수는 없습니다.
문서 책임자 · 적용 시작일 또는 승인일 · 현재/폐기 상태 · 원본 링크
가령 ‘고객응대 매뉴얼_최종2.docx’보다 ‘고객응대 기준 | 2026-09-01 시행 | 현행’처럼 상태가 분명한 관리 정보가 더 유용합니다. 제목만 고치는 것으로 끝나지는 않습니다. 구버전은 검색 대상에서 제외하거나 폐기 표시를 하고, 문서가 바뀔 때 색인도 갱신되는지 확인해야 합니다. 출처 표시를 위해 파일명과 링크 같은 메타데이터를 보관하는 방식도 활용됩니다. Microsoft Learn, 색인과 인용 정보
찾을 수 있는 자료와 보여줘도 되는 자료는 다릅니다
조직 문서에는 공개 제안서뿐 아니라 고객 정보, 계약 금액, 인사 기록도 섞여 있습니다. 자료실 전체를 무조건 검색 대상으로 삼으면 한 직원이 원래 볼 수 없는 내용까지 답변에 나타날 수 있습니다. RAG의 검색 단계에서부터 사용자의 접근 권한에 맞는 문서만 후보로 다뤄야 합니다. 답변 생성 단계에서 “비밀은 말하지 마”라고 지시하는 것만으로 접근 통제를 대신할 수 없습니다.
처음 시범은 공개 가능하거나 내부 공유 범위가 명확한 자료로 시작하세요. 고객·이용자 자료처럼 민감한 정보는 사용 목적과 접근 권한, 보존 기준을 별도로 설계해야 합니다. 기술의 성능보다 먼저 누가 어떤 질문으로 어떤 문서에 접근할 수 있는가를 정하는 일입니다.
좋은 답변보다 먼저 좋은 검색을 검사합니다
시범 자료 20~30개를 정하고 직원들이 실제로 묻는 질문을 모아 보세요. 예를 들면 “강의 제안서의 최신 양식은?”, “고객 불만은 누구에게 인계하나요?”, “이 사업의 최종 결과보고서는?” 같은 질문입니다. 각 질문마다 정답으로 삼을 문서와 기대하는 답변을 사람이 정해 두면 테스트가 가능합니다. 20~30개는 작은 시범을 설명하기 위한 예시 규모이지 공식 표준은 아닙니다.
- 찾았는가 — 필요한 최신 문서와 해당 문단이 검색 결과에 들어왔는가?
- 맞게 읽었는가 — AI가 문단의 조건과 예외를 빠뜨리지 않았는가?
- 근거를 보여주는가 — 이용자가 원본 링크와 문서 상태를 확인할 수 있는가?
- 모르면 멈추는가 — 자료가 없거나 서로 충돌할 때 추측 대신 확인을 요청하는가?
- 권한을 지키는가 — 접근할 수 없는 문서가 검색과 답변에 나타나지 않는가?
평가는 답변 문장만 읽어서는 부족합니다. 검색이 적절한 문단을 골랐는지와 답변이 그 문단에 충실한지를 따로 봐야 합니다. Microsoft의 RAG 평가 안내 역시 검색 품질과 답변의 근거 충실도를 구분해 평가합니다. Microsoft Learn, RAG 평가
우리 조직의 첫 RAG는 작은 자료실에서 시작할 수 있습니다
모든 원드라이브 파일을 한 번에 연결하기보다 업무 하나를 고르세요. 예를 들어 교육 제안서와 강의계획서의 승인본만 모아 “기관 문의에 필요한 자료 찾기”를 시험할 수 있습니다. 문서의 책임자와 버전을 정리하고, 실제 질문으로 검색 결과를 확인한 뒤 범위를 넓히는 순서입니다.
RAG의 가치는 AI가 자료를 많이 읽었다는 데 있지 않습니다. 필요한 순간에 정확한 자료를 찾고, 답변의 근거를 사람이 확인할 수 있게 하는 것에 있습니다. 자료실이 정돈될수록 AI도 더 믿을 만한 업무 도구가 될 가능성이 커집니다.
Lewis 외 (2020), Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks · Microsoft Learn, RAG와 색인 · Microsoft Learn, RAG 평가