RAG는 무엇을 하는 것일까

RAG란, 답하기 전에 자료를 펼쳐보는 방식

RAG(질문에 답하기 전에, 사내 자료를 찾아 읽게 하는 방식)는 대화하는 AI가 사내 규정이나 절차를 그때그때 확인한 뒤에 답하게 하는 방법입니다. 먼저 답을 만든 다음 나중에 이유를 붙이는 것이 아닙니다. 우선 자료를 찾고, 그 내용을 바탕으로 답합니다.

일로 비유하면, 새로 들어온 사람이 "이 신청은 어떻게 내나요"라고 물었을 때와 비슷합니다. 아무것도 보지 않고 기억만으로 답하는 사람도 있지만, 그러면 예전 방식을 말해버릴 수 있습니다. 꼼꼼한 사람은 인수인계 문서나 사내 업무 안내서를 펼쳐 확인한 뒤에 답합니다. RAG는 그 "확인하고 나서 답하기"를 기계로 하는 모습에 가깝습니다.

여기서 중요한 점은, AI가 회사 일을 전부 알게 되는 것은 아니라는 점입니다. RAG가 하는 일은 회사 자체를 이해하는 것이 아닙니다. 질문과 관계있어 보이는 문서를 빠르게 찾아서, 답의 초안에 쓰는 것입니다. 그래서 원래 자료가 오래되었거나, 흩어져 있거나, 표현이 모호하면 답도 흔들리게 됩니다.

RAG는 뒤에서 무엇을 하고 있을까

가장 먼저 하는 일은 질문의 뜻을 파악하는 것입니다. 예를 들어 "휴가 신청은 언제까지 해야 하나요"라고 물으면, "휴가", "신청", "마감" 같은 핵심을 봅니다. 다만, 말이 한 글자도 다르지 않은 자료만 찾는 것은 아닙니다. 표현이 조금 달라도 비슷한 내용을 찾으려고 합니다.

그다음에는 사내 자료에서 관계있어 보이는 부분을 몇 개 골라냅니다. 여기서 중요한 것은, 자료가 미리 찾기 쉬운 크기로 나뉘어 있어야 한다는 점입니다. 두꺼운 규정을 한 권 통째로 읽는 것이 아니라, 제목별로, 주제별로 짧게 나누어 둡니다. 그러면 "이 질문에는 이 문단이 가깝다"고 고르기 쉬워집니다.

골라낸 부분이 모이면, AI는 그 발췌 내용을 옆에 두고 답을 정리합니다. 즉, AI가 자유롭게 떠올릴 수 있는 범위를 넓히는 것이 아니라, 지금 찾은 자료의 범위 안으로 답을 좁히는 것입니다. 이렇게 하면 그럴듯한 지어낸 이야기를 줄이기 쉬워집니다.

마지막으로는, 답과 함께 "어떤 자료를 봤는지"를 돌려줄 수 있는 형태로 만드는 경우가 많습니다. 이것은 아주 중요합니다. 사람이 확인할 수 있기 때문입니다. 만약 관련 자료를 찾지 못했다면, "찾지 못했습니다"라고 돌려주는 편이 더 안전합니다. RAG는 무엇이든 답할 수 있는 마법이 아닙니다. 찾지 못했을 때, 찾지 못했다고 말할 수 있는 장치까지 포함해 생각해야 합니다.

잘 움직이게 하기 전에, 무엇을 갖춰야 할까

RAG를 시작할 때 가장 먼저 정해야 할 것은 "어떤 질문에 답하게 할 것인가"입니다. 이 범위를 너무 넓히면 실패하기 쉬워집니다. 잘 맞는 것은, 사내에서 여러 번 묻고, 답이 자료에 적혀 있으며, 최신판이 정해져 있는 내용입니다. 예를 들면 신청 절차, 자주 들어오는 문의에 대한 안내, 사내 규칙 확인 같은 것입니다.

다음으로 필요한 것은, 바탕이 되는 자료를 정리하는 일입니다. AI에 넣기 전에 사람이 읽어도 헷갈리지 않는 상태에 가깝게 만듭니다. RAG는 어질러진 서랍에서도 일단은 찾을 수 있지만, 잘못 찾는 일이 늘어납니다. 특히 "같은 내용이 다른 곳에 조금씩 적혀 있다", "오래된 판이 남아 있다", "누가 고치는 자료인지 알 수 없다"는 위험합니다.

• 최신판이 무엇인지 한눈에 알 수 있게 한다
• 하나의 규칙은 가능한 한 한 곳에 모은다
• 자료 이름뿐 아니라, 만든 부서와 검토 시기도 알 수 있게 한다
• 사진만 있는 자료보다, 글자로 읽을 수 있는 자료를 우선한다

자료의 형태도 중요합니다. 이미지만 있는 문서나 손글씨 메모 사진은 내용을 놓치기 쉬워집니다. 제목이 없고 긴 글이 계속 이어지는 자료도 불리합니다. 사람이 읽기 쉬운 자료는 대체로 기계도 다루기 쉽습니다. 그래서 RAG 준비는 특별한 기계 이야기에 가깝다기보다, 인수인계 문서를 정리하는 일에 가깝습니다.

또한, "누구를 위한 답인가"도 정해 두면 흔들리지 않기 쉽습니다. 직원용인지, 관리자용인지, 외부용인지에 따라 같은 자료를 바탕으로 해도 답하는 방식이 달라집니다. RAG는 자료를 찾는 장치이지만, 누구에게 답하는지까지 자동으로 알아차려 주는 것은 아닐 수 있습니다. 처음부터 쓰는 상황을 좁혀 두는 편이 성공하기 쉽습니다.

자주 막히는 지점과, 하면 안 되는 일

흔한 실수는, "자료가 많을수록 좋다"고 생각해 버리는 것입니다. 실제로는 반대입니다. 필요 없는 자료나 오래된 자료가 섞일수록 헷갈리기 쉬워집니다. 사람도 오래된 절차서와 새로운 절차서가 같은 선반에 있으면 혼란스럽습니다. RAG도 같습니다. 먼저 양보다 정리가 중요합니다.

다음으로 자주 막히는 부분은, "답이 이상하면 AI가 문제다"라고 보는 것입니다. 물론 장치를 조정해야 하는 경우도 있지만, 근본 원인은 자료 쪽에 있는 경우가 적지 않습니다. 원래 규정이 모호하거나, 표현이 부서마다 다르거나, 예외가 덧붙인 내용으로만 남아 있는 경우입니다. 이런 흔들림이 그대로 비쳐 나옵니다. 그래서 시험할 때마다 자료로 돌아가 고치는 자세가 중요합니다.

또 하나 중요한 것은, 보여줘도 되는 정보의 경계입니다. 인사 이야기, 거래처와의 약속, 개인 정보처럼 누구나 봐도 되는 것은 아닌 자료가 있습니다. RAG는 편리하지만, 넣은 것을 무엇이든 똑같이 써도 되는 것은 아닙니다. 누구에게, 어느 자료까지 보여줄 것인지를 먼저 정한 뒤에 진행해야 합니다.

• 오래된 자료와 새로운 자료를 함께 넣은 채로 내버려 둔다
• 답변 예문만 늘리고, 원래 규정이나 절차는 넣지 않는다
• 출처를 보여주지 않고, 답만 그대로 믿게 만든다
• 틀린 내용을 고칠 담당자를 정하지 않은 채 시작한다

또한, 질문하는 쪽에도 요령이 필요합니다. "이거 어떻게 되었죠"처럼 너무 짧게 물으면, 필요한 자료를 좁혀 찾지 못할 때가 있습니다. 어떤 상황 이야기인지, 누가 쓰는 것인지, 무엇을 하고 싶은지까지 덧붙이면 답이 더 안정되기 쉽습니다. RAG는 만능은 아니지만, 묻는 방식과 자료를 정리하는 방식을 함께 맞추면 강해지는 구조입니다.

도입은 작게 시작해 확인하기

처음부터 전사적으로 쓸 수 있는 것을 목표로 하지 않는 편이 안전합니다. 먼저 한 부서에서 자주 나오는 질문 하나를 고릅니다. 예를 들면 신청하는 방법, 사내 반입 물품 규칙, 문의 창구 안내 같은 것입니다. 질문의 답이 거의 사내 자료로 정해지는 일이 잘 맞습니다. 사람의 마음을 살피는 일이나, 복잡한 판단이 많은 일은 처음 주제로는 너무 무겁습니다.

다음으로, 실제 현장에서 나온 질문을 모읍니다. 떠오르는 대로 만든 질문이 아니라, 평소 정말로 자주 물어보는 내용이 중요합니다. 그리고 그 질문에 사람이 공식 자료만 써서 답하면 어떻게 되는지 봅니다. 이렇게 비교할 대상이 있으면, RAG의 답이 어디서 어긋나는지 찾기 쉬워집니다.

시험한 뒤에 봐야 할 점은 화려함이 아닙니다. 답이 빠른지보다, 근거가 있는지, 오래된 자료를 가져오지 않았는지, 찾지 못했을 때 억지로 답하지 않는지를 봐야 합니다. 여기서 어긋남이 있으면, 자료 수정, 자료 나누는 방식 재검토, 질문 방법 안내 중 어디로 돌아가야 할지 정합니다. RAG 만들기는 한 번 만들고 끝나는 일이 아니라, 운영하는 형태를 다듬어 가는 일입니다.

그리고 마지막으로, 누가 돌볼 것인지 정합니다. 자료를 고치는 사람. 질문이 어떻게 모이는지 보는 사람. 쓰는 사람의 어려움을 받는 사람. 이 역할이 모호하면 처음에만 움직이고 금방 낡아집니다. 편리한 구조일수록 뒤에서 챙기는 사람이 필요합니다.

정리

RAG는 AI를 똑똑해 보이게 하는 장식이 아닙니다. 사내에 있는 공식 정보를 필요한 때에 꺼내 와서, 답의 초안에 쓰는 구조입니다. 그래서 성공의 핵심은 기계의 어려운 이야기보다, 자료 정리와 운영 규칙에 있습니다.

내일 할 일은 먼저 작고 구체적으로 정하는 것입니다.

• 사내에서 여러 번 묻는 질문 하나를 고른다
• 그 답의 바탕이 되는 공식 자료만 모으고, 오래된 것은 따로 나눈다
• 자료를 글자로 읽을 수 있는 형태로 만들고, 제목과 최신판이 보이게 한다
• 실제 질문으로 시험하고, 출처를 확인하면서 답을 다시 본다
• 틀린 내용을 고칠 담당자와, 찾지 못했을 때 문의할 곳을 정한다