벡터 검색과 RAG - 정확도와 맥락의 균형
소개
대규모 언어 모델(LLM)은 특히 머신러닝과 자연어 처리 분야에서 상당한 진전을 이루어, 기계가 복잡한 작업을 쉽게 처리할 수 있게 했습니다. 그러나 LLM 기술이 성장하면서 고유한 문제에 직면했습니다: AI 환각입니다. 이는 AI가 부정확하거나 거짓된 정보를 생성하는 경우로, 이러한 시스템이 얼마나 신뢰할 수 있는지 의문을 갖게 만듭니다. AI/ML 분야에서 풍부한 경험을 가진 Zilliz의 Developer Advocate인 Christy Bergman은 최근 Unstructured Data Meetup에서 이러한 환각의 영향과 AI 시스템의 배포에 어떤 영향을 미치는지에 대해 이야기했습니다.
발표 중 Christy는 AI 환각의 원인과 그 영향을 논의했습니다. 또한 사용자의 질문과 관련된 관련성 있고 최신의 정보를 제공함으로써 언어 모델을 더 신뢰할 수 있게 만드는 데 사용되는 방법인 Retrieval Augmented Generation (RAG)이라는 핵심 개념도 언급했습니다. 이 기법은 모델이 최근 뉴스나 연구와 같은 최신 데이터에 접근하여 더 나은 답변을 제공하고 실수를 줄일 수 있도록 보장하는 데 도움이 됩니다.
AI 환각 이해하기
AI 환각은 인공지능 시스템, 특히 대규모 언어 모델 기반 시스템이 사실적으로 부정확하거나, 오해의 소지가 있거나, 완전히 조작된 출력을 생성하는 현상을 말합니다.
이 문제는 여러 가지 이유로 발생할 수 있습니다:
맥락 부족: AI 모델은 특히 복잡하거나 미묘한 질의를 다룰 때 정확한 응답을 생성하기에 충분한 맥락을 갖지 못할 수 있습니다.
훈련 데이터 문제: AI 모델을 훈련하는 데 사용되는 데이터에는 오류, 편향 또는 오래된 정보가 포함될 수 있으며, 모델은 이를 의도치 않게 복제할 수 있습니다.
과도한 일반화: AI 모델은 훈련 데이터로부터 과도하게 일반화하여, 새로운 입력에 직면했을 때 잘못된 추론으로 이어질 수 있습니다.
설계 한계: 일부 AI 아키텍처는 출력의 진실성을 검증하도록 설계되지 않았으며, 대신 훈련 데이터를 기반으로 통계적으로 그럴듯한 응답을 생성하는 데 초점을 맞춥니다.
Christy는 Unstructured Data Meetup에서 이에 대한 훌륭한 예를 들었습니다. 그녀는 AI 시스템 "Gemini"에게 뉴욕에서 태어난 정치인 세 명을 나열해 달라고 요청했는데, Gemini는 Hillary Clinton을 포함했습니다. 이는 그녀가 시카고에서 태어났기 때문에 틀린 답입니다.
이 예는 AI가 단순하고 명확한 질문에서도 실수를 할 수 있음을 보여줍니다.
Christy가 언급했듯이, “LLM은 Reddit과 같은 비전통적인 출처로 훈련될 수 있으며, 이는 특이한 결과로 이어질 수 있다는 점에 유의하세요.”
RAG가 환각을 완화하는 방법
Retrieval Augmented Generation (RAG)은 AI 모델의 정확성과 신뢰성을 향상시키는 것을 목표로 하는 자연어 처리의 고급 접근 방식으로, 특히 환각을 줄이는 데 중점을 둡니다.
Christy는 RAG가 생성형 AI 프로세스에 자체 데이터를 통합하는 새로운 방법이라고 설명했습니다. 간단히 말해 작동 방식은 다음과 같습니다:
먼저 데이터를 임베딩 모델에 입력합니다. 이 모델은 정보를 벡터라고 불리는 여러 숫자로 변환하고, 이 벡터는 벡터 데이터베이스에 저장됩니다.
질문을 하면 동일한 임베딩 모델이 질의도 벡터로 변환한 다음, 이 데이터베이스 또는 벡터 공간에서 가장 가까운 벡터 이웃을 검색합니다. 가장 가까운 일치를 찾으면, 이를 질문과 함께 맥락으로 사용하여 대규모 언어 모델에 프롬프트를 제공합니다. 이렇게 하면 더 정확할 가능성이 높은 답변을 얻을 수 있습니다.
이제 RAG가 AI 환각을 해결하는 방식은 다음과 같습니다:
1. 최신 상태 유지: RAG 모델은 최신 데이터를 통합할 수 있어, 응답이 최신 정보를 기반으로 하도록 보장합니다.
2. 정확성과 세부 정보: 이러한 모델은 구체적이고 관련성 높은 정보를 검색하여 정확한 답변을 제공하도록 설계되었습니다. 이 과정은 허위 또는 조작된 콘텐츠를 생성할 가능성을 줄이고, 응답이 상세하며 질문에 정확히 맞춰지도록 보장하여 지나치게 일반적인 진술을 피합니다.
RAG 시스템 구축의 과제
Retrieval Augmented Generation (RAG) 시스템을 구축하려면 여러 복잡한 단계와 결정이 필요합니다. 다음은 몇 가지 주요 과제입니다:
임베딩 모델 선택
임베딩 모드를 선택할 때는 몇 가지 핵심 요소에 집중할 수 있습니다:
벡터 차원: 다루기 쉬운 크기의 벡터를 생성하는 모델을 선택하세요.
검색 성능: Cohere와 Voyager 같은 곳의 잘 알려진 모델들이 얼마나 잘 수행되는지 살펴보세요.
모델 크기: 모델이 사용자의 컴퓨팅 역량에 맞는지 확인하기 위해 모델 크기를 고려하세요.
정확도: 모델이 사용자의 분야나 제품에 중요한 미세한 세부 사항을 파악할 수 있는지 확인하세요.
확장성: 요구 사항이 커짐에 따라 모델이 더 많은 데이터를 처리할 수 있는지 확인하세요.
그리고 선택지로는 다음 중에서 고를 수 있습니다:
오픈 소스 모델: 이러한 모델은 무료로 제공되며 Hugging Face 임베딩 모델 허브와 같은 플랫폼에서 비교하고 선택할 수 있습니다.
독점 모델: Cohere 또는 OpenAI 같은 회사는 특정 작업에 대해 고유한 기능이나 더 나은 성능을 제공할 수 있는 모델을 제공하지만 비용이 발생합니다.
인덱스 선택
적절한 인덱스 구조를 선택하는 것은 시스템 성능에 매우 중요합니다. 여기에는 다음 사항을 고려하는 것이 포함됩니다:
확장성: 인덱스는 지나치게 느려지지 않으면서 수백만 또는 수십억 개의 문서까지 확장될 수 있어야 합니다.
메모리 사용량: 특히 대규모 데이터셋을 다룰 때는 메모리를 효율적으로 사용하는 것이 중요합니다.
검색 속도 vs. 정확도: 문서를 얼마나 빠르게 검색할 수 있는지와 쿼리와 얼마나 정확하게 일치하는지 사이에는 종종 절충이 있습니다.
청킹
청킹은 더 정밀한 검색을 촉진하기 위해 문서를 더 작고 의미적으로 일관된 부분으로 나누는 것을 포함합니다.
청크 크기 결정: 너무 크면 청크의 초점이 덜 맞을 수 있고, 너무 작으면 중요한 맥락이 손실될 수 있습니다.
일관성 유지: 각 청크가 그 자체로 의미 있고 일관되게 유지되도록 보장합니다.
중복 처리: 여러 청크에 들어갈 수 있는 정보를 어떻게 관리할지 결정합니다.
키워드 또는 시맨틱 검색
키워드 기반 검색과 시맨틱 검색 중 선택은 시스템이 쿼리를 이해하고 응답하는 능력에 영향을 줄 수 있습니다.
키워드 검색은 단순하고 빠르게 보일 수 있지만, 의미적으로 관련이 있더라도 정확한 키워드를 포함하지 않는 문서를 놓치면 정확도에 큰 영향을 미칠 수 있습니다. 반대로, 시맨틱 검색은 쿼리 의도에 대한 더 깊은 이해를 제공하지만 더 많은 컴퓨팅 리소스와 정교한 모델이 필요합니다.
리랭커
리랭커는 초기 검색 결과를 정제하는 추가 모델 또는 알고리즘으로, 최종 응답 생성에 사용할 문서의 관련성과 정확도를 향상시키는 것을 목표로 합니다. 문제는 그것들을 사용할 가치가 있는지, 그리고 성공적으로 통합하려면 무엇이 필요한지입니다.
통합: 리랭커는 상당한 지연 시간을 유발하지 않으면서 시스템에 원활하게 통합되어야 합니다.
학습 데이터: 다른 모델과 마찬가지로, 리랭커도 효과적으로 작동하려면 고품질의 대표성 있는 학습 데이터가 필요합니다.
튜닝: 초기 검색과 리랭킹 단계 사이의 적절한 균형을 찾는 것은 어려울 수 있습니다.
RAG는 죽었는가?
최근 Christy의 발표에서 계속 신경 쓰이는 한 가지 질문은, long-context LLMs가 성능을 끌어올리고 있는 지금도 RAG가 여전히 주인공인가 하는 점입니다.
최근 Long Context LLMs의 발전은 Retrieval-Augmented Generation (RAG) 기법의 미래에 대한 질문을 불러일으켰습니다. 최대 1,000만 토큰까지 처리할 수 있는 Claude나 Gemini 1.5 Pro 같은 모델이 등장하면서, 일부는 RAG의 동적 검색 접근 방식이 더 이상 필요하지 않다고 주장합니다.
대결: Long Context가 RAG를 버릴 수 있을까?
이것이 모두가 이야기하는 질문입니다. 하나씩 살펴보겠습니다.
비용과 효율성:
RAG는 필요한 것만 가져오는 절약적인 특성 덕분에 컴퓨팅 비용을 절감합니다. 하지만 AI 기술 가격이 떨어지면서 long-context LLMs도 더 경제적으로 변하고 있습니다. 여기서는 박빙입니다.
검색과 추론의 역학:
Long-context LLMs는 사고 과정과 정보 검색을 결합해 답변에 더 개인화된 느낌을 만들어냅니다. 이에 비해 RAG의 사전 정보 수집은 다소 기계적으로 느껴질 수 있습니다.
확장성과 데이터 복잡성:
RAG가 수조 개의 토큰을 처리할 수 있는 능력은 비장의 카드이며, 방대하고 끊임없이 변화하는 데이터셋을 다루는 데 있어 최강자로 만들어줍니다. 이 부분에서는 long-context LLMs가 한참 뒤처집니다.
경쟁보다 협업:
둘 다 사용하면 어떨까요? RAG의 정밀성과 long-context 모델의 적응성을 결합하면 강력한 시너지를 낼 수 있습니다.
OpenAI RAG vs. 맞춤형 RAG
자, 이제 RAG가 무엇인지와 그것이 제시하는 과제들을 살펴보았습니다. 이제 RAG를 구축하는 기술적 측면으로 들어갈 시간입니다. 구체적으로, OpenAI's RAG와 Milvus 같은 벡터 데이터베이스를 사용해 맞춤형 RAG를 구축하는 것과 어떻게 비교되는지 논의하겠습니다.
청중 중 한 명이 던진 훌륭한 질문은 “Open AI RAG 대신 custom RAG를 해야 하는 이유는 무엇인가요”였습니다.
Christy가 언급했듯이 가장 중요한 부분은 “ 개발자로서 무엇을 조정해야 하는지 알 수 있도록, Open AI를 사용할 때는 얻을 수 없는 RAG 시스템에 대한 더 많은 통찰을 가질 수 있다는 점”입니다.
RAG 구축에서 OpenAI Assistant API의 역할
OpenAI Assistant API는 자체 앱 안에 AI 어시스턴트를 만들 수 있게 해주는 강력한 도구입니다. Assistant는 지침을 가지고 있으며, 모델, 도구, 파일을 사용해 사용자 쿼리에 응답할 수 있습니다. 이 API는 고객 지원이나 가상 개인 비서처럼 몰입도 높은 장기 대화가 필요한 앱에 매우 적합합니다.
OpenAI RAG와 맞춤형 RAG 비교
Christy는 RAG를 구축하기 위한 두 가지 접근 방식을 시연했습니다. 하나는 OpenAI API를 사용하는 방식이고, 다른 하나는 Milvus라는 벡터 데이터베이스로 맞춤화하는 방식입니다. 이 비교는 각 접근 방식의 차이점과 장점을 이해하는 데 도움이 될 것입니다..
다음은 OpenAI RAG와 맞춤형 RAG의 주요 차이점입니다.
| 기준 | OpenAI RAG | 맞춤형 RAG |
| 애플리케이션 적합성 | 고객 지원, 가상 개인 비서, 장기 대화에 적합 | 학술 연구 지원, 복잡한 쿼리, 사실 기반 데이터에 매우 적합 |
| 성능 및 확장성 | 빠른 응답 시간과 높은 효율성 | 데이터베이스 검색으로 인해 응답 시간이 느려질 수 있음 |
| 구현 복잡성 | 설정하고 사용하기 쉬움 | AI 모델 통합 및 데이터베이스 관리에 대한 전문 지식이 필요함 |
| 비용 고려 사항 | 사용량 기반 가격 책정 | 비용에는 컴퓨팅 리소스와 데이터베이스 유지 관리가 포함됨 |
Milvus와 같은 벡터 데이터베이스를 사용하는 맞춤형 RAG 접근 방식은 더 많은 유연성과 제어력을 제공하지만 더 많은 전문 지식과 리소스가 필요합니다
코드가 실제로 작동하는 모습을 보고 싶으신가요? 실습 예제를 보려면 이 notebook을 확인하세요!
RAG 평가 방법
RAG 파이프라인을 평가하려면 두 부분을 개별적으로 그리고 함께 살펴봐야 합니다. 또한 성능이 개선되고 있는지도 확인해야 합니다. 이를 위해서는 평가 지표와 데이터셋, 두 가지가 필요합니다.
Christy가 연설에서 이 부분을 다루면서 언급한 주요 초점은 “답변이 근거에 기반하고 있으며 질문에 충실하게 답하고 있는가”였습니다
Christy가 언급한 도구 중 하나는 Truera로, 대규모 언어 모델(LLM) 애플리케이션을 평가하고 최적화하는 데 도움을 주는 플랫폼입니다.
Truera를 사용하면 다음을 할 수 있습니다:
LLM 앱 평가
피드백 함수와 앱 추적을 사용하여 LLM 앱 선택 최적화
RAG triad와 기타 즉시 사용 가능한 피드백 함수와 같은 기능을 활용하여 환각 최소화
반응형 대시보드를 구축하고 실행 가능한 알림을 설정하여 프로덕션 LLM 앱을 대규모로 모니터링하고 추적
Christy는 RAGAs에 대해서도 이야기했는데, 이는 RAG 파이프라인 평가를 위해 특별히 구축된 프레임워크입니다. 각 파이프라인 구성 요소를 개별적으로 평가하는 데 필요한 모든 기술적 필수 요소를 제공합니다.
RAGAs에는 다음 정보가 필요합니다:
· 질문: 사용자의 쿼리
· 답변: 생성된 답변
· 컨텍스트: 외부 지식 소스에서 검색된 정보
· 정답: 질문에 대한 올바른 답변(하나의 지표에만 필요)
RAGAs는 파이프라인을 평가하기 위해 다음을 포함한 여러 지표를 제공합니다:
· 컨텍스트 정밀도: 검색된 정보가 얼마나 관련성이 있는지
· 컨텍스트 재현율: 모든 관련 정보가 검색되었는지 여부
· 충실성: 생성된 답변이 얼마나 정확한지
· 답변 관련성: 생성된 답변이 질문과 얼마나 관련성이 있는지
다른 LLM을 심판으로 사용하여 LLM 평가하기
대규모 언어 모델(LLM)을 평가하는 것은 어려울 수 있습니다. 한 가지 해결책은 LLM들이 서로를 평가하게 하는 것입니다. 이 과정에는 테스트 케이스를 생성하고 모델의 성능을 측정하는 것이 포함됩니다.
작동 방식은 다음과 같습니다:
자동 테스트 생성: LLM이 다양한 입력, 컨텍스트, 난이도를 포함한 여러 테스트 케이스를 생성합니다.
평가 지표: 평가 대상 LLM이 테스트 케이스를 해결하고, 그 성능은 정확도, 유창성, 일관성과 같은 지표를 사용해 측정됩니다.
비교 및 순위 매기기: 결과는 기준선 또는 다른 LLM들과 비교되어 각 모델의 강점과 약점을 보여줍니다.
Christy가 언급한 정말 흥미로운 점은 “GPT가 심판일 때 스스로를 더 높게 순위 매긴다”는 것으로, 이는 정확성을 보장하기 위해 LLM을 평가할 때 고려해야 할 또 다른 측면을 보여줍니다.
이 주제에 대해 더 깊이 알아보고 싶다면 이 article을 확인해 보세요.
결론
이상입니다! AI 환각과 RAG가 이 문제를 해결하는 데 어떻게 도움이 될 수 있는지 살펴보았습니다. Christy는 RAG를 구축하려면 임베딩 모델, 인덱스, 의미 검색 접근 방식에 대한 신중한 선택이 필요하다는 점을 훌륭하게 설명했습니다. AI 환각 문제를 해결하고 최신 정보의 동적 검색을 활용함으로써, RAG는 더 신뢰할 수 있고 맥락을 인식하는 AI 시스템을 만드는 강력한 도구를 제공합니다.
RAG 시스템을 구축하는 여정에는 임베딩 모델, 인덱싱, 방대한 데이터셋 처리에 대한 신중한 결정이 포함됩니다. 어렵긴 하지만, 성능과 정확성 측면에서 얻는 보상은 상당합니다.
기술적 뉘앙스에 흥미가 있든 실제 적용 사례에서 영감을 받았든, 지금이 RAG에 뛰어들기에 완벽한 시기입니다. Milvus와 같은 벡터 데이터베이스를 실험하고, 고급 검색 기법과 통합하며, RAG가 데이터 검색과 AI 상호작용을 어떻게 변화시킬 수 있는지 직접 확인해 보세요.
계속 읽기
Introducing Functions and Model Inference on Zilliz Cloud: Automatic Embedding and Reranking with Hosted Models
Zilliz Cloud Functions auto-generate embeddings via OpenAI, Voyage AI, Cohere, or Zilliz Hosted Models. Built-in reranking — just insert text and search.
Announcing the General Availability of Zilliz Cloud BYOC on Google Cloud Platform
Zilliz Cloud BYOC on GCP offers enterprise vector search with full data sovereignty and seamless integration.
DeepSeek Always Busy? Deploy It Locally with Milvus in Just 10 Minutes—No More Waiting!
Learn how to set up DeepSeek-R1 on your local machine using Ollama, AnythingLLM, and Milvus in just 10 minutes. Bypass busy servers and enhance AI responses with custom data.