AI가 정보 검색을 어떻게 변화시키고 있으며, 당신에게 다음은 무엇인가
2024년은 AI, 특히 딥러닝의 놀라운 발전에 힘입어 정보 검색 (IR)에 있어 중대한 전환점이 되었습니다. 데이터 규모, 컴퓨팅 파워, 모델 크기의 개선은 패러다임 전환을 촉진하여, IR을 전통적인 키워드 기반 매칭에서 딥러닝 기반 접근 방식으로 이동시켰습니다. 대규모 언어 모델 (LLMs)의 도입이 증가하면서 검색, 정보 추출, 지식 합성이 더욱 변화하여 더 큰 지능과 혁신을 가져왔습니다.
검색 증강 생성(RAG)의 부상부터 지식 공학 기법을 RAG와 통합하는 더 발전된 Graph RAG에 이르기까지, 정보 검색은 심오한 변화를 경험했습니다. 이러한 발전은 AI의 민주화를 이끌고 엔터프라이즈 검색, 콘텐츠 발견, 지식 관리, 데이터 합성 전반으로 적용 범위를 확장하여 광범위한 도입을 촉진하고 업계의 새로운 벤치마크를 설정했습니다.
이 블로그에서는 2024년에 AI가 정보 검색(IR)에 가져온 거대한 변화를 요약하고, 딥러닝, LLMs, 벡터 데이터베이스가 검색, 데이터 분석, 지식 합성을 어떻게 재정의했는지 살펴봅니다. 또한 RAG, 멀티모달 임베딩, AI 인프라의 발전을 포함해 2025년에 예상되는 혁신을 전망하며, AI 기반 애플리케이션의 다음 물결을 위한 무대를 마련할 것입니다.
Scaling Law: AI 발전의 원동력
Scaling law는 2024년 AI 발전의 핵심 동인입니다. 더 큰 모델 크기, 데이터셋, 컴퓨팅 리소스는 GPT-4o와 Claude 3.5 같은 점점 더 강력한 LLMs와 OpenAI의 text-embedding-3-large, 오픈 소스 BGE-M3 같은 더 뛰어난 임베딩 모델의 등장을 가능하게 했습니다. 이러한 발전은 도메인 전반의 일반화 를 크게 개선하여 이해 및 검색 작업의 새로운 벤치마크를 설정했습니다.
정보 검색(IR) 시스템과 LLMs는 깊이 통합되어, 시맨틱 검색, 전문 검색, 지식 그래프 (KGs)와 같은 도구를 결합해 외부 데이터 소스를 통합 시스템에서 활용하고 있습니다. 또한 추론 및 자기 성찰 능력을 갖춘 고급 LLMs는 에이전트처럼 동작하여, 검색 도구를 언제 사용할지 자율적으로 결정할 수 있습니다. 이러한 통합은 더 정교한 추론, 정밀한 검색, 인간과 유사한 답변 생성을 가능하게 하여 검색 엔진, 엔터프라이즈 지식 베이스, 대화형 AI 플랫폼을 변화시키고 있습니다.
그림: LLM의 추론 능력을 통한 쿼리 의도 이해가 전통적 웹 검색의 복잡한 알고리즘을 대체
RAG의 진화: 프로토타입에서 프로덕션으로
검색 증강 생성(RAG)은 LLMs를 외부 지식 베이스로 강화하는 실용적인 접근 방식으로 소개되었으며, 2024년에 크게 성숙했습니다. Twitter 데모에서 프로덕션 준비가 완료된 시스템으로 전환되었고, 엔터프라이즈 지식 베이스부터 소비자 대상 챗봇에 이르기까지 산업 전반에서 도입이 확산되었습니다. 어떻게 성숙했는지 살펴보겠습니다.
Hybrid Search와 Rerankers를 통한 품질 개선
Cross-encoder 기반 reranker는 단순히 벡터 유사도에만 의존하는 대신 쿼리-문서 관련성을 직접 점수화하여 검색 정확도를 향상시킵니다. 일반적으로 Approximate Nearest Neighbor (ANN) 검색을 통한 초기 검색 이후에 적용되는 이러한 reranker는 가장 관련성 높은 결과의 우선순위를 정하기 위해 심층적인 문맥 분석을 수행합니다. 이러한 미묘한 접근 방식은 RAG가 생성한 답변의 정밀도와 품질을 향상시킬 수 있습니다.
그림: Reranker는 어떻게 RAG 앱을 향상시키는가?
오프라인 라벨링 및 메타데이터 필터링
오프라인 LLM 기반 라벨 추출은 버전 번호나 포함된 기능과 같은 메타데이터로 문서에 태그를 지정하는 작업을 자동화했습니다. 예를 들어, 메타데이터 필터는 “Milvus 2.5에서 지원되는 인덱스 유형은 무엇인가?”와 같은 쿼리가 다른 버전의 관련 없는 결과를 피하고 관련 정보만 검색하도록 보장합니다.
이러한 혁신은 더 높은 답변 품질이나 응답에 대한 더 세밀한 제어가 필요한 복잡한 시나리오에서 RAG의 적응성을 향상시켰습니다. 그 결과, RAG의 애플리케이션은 고객 지원, 기술 문서, 엔터프라이즈 지식 관리 등 다양한 사용 사례로 확장되었습니다.
LLM을 활용한 문서 파싱 및 전처리 향상
대규모 언어 모델(LLM)을 문서 전처리에 통합함으로써 PDF 파일 및 스캔 이미지와 같은 비정형 데이터 처리 방식이 혁신되었습니다. LlamaIndex의 LlamaParse 및 Unstructured.io와 같은 도구는 복잡한 문서에서 구조화된 데이터를 추출할 수 있게 했습니다. 많은 문서 처리 도구가 이제 OCR 기능을 포함하며, 일부는 표 형식 데이터와 원시 텍스트를 추출하기 위해 vision-language 모델까지 활용합니다. 이 기능은 표 형식 데이터에 크게 의존하는 법률, 의료, 금융과 같은 산업에 특히 유용합니다.
또한 더 정교한 데이터 처리 기법은 LLM을 전처리기로 활용하여 상당한 발전을 제공합니다. 한 가지 예는 문서 청킹 중 문맥 손실을 해결하여 정보 검색의 정확도를 높이는 contextual retrieval입니다. 더 넓은 문서에서 파생된 구체적인 문맥 세부 정보로 각 청크를 보강함으로써, LLM은 검색된 콘텐츠가 더 포괄적이 되도록 하여 사용자의 질문을 더 쉽게 검색하고 직접 답변할 수 있게 합니다. 예를 들어, 재무 보고서의 원시 청크에는 논의 중인 회사나 관련 기간과 같은 중요한 문맥이 부족할 수 있습니다. 전체 보고서에서 추가 문맥을 요약하는 것이 유용합니다. hybrid retrieval 및 re-ranking과 결합하면 이 접근 방식은 검색 품질의 관련성을 높여 RAG를 더 실용적으로 만듭니다. contextual retrieval은 prompt caching과 결합할 때 비용 효율적일 수 있는데, 캐싱 기능이 동일한 콘텐츠를 반복 처리할 필요를 줄여 비용을 절감하기 때문입니다.
그림: LLM을 사용하여 문서 파싱 및 전처리를 향상시키는 예
ColBERT와 ColPali: 틀에서 벗어나 생각하기
기존 검색 모델은 일반적으로 전체 문서를 표현하기 위해 단일 벡터 임베딩에 의존하는데, 이는 쿼리와 문서 간의 세밀한 관계를 포착하는 능력을 제한합니다. ColBERT (Contextualized Late Interaction over BERT)는 다중 벡터 또는 토큰 수준 표현을 활용하는 혁신적인 late interaction 메커니즘을 도입하여, 더 상세하고 맥락을 인식하는 검색을 가능하게 했습니다. 문서를 단일 벡터로 압축하는 대신, ColBERT는 문서와 쿼리를 맥락적 임베딩 집합으로 인코딩합니다. 그런 다음 MaxSim 연산은 각 쿼리 토큰을 가장 유사한 문서 토큰과 매칭하여, 전체적이면서도 세밀한 관련성 점수를 생성합니다. 이 접근 방식은 문서 임베딩의 사전 계산을 지원하면서 계산 효율성을 유지하고 검색 정밀도를 향상시킵니다.
그림: ColBERT 작동 방식
ColPali는 Vision Language Models (VLMs),를 통합하여 ColBERT의 혁신을 확장했으며, 텍스트, 이미지, 다이어그램과 같은 멀티모달 콘텐츠를 통합 임베딩으로 표현했습니다. 이 접근 방식은 문서의 시각적 및 구조적 무결성을 보존하고, 기존 OCR 및 세분화 문제를 우회하며, 멀티모달 데이터에 대한 RAG 성능을 향상시켰습니다.
ColBERT를 기반으로, ColPali는 Vision Language Models (VLMs)를 통합하여 이 혁신을 멀티모달 검색으로 확장합니다. 이를 통해 텍스트, 이미지, 다이어그램을 포함한 다양한 콘텐츠 유형의 통합 표현이 가능해집니다. ColPali는 문서의 구조적 및 시각적 특성을 보존하여, 기존 optical character recognition (OCR) 방법의 함정을 피합니다. 이러한 발전은 멀티모달 데이터셋에 대한 RAG의 성능을 크게 향상시켜, 텍스트 및 시각 정보를 이해해야 하는 애플리케이션에 이상적인 도구가 되게 합니다.
그림: ColPali 작동 방식
LLM 시대의 지식 공학
2024년에는 온톨로지와 knowledge graphs (KGs) 같은 구조화된 지식 도구가 다시 주목받으며, 사실 데이터에 응답을 기반시킴으로써 대규모 언어 모델(LLMs)을 보완했습니다. 이 접근 방식은 환각을 줄이고 더 정확한 도메인 특화 검색 시스템을 가능하게 했습니다. 주목할 만한 혁신 중 하나는 Graph RAG였으며, 이는 KGs를 검색 프로세스에 통합하여 기존 RAG 시스템을 확장했습니다. 의미적 유사성에만 초점을 맞추는 기본 RAG와 달리, Graph RAG는 다중 홉 추론을 지원하고 서로 다른 데이터 포인트를 연결하여, 역사적 관계를 추적하거나 복잡한 데이터셋을 탐색하는 것과 같은 복잡한 쿼리에 답하는 능력을 향상시킵니다.
LLMs는 이제 구조화되지 않은 텍스트를 엔터티와 그 상호 관계를 나타내는 구조화된 지식 그래프로 원활하게 변환할 수 있습니다. KGs와 결합될 때, 이러한 시스템은 의미론적 추론을 강화하고 더 깊은 통찰을 제공하여 기존 RAG 파이프라인의 한계를 극복합니다. 이러한 발전은 특히 데이터 집약적이고 고위험 산업에서 문서 파싱 및 전처리에 있어 LLMs의 혁신적인 영향을 강조합니다.
그림: KEPLER: 지식 임베딩과 사전 학습된 언어 표현을 위한 통합 모델 | 출처
Text2SQL: 데이터 접근의 민주화
SQL과 데이터베이스 스키마의 복잡성은 종종 숙련된 분석가에게만 데이터 접근을 제한합니다. 2024년에는 text-to-SQL 기술이 비기술 사용자도 일반 언어를 사용해 데이터베이스를 쿼리할 수 있도록 지원했습니다. 이러한 기술은 LLM을 사용해 자연어를 정확한 SQL 쿼리로 변환하여, 분석 워크플로를 혁신하고 조직 전반에서 데이터 기반 의사결정을 민주화했습니다.
RAG 파이프라인과 통합되었을 때, Text2SQL은 구조화된 데이터베이스와 비정형 검색 시스템 사이의 간극을 메워 AI 기반 인사이트에 더 쉽게 접근할 수 있게 했습니다. 반면에 벡터 데이터베이스는 관련된 고카디널리티 데이터나 관련 SQL 예제를 저장함으로써 LLM이 SQL을 작성하도록 돕는 중요한 도구입니다.
그림- Zilliz Cloud와 Waii가 Text2SQL 구현을 위해 작동하는 방식
2024년이라는 혁신적인 해의 요약
2024년은 정보 검색(IR).에 전환점이 된 해였습니다. 딥러닝과 대규모 언어 모델(LLM)의 발전은 정보가 검색, 처리, 분석되는 방식을 재정의했습니다.
텍스트 임베딩 모델은 이제 기존의 전체 텍스트 검색 시스템을 보완하거나 심지어 대체하며, 더 정확하고 맥락을 인식하는 결과를 제공합니다. 이미지 검색은 놀라운 발전을 이루었습니다. 한때 수백 개의 전문 분류 모델이 필요했던 작업들은 멀티모달 임베딩 모델에 의해 간소화되었으며, 이 모델들은 텍스트, 이미지 및 기타 데이터 형식을 하나의 효율적인 프레임워크로 통합합니다. 마찬가지로 LLM은 지식 엔터티 라벨링을 더 빠르고 비용 효율적으로 만들어, 완전 자동화된 지식 그래프 생성을 가능하게 했습니다. 한편, 자율 에이전트는 이제 관계형 데이터베이스에서 인사이트를 검색하기 위해 SQL 쿼리를 생성하여, 분석을 단순화하고 데이터 접근성을 향상시킵니다.
수년간 정보 검색에 깊이 몰두해 왔으며 Milvus vector database의 창시자인 저로서는, 이러한 혁신적 변화를 목격하는 것이 매우 흥미롭습니다. 2024년의 혁신은 견고한 기반을 마련했으며, 2025년은 검색 증강 생성(RAG), 멀티모달 임베딩, 에이전트형 워크플로를 활용하는 혁신적인 애플리케이션의 급증과 함께 이 흐름을 이어갈 것으로 기대됩니다.
2025년의 비전: Milvus와 AI 인프라의 미래
AI가 계속 성숙해짐에 따라, 견고하고 확장 가능한 데이터 인프라에 대한 필요성이 점점 더 중요해지고 있습니다. 딥러닝 기반 IR의 초석인 Milvus 및 Zilliz Cloud와 같은 벡터 데이터베이스는 이러한 과제에 부응하고 있습니다. 2025년에 대한 Zilliz의 비전은 야심찹니다. 더 빠른 검색 속도, 더 낮은 저장 비용, 기존 데이터 생태계 및 다양한 신흥 AI 기술과의 원활한 통합을 제공하는 것입니다.
곧 출시될 Milvus 3.0은 벡터 데이터베이스의 새로운 시대의 시작을 알릴 것입니다. 이는 비교할 수 없는 속도와 효율성으로 수천억 개의 데이터 포인트를 처리할 수 있는 클라우드 네이티브 벡터 레이크를 도입할 것입니다. 10밀리초 미만의 쿼리 응답 시간과 거의 실시간에 가까운 인터랙티브 데이터 탐색을 통해, Milvus 3.0은 AI 기반 애플리케이션에서 가능한 것의 경계를 재정의할 것입니다. 벡터 데이터베이스가 현대 AI 인프라의 초석으로서 역할을 공고히 함에 따라, AI 기반 애플리케이션의 다음 물결을 위한 기회를 열어줄 것입니다.
2025년이 AI에 가져올 변화에 기대가 크다면, 지금보다 더 좋은 구축 시작 시점은 없습니다. 포괄적인 가이드와 튜토리얼을 살펴보고, 자신만의 최첨단 AI 애플리케이션을 만드는 첫걸음을 내딛어 보세요.
계속 읽기
Expanding Our Global Reach: Zilliz Cloud Launches in Azure Central India
Zilliz Cloud expands to Azure Central India. This new region helps customers meet compliance, reduce latency, and optimize cloud costs when building AI applications.
Zilliz Named "Highest Performer" and "Easiest to Use" in G2's Summer 2025 Grid® Report for Vector Databases
Zilliz shines in G2's Summer 2025 Grid® Report as both "Highest Performer" and "Easiest to Use," solving the performance-usability dilemma.
Why Not All VectorDBs Are Agent-Ready
Explore why choosing the right vector database is critical for scaling AI agents, and why traditional solutions fall short in production.