Wie KI die Informationsbeschaffung verändert und was als Nächstes auf Sie zukommt
Das Jahr 2024 markierte einen Wendepunkt für Information Retrieval (IR), angetrieben durch bemerkenswerte Fortschritte in der KI—insbesondere im Deep Learning. Verbesserungen bei Datenumfang, Rechenleistung und Modellgröße katalysierten einen Paradigmenwechsel, der IR von traditionellem schlüsselwortbasiertem Matching hin zu Deep-Learning-getriebenen Ansätzen verlagerte. Die zunehmende Verbreitung von large language models (LLMs) transformierte Suche, Informationsextraktion und Wissenssynthese weiter und brachte mehr Intelligenz und Innovation.
Vom Aufstieg der retrieval-augmented generation (RAG) bis hin zu fortgeschrittenerem Graph RAG, das Knowledge-Engineering-Techniken mit RAG integriert, erlebte Information Retrieval eine tiefgreifende Transformation. Diese Fortschritte haben KI demokratisiert und ihre Anwendungen in den Bereichen Enterprise Search, Content Discovery, Wissensmanagement und Datensynthese erweitert, was eine breite Einführung vorantreibt und neue Benchmarks für die Branche setzt.
Dieser Blog fasst die monumentalen Veränderungen zusammen, die KI im Jahr 2024 für Information Retrieval (IR) mit sich brachte, und untersucht, wie Deep Learning, LLMs und Vektordatenbanken Suche, Datenanalyse und Wissenssynthese neu definiert haben. Wir werfen außerdem einen Blick auf die für 2025 erwarteten Innovationen, darunter Fortschritte bei RAG, multimodalen Embeddings und KI-Infrastruktur, die die Grundlage für die nächste Welle KI-gestützter Anwendungen schaffen.
Scaling Law: Die treibende Kraft hinter KI-Fortschritten
Das Scaling Law ist der zentrale Treiber der KI-Fortschritte im Jahr 2024. Größere Modellgrößen, Datensätze und Rechenressourcen haben immer leistungsfähigere LLMs wie GPT-4o und Claude 3.5 hervorgebracht, ebenso wie leistungsfähigere Embedding-Modelle wie OpenAIs text-embedding-3-large und das Open-Source-Modell BGE-M3. Diese Fortschritte haben die Generalisierung über Domänen hinweg erheblich verbessert und neue Benchmarks für Verständnis- und Retrieval-Aufgaben gesetzt.
Information-Retrieval-(IR)-Systeme und LLMs sind tief integriert worden und nutzen externe Datenquellen, indem sie semantische Suche, Volltext-Retrieval und Werkzeuge wie Wissensgraphen (KGs) zu einheitlichen Systemen kombinieren. Darüber hinaus können fortschrittliche LLMs mit Fähigkeiten zum Schlussfolgern und zur Selbstreflexion als Agenten agieren und autonom entscheiden, wann Retrieval-Werkzeuge eingesetzt werden sollen. Diese Integration hat differenzierteres Schlussfolgern, präzises Retrieval und menschenähnliche Antwortgenerierung ermöglicht und Suchmaschinen, Enterprise-Wissensdatenbanken und Conversational-AI-Plattformen transformiert.
Abbildung: Das Verständnis der Suchintention durch die Schlussfolgerungsfähigkeit von LLMs ersetzt komplexe Algorithmen in der traditionellen Websuche
Entwicklung von RAG: Vom Prototyp zur Produktion
Retrieval-Augmented Generation (RAG), eingeführt als praktischer Ansatz zur Erweiterung von LLMs mit externen Wissensdatenbanken, reifte im Jahr 2024 erheblich. Es entwickelte sich von Twitter-Demos zu produktionsreifen Systemen und fand branchenübergreifend Anwendung—von Enterprise-Wissensdatenbanken bis hin zu Chatbots für Endverbraucher. Sehen wir uns an, wie es gereift ist.
Qualitätsverbesserung durch Hybrid Search und Reranker
Cross-Encoder-basierte Reranker verbessern die Retrieval-Genauigkeit, indem sie die Relevanz zwischen Anfrage und Dokument direkt bewerten, anstatt sich ausschließlich auf Vektorähnlichkeit zu verlassen. Typischerweise nach dem initialen Retrieval über die Suche mit Approximate Nearest Neighbor (ANN) angewendet, führen diese Reranker eine tiefgehende kontextuelle Analyse durch, um die relevantesten Ergebnisse zu priorisieren. Dieser nuancierte Ansatz kann die Präzision und Qualität von RAG-generierten Antworten verbessern.
Abbildung: Wie verbessert ein Reranker Ihre RAG-Apps?
Offline-Labeling und Metadatenfilterung
Die Offline-LLM-gestützte Label-Extraktion hat das Tagging von Dokumenten mit Metadaten wie Versionsnummern oder abgedeckten Funktionen automatisiert. Beispielsweise stellen Metadatenfilter sicher, dass Anfragen wie „Welche Indextypen werden in Milvus 2.5 unterstützt?“ nur relevante Informationen abrufen und irrelevante Ergebnisse aus anderen Versionen vermeiden.
Diese Innovationen haben die Anpassungsfähigkeit von RAG in komplexen Szenarien verbessert, die eine höhere Antwortqualität oder eine feinere Kontrolle über Antworten erfordern. Infolgedessen haben sich die Anwendungen von RAG auf vielfältige Anwendungsfälle ausgeweitet, darunter Kundensupport, technische Dokumentation und Wissensmanagement in Unternehmen.
Verbesserung von Dokumentparsing und Vorverarbeitung mit LLMs
Die Integration großer Sprachmodelle (LLMs) in die Dokumentvorverarbeitung hat den Umgang mit unstrukturierten Daten, wie PDF-Dateien und gescannten Bildern, revolutioniert. Tools wie LlamaIndexs LlamaParse und Unstructured.io haben die Extraktion strukturierter Daten aus komplexen Dokumenten ermöglicht. Viele Dokumentverarbeitungstools umfassen inzwischen OCR-Funktionen, wobei einige sogar Vision-Language-Modelle nutzen, um tabellarische Daten und Rohtext zu extrahieren. Diese Funktionalität ist besonders nützlich für Branchen wie Recht, Gesundheitswesen und Finanzen, die häufig stark auf tabellarische Daten angewiesen sind.
Darüber hinaus nutzen anspruchsvollere Datenverarbeitungstechniken LLMs als Vorprozessoren und bieten damit erhebliche Fortschritte. Ein Beispiel ist kontextuelles Retrieval, das die Genauigkeit des Informationsabrufs verbessert, indem es den Kontextverlust während des Document Chunking adressiert. Indem jeder Chunk mit spezifischen kontextuellen Details aus dem umfassenderen Dokument angereichert wird, stellen LLMs sicher, dass der abgerufene Inhalt umfassender und somit leichter abrufbar ist und die Frage des Nutzers direkt beantwortet. Beispielsweise können Roh-Chunks aus einem Finanzbericht wichtigen Kontext vermissen lassen, etwa das besprochene Unternehmen und den relevanten Zeitraum. Die Zusammenfassung zusätzlichen Kontexts aus dem gesamten Bericht erweist sich als vorteilhaft. In Kombination mit hybridem Retrieval und Re-Ranking verbessert dieser Ansatz die Relevanz der Retrieval-Qualität und macht RAG praktischer. Kontextuelles Retrieval kann in Kombination mit Prompt-Caching kosteneffizient sein, da Caching-Funktionen die Kosten senken, indem sie die wiederholte Verarbeitung derselben Inhalte vermeiden.
Abbildung: Ein Beispiel für die Verwendung eines LLM zur Verbesserung von Dokumentparsing und Vorverarbeitung
ColBERT und ColPali: Über den Tellerrand hinaus denken
Konventionelle Retrieval-Modelle hängen typischerweise von Single-Vector-Embeddings ab, um ganze Dokumente darzustellen, was ihre Fähigkeit einschränkt, feingranulare Beziehungen zwischen Abfragen und Dokumenten zu erfassen. ColBERT (Contextualized Late Interaction over BERT) führte einen transformativen Late-Interaction-Mechanismus ein, der Multi-Vector- oder Token-Level-Repräsentationen nutzt und dadurch ein detaillierteres und kontextbewussteres Retrieval ermöglicht. Anstatt ein Dokument auf einen einzigen Vektor zu reduzieren, kodiert ColBERT Dokumente und Abfragen in Mengen kontextueller Embeddings. Die MaxSim-Operation gleicht dann jedes Abfrage-Token mit dem ähnlichsten Dokument-Token ab und erzeugt einen ganzheitlichen und feingranularen Relevanzwert. Dieser Ansatz verbessert die Retrieval-Präzision und bewahrt zugleich die Recheneffizienz, indem er die Vorberechnung von Dokument-Embeddings unterstützt.
Abbildung: Wie ColBERT funktioniert
ColPali erweiterte die Innovationen von ColBERT durch die Integration von Vision Language Models (VLMs), die multimodale Inhalte wie Text, Bilder und Diagramme als einheitliche Embeddings darstellen. Dieser Ansatz bewahrte die visuelle und strukturelle Integrität von Dokumenten, umging traditionelle OCR- und Segmentierungsherausforderungen und verbesserte die RAG-Leistung für multimodale Daten.
Aufbauend auf ColBERT erweitert ColPali diese Innovation auf multimodales Retrieval durch die Integration von Vision Language Models (VLMs). Dies ermöglicht die einheitliche Darstellung verschiedener Inhaltstypen, darunter Text, Bilder und Diagramme. ColPali bewahrt den strukturellen und visuellen Charakter von Dokumenten und vermeidet die Fallstricke traditioneller Methoden der optical character recognition (OCR). Dieser Fortschritt verbessert die Leistung von RAG für multimodale Datensätze erheblich und macht es zu einem idealen Werkzeug für Anwendungen, die das Verstehen textueller und visueller Informationen erfordern.
Abbildung: Wie ColPali funktioniert
Knowledge Engineering im Zeitalter von LLMs
Im Jahr 2024 erlebten strukturierte Wissenswerkzeuge wie Ontologien und Knowledge Graphs (KGs) eine Renaissance, indem sie Large Language Models (LLMs) ergänzten und Antworten in faktischen Daten verankerten. Dieser Ansatz reduzierte Halluzinationen und ermöglichte genauere, domänenspezifische Retrieval-Systeme. Eine bemerkenswerte Innovation war Graph RAG, das traditionelle RAG-Systeme erweiterte, indem es KGs in den Retrieval-Prozess integrierte. Im Gegensatz zu Basis-RAGs, die sich ausschließlich auf semantische Ähnlichkeit konzentrieren, unterstützt Graph RAG Multi-Hop-Reasoning und verknüpft disparate Datenpunkte, wodurch seine Fähigkeit verbessert wird, komplexe Abfragen zu beantworten, etwa das Nachverfolgen historischer Beziehungen oder das Navigieren durch komplexe Datensätze.
LLMs können nun nahtlos unstrukturierten Text in strukturierte Knowledge Graphs umwandeln, die Entitäten und ihre wechselseitigen Beziehungen darstellen. In Kombination mit KGs fördern diese Systeme semantisches Reasoning und liefern tiefere Einblicke, wodurch sie die Grenzen traditioneller RAG-Pipelines überwinden. Diese Fortschritte unterstreichen die transformative Wirkung von LLMs beim Dokument-Parsing und Preprocessing, insbesondere in datenintensiven Branchen und solchen mit hohen Anforderungen.
Abbildung: KEPLER: Ein einheitliches Modell für Knowledge Embedding und Pre-trained Language Representation | Quelle
Text2SQL: Demokratisierung des Datenzugriffs
Die Komplexität von SQL und Datenbankschemata beschränkt den Datenzugriff oft auf erfahrene Analysten. Im Jahr 2024 ermöglichten Text-to-SQL-Technologien nicht-technischen Nutzern, Datenbanken in natürlicher Sprache abzufragen. Solche Technologien nutzen LLMs, um natürliche Sprache in präzise SQL-Abfragen zu übersetzen, wodurch Analyse-Workflows transformiert und datengetriebene Entscheidungsfindung in Unternehmen demokratisiert wird.
In Kombination mit RAG-Pipelines überbrückte Text2SQL die Lücke zwischen strukturierten Datenbanken und unstrukturierten Retrieval-Systemen und machte KI-gestützte Erkenntnisse zugänglicher. Andererseits ist die Vektordatenbank ein entscheidendes Werkzeug, um LLMs beim Erstellen von SQL zu unterstützen, indem sie relevante Daten mit hoher Kardinalität oder zugehörige SQL-Beispiele speichert.
Abbildung – Wie Zilliz Cloud und Waii funktionieren, um Text2SQL zu implementieren
Ein Rückblick auf das transformative Jahr 2024
Das Jahr 2024 war ein Wendepunkt für Information Retrieval (IR). Fortschritte im Deep Learning und bei Large Language Models (LLMs) haben neu definiert, wie Informationen gesucht, verarbeitet und analysiert werden.
Text-Embedding-Modelle ergänzen inzwischen traditionelle Volltextsuchsysteme – oder ersetzen sie sogar – und liefern genauere und kontextbewusstere Ergebnisse. Die Bildsuche hat bemerkenswerte Fortschritte gemacht. Aufgaben, die früher Hunderte spezialisierter Klassifikationsmodelle erforderten, wurden durch multimodale Embedding-Modelle optimiert, die Text, Bild und andere Datenformate in einem einzigen, effizienten Framework vereinen. Ebenso haben LLMs die Kennzeichnung von Wissensentitäten schneller und kosteneffizienter gemacht und ermöglichen so die Erstellung vollständig automatisierter Wissensgraphen. Gleichzeitig generieren autonome Agenten heute SQL-Abfragen, um Erkenntnisse aus relationalen Datenbanken abzurufen, wodurch Analysen vereinfacht und die Datenzugänglichkeit verbessert werden.
Als jemand, der seit Jahren tief in Information Retrieval eingebunden ist und der Schöpfer der Milvus-Vektordatenbank ist, finde ich es spannend, diese transformativen Veränderungen mitzuerleben. Die Innovationen des Jahres 2024 haben ein solides Fundament gelegt, und 2025 verspricht, auf dieser Dynamik aufzubauen – mit einem Anstieg innovativer Anwendungen, die Retrieval-Augmented Generation (RAG), multimodale Embeddings und agentische Workflows nutzen.
Eine Vision für 2025: Milvus und die Zukunft der KI-Infrastruktur
Während KI weiter reift, wird der Bedarf an robuster und skalierbarer Dateninfrastruktur zunehmend kritisch. Vektordatenbanken wie Milvus und Zilliz Cloud, ein Eckpfeiler von Deep-Learning-basiertem IR, stellen sich dieser Herausforderung. Unsere Vision bei Zilliz für 2025 ist ambitioniert: schnellere Suchgeschwindigkeiten, niedrigere Speicherkosten und eine nahtlose Integration in bestehende Datenökosysteme sowie verschiedene aufkommende KI-Technologien zu bieten.
Die bevorstehende Veröffentlichung von Milvus 3.0 wird den Beginn einer neuen Ära für Vektordatenbanken markieren. Sie wird einen cloud-nativen Vector Lake einführen, der Hunderte Milliarden von Datenpunkten mit beispielloser Geschwindigkeit und Effizienz verarbeiten kann. Mit Abfrageantwortzeiten von unter 10 Millisekunden und nahezu in Echtzeit erfolgender interaktiver Datenerkundung wird Milvus 3.0 neu definieren, was für KI-gestützte Anwendungen möglich ist. Während Vektordatenbanken ihre Rolle als Eckpfeiler moderner KI-Infrastruktur festigen, werden sie Chancen für die nächste Welle KI-getriebener Anwendungen erschließen.
Wenn Sie gespannt darauf sind, was 2025 für KI bereithält, gibt es keinen besseren Zeitpunkt, mit dem Entwickeln zu beginnen. Entdecken Sie unsere umfassenden Leitfäden und Tutorials und machen Sie den ersten Schritt zur Erstellung Ihrer eigenen hochmodernen KI-Anwendungen.
Weiterlesen
Zilliz Cloud Now Available in AWS Asia Pacific (Seoul)
Zilliz Cloud is now available in AWS Seoul — low-latency vector search, in-country data residency, and one-step migration for Korean AI teams. 31 regions across 5 clouds.
My Wife Wanted Dior. I Spent $600 on Claude Code to Vibe-Code a 2M-Line Database Instead.
Write tests, not code reviews. How a test-first workflow with 6 parallel Claude Code sessions turns a 2M-line C++ codebase into a daily shipping pipeline.
Zilliz Cloud Update: Tiered Storage, Business Critical Plan, Cross-Region Backup, and Pricing Changes
This release offers a rebuilt tiered storage with lower costs, a new Business Critical plan for enhanced security, and pricing updates, among other features.