Die Entwicklung und Zukunft der KI und ihr Einfluss auf Vektordatenbanken: Einblicke von Charles, CEO von Zilliz
Dies ist der zweite Teil unserer zweiteiligen Blogserie.
Willkommen zurück zum zweiten Beitrag unserer zweiteiligen Blogserie, in der wir das dynamische Zusammenspiel zwischen Künstlicher Intelligenz (KI), insbesondere großen Sprachmodellen (LLMs), und Vektordatenbanken weiter untersuchen, geleitet von den Erkenntnissen von Charles Xie, CEO von Zilliz.
Im ersten Teil haben wir die Grundlagen gelegt, indem wir die Natur und den aktuellen Stand von Vektordatenbanken untersucht, die Entwicklung von Milvus detailliert beschrieben und die zukünftige Entwicklung der Vektordatenbanktechnologie betrachtet haben. Dieser Teil baut auf diesen Grundlagen auf, befasst sich mit der Entwicklung von KI-Technologien, erörtert die entscheidende Rolle, die Vektordatenbanken im Zeitalter der Foundation Models spielen, und prognostiziert, wie diese miteinander verflochtenen Technologien künftig den Fortschritt der jeweils anderen prägen werden.
Wegweisende Vektordatenbanken: Zilliz' Pre-LLM-Reise in der KI-Innovation
Vor sechs Jahren begannen wir bei Zilliz mit der Entwicklung der Milvus-Vektordatenbank und betraten damit ein weitgehend unerforschtes Gebiet, lange vor dem Aufkommen großer Sprachmodelle. Schon damals waren wir überzeugt, dass Vektordatenbanken für ein breites Spektrum von KI-Anwendungen unerlässlich sind und umfangreiche Anwendungsfälle sowie Marktchancen eröffnen.
Damals machten Technologiegiganten wie Google, DeepMind und OpenAI zwar Fortschritte in der Algorithmusentwicklung, und NVIDIA sowie Intel steigerten die Rechenleistung, doch der entscheidende Aspekt des Datenmanagements, insbesondere für unstrukturierte Daten, die bereits 80 % der weltweiten Daten ausmachten, wurde etwas übersehen. So entstanden Vektordatenbanken als Lösung, um der dringenden Nachfrage innerhalb der Pre-LLM-KI-Landschaft gerecht zu werden. Sie stellten ein leistungsstarkes Werkzeug bereit, um unstrukturierte Daten in verschiedenen Bereichen effizient zu verwalten, darunter Sprachverarbeitung, Computer Vision und Empfehlungssysteme. Diese Technologie ermöglicht es Entwicklern, unstrukturierte Daten in der Entwicklung von KI-Apps effektiver zu nutzen, und zeigt unseren Pioniergeist im Bereich der Vektordatenbanken.
Übergang von unternehmenszentrierten Vektordatenbanken zu demokratisierter KI für alle
Als wir vor sechs Jahren unser Vorhaben starteten, war unser Hauptziel, die komplexen Anforderungen von Unternehmenskunden zu erfüllen und mit Early Adopters in Bereichen wie Empfehlungssystemen, E-Commerce und Bilderkennung zusammenzuarbeiten. Diese Sektoren verlangten nach einem zuverlässigen, skalierbaren und leistungsstarken Vektordatenbanksystem für ihre Produktionsumgebungen.
Auf unserem Weg schmiedeten wir auch strategische Allianzen mit etablierten KI-Unternehmen, insbesondere solchen, die riesige Datensätze für Natural Language Processing verarbeiteten. Zu dieser Zeit wurde die KI-Landschaft hauptsächlich von Hyperscalern und großen Konzernen dominiert, bei denen die Entwicklung von KI-Algorithmen und -Anwendungen mit erheblichen Kosten verbunden war. Diese Partnerschaften erwiesen sich als unschätzbar wertvoll und verschafften uns einzigartige Einblicke.
In den vergangenen zwei Jahren hat sich die KI-Landschaft jedoch erheblich verändert, angetrieben durch Fortschritte bei modernen KI-Technologien und die Verbreitung großer Sprachmodelle. Wir haben einen bemerkenswerten Anstieg der Zahl unabhängiger KI-Entwickler erlebt, bei denen es sich hauptsächlich um kleine Teams oder einzelne Mitwirkende handelt. Dieser Wandel steht für den Übergang von einer unternehmenszentrierten KI-Ära hin zu einer stärker demokratisierten KI-Umgebung, in der KI nun für eine breitere Palette von Teilnehmern erreichbar ist. Als Reaktion auf diese sich verändernde Landschaft haben sich unsere Ziele weiterentwickelt: Wir wollen nicht nur hochwertige Unternehmenslösungen bereitstellen, sondern Vektorsuchdienste auch für einzelne Entwickler und kleine Teams zugänglicher machen.
Andererseits haben traditionelle Großunternehmen zwar das Potenzial moderner KI-Technologien und LLMs erkannt, stehen jedoch vor Herausforderungen wie strengen Sicherheitsanforderungen und einem Mangel an moderner KI-Expertise. Wir helfen diesen Unternehmen, solche Hürden zu überwinden, indem wir unsere KI-Fähigkeiten und unsere Erfahrung bei der Erfüllung von Branchenstandards und -anforderungen nutzen.
Ein Paradebeispiel für diesen Wandel ist die Schaffung von Zilliz Cloud, einer vollständig verwalteten Version von Milvus in der Cloud, die erschwingliche Angebote und optimierte Abläufe bereitstellt, zugeschnitten sowohl auf Entwickler, die Prototyping betreiben und mit der Entwicklung von KI-Anwendungen experimentieren möchten, als auch auf Unternehmen, die moderne KI-Fähigkeiten mit Skalierbarkeit, Leistung und Fehlertoleranz suchen. Diese strategische Neuausrichtung spiegelt unser Engagement wider, KI zu demokratisieren und sicherzustellen, dass modernste Vektordatenbank-Technologien für Innovatoren auf jeder Ebene erreichbar sind.
Die Bedeutung von Vektordatenbanken in der sich rasant entwickelnden Ära von KI und LLMs
Vektordatenbanken sind für den Abruf semantischer Ähnlichkeiten innerhalb einer breiten Palette unstrukturierter Daten konzipiert, darunter Text, Bilder, Audio, Videos, Geodaten, Verhaltensmuster und komplexe biologische Sequenzen wie Genetik und Proteinstrukturen. Diese Datenbanken ermöglichen es Computern und Maschinen, diese Daten mithilfe anspruchsvoller Deep-Learning-Modelle und Algorithmen zur Wissensgewinnung und Entscheidungsfindung zu analysieren, zu verstehen und zu nutzen.
Im vergangenen Jahr war ein dramatischer Anstieg des Marktes für Vektordatenbanken zu beobachten, angetrieben durch die rasante Weiterentwicklung von LLMs wie ChatGPT. Vektordatenbanken dienen als Langzeitgedächtnis und externes Wissensreservoir von LLMs und mindern deren Probleme mit „Halluzinationen“.
Zusätzlich zu großen Sprachmodellen werden wir in den nächsten Jahren auch den Aufstieg eines breiteren Spektrums von Foundation Models erleben, der bereits im Bereich Computer Vision zu beobachten ist und sich bald auf Bereiche wie autonomes Fahren, Empfehlungssysteme und biopharmazeutische Forschung ausweiten wird. Jedes Foundation Model erfordert ein semantisches Speichersystem, das unterschiedliche Datentypen verarbeiten kann, darunter Text, Bilder und Nutzerinteraktionen. Vektordatenbanken werden sich dadurch auszeichnen, dass sie eine praktische, zugängliche und wirtschaftliche Datenmanagementlösung bieten, die den semantischen Datenabruf über verschiedene Foundation Models hinweg verbessert und Entwicklern somit umfassend zugutekommt.
Eine erwartete Steigerung der RAG-Abrufgenauigkeit um 80 % mit Milvus 3.0
Retrieval-Augmented Generation (RAG) ist eine hochmoderne KI-Technologie, die LLMs und Vektordatenbanken einbezieht. Ihr Hauptzweck besteht darin, die Halluzinationsprobleme in LLMs durch die Integration kontextueller Informationen zu beheben. Ein typisches RAG-System besteht aus einer Vektordatenbank, einem LLM und Prompts als Code. Die Vektordatenbank spielt in diesem System eine entscheidende Rolle, indem sie domänenspezifische oder private Informationen speichert und die relevantesten Teile als Kontexte für das LLM abruft. Dieser Prozess ermöglicht es dem LLM, genauere und hochwertigere Antworten zu generieren.
Trotz erheblicher Fortschritte in der RAG-Technologie im vergangenen Jahr bleibt das Erreichen einer hohen Abrufgenauigkeit eine Herausforderung. Um dieses Problem anzugehen, führen wir in unserer kommenden Version von Milvus 3.0 erweiterte hybride Suchfunktionen ein. Es wird erwartet, dass diese Kombination aus keywordbasierter präziser Suche und vektorbasierter Ähnlichkeitssuche die Recall-Raten von RAG von den bisherigen 30%-40% auf 80%-90% anhebt und damit ein breiteres Spektrum an Anwendungsfällen abdeckt.
Was bedeutet das Erreichen von 80% Genauigkeit? Betrachten wir eine RAG-Anwendung auf Enterprise-Niveau: Mit einer Genauigkeitsrate von 60% übertrifft sie bereits die analytischen Fähigkeiten der Hälfte der Belegschaft des Unternehmens. Eine Steigerung dieser Rate auf 80% bedeutet jedoch, dass die Ausgabequalität der KI die von 80% bis 90% der Mitarbeitenden, einschließlich leitender Führungskräfte, übertreffen würde. Das Erreichen eines Genauigkeitsmaßstabs von 80% zeigt somit, dass KI präzisere und qualitativ hochwertigere Ergebnisse liefern kann, wodurch die Benutzererfahrung revolutioniert und die Wirkung KI-gestützter Produkte verstärkt wird.
ChatGPT und Vektordatenbanken: Ergänzung oder Wettbewerber in der semantischen Suche?
Large Language Models wie ChatGPT und Vektordatenbanken nutzen Vektoreinbettungen, um die semantische Bedeutung unstrukturierter Daten darzustellen und zu verstehen. Diese Einbettungen werden mithilfe von Distanzmetriken wie euklidischer Distanz oder Kosinus verglichen, was eine effiziente Datenanalyse und Abfrage auf Basis der semantischen Ähnlichkeit der Daten ermöglicht. Diese Synergie wirft Fragen zum Potenzial von ChatGPT auf, Vektordatenbanken in der semantischen Suche zu verdrängen.
Trotz ihrer sich überschneidenden Funktionalitäten ist ChatGPT kein Ersatz für Vektordatenbanken. Die Stärke von ChatGPT liegt darin, auf Basis der erhaltenen Eingaben kohärenten und kontextuell relevanten Text zu verstehen und zu generieren, statt als Datenbank zu fungieren, um exakte semantische Lookup-Operationen durchzuführen. Vektordatenbanken hingegen sind speziell darauf ausgelegt, Vektoreinbettungen zu speichern und abzurufen, wodurch effiziente semantische Ähnlichkeitssuchen ermöglicht werden.
Darüber hinaus unterscheiden sich die Kostenauswirkungen der Durchführung semantischer Suchen zwischen Vektordatenbanken und LLMs erheblich. Die Ausführung semantischer Suche in einem Vektordatenbanksystem erweist sich als ungefähr 100-mal kosteneffizienter als die Durchführung dieser Operationen innerhalb eines Large Language Model. Dieser erhebliche Kostenunterschied veranlasst viele führende KI-Unternehmen, darunter OpenAI, dazu, den Einsatz von Vektordatenbanken in KI-Anwendungen für semantische Suche und k-Nearest-Neighbor-Suche zu befürworten.
Der Unterschied zwischen LLMs und Vektordatenbanken wird in den nächsten fünf Jahren deutlicher werden. LLMs sind darauf ausgerichtet, sich zu hochentwickelten semantischen Prozessoren auf traditioneller Computing-Infrastruktur zu entwickeln. Gleichzeitig haben sich Vektordatenbanken zu hochentwickelten semantischen Speicherlösungen entwickelt, die intelligente Datenabfrage auf standardmäßigen Speichermedien wie Festplatten, Bändern, Cloud-Speicher und Dateisystemen ermöglichen.
Die Zukunft der KI: Der Aufstieg erschwinglicher allgemeiner Intelligenz innerhalb von fünf Jahren
Im kommenden halben Jahrzehnt, während sich Machine-Learning-Algorithmen weiterentwickeln, wird prognostiziert, dass KI exponentiell intelligenter wird, möglicherweise 100-mal intelligenter als heute. Die entscheidende Herausforderung liegt jedoch darin, diese fortschrittliche KI zugänglich und erschwinglich zu machen. Während die mit KI-Implementierungen verbundenen Ausgaben rückläufig sind, bleiben die kumulierten Kosten, einschließlich der Anschaffung von Hardware, der Nutzung großer Sprachmodelle und der laufenden betrieblichen Wartung, weiterhin beträchtlich hoch. Beispielsweise könnte eine Senkung der Abonnementgebühr eines KI-Assistenten von $20-30 auf $3-5 pro Monat seine Nutzerbasis erheblich erweitern. Daher ist die Vision für die nächsten fünf Jahre das Aufkommen erschwinglicher allgemeiner Intelligenz (AGI), die darauf abzielt, KI-Lösungen für alle Einzelpersonen und Unternehmen wirtschaftlich tragfähig zu machen und dadurch die Demokratisierung der KI-Technologie zu erreichen.
Als Anbieter von Vektordatenbanken verpflichten wir uns, zu dieser Zukunft beizutragen, indem wir die Effizienz des Datenmanagements verbessern und Kosten senken, wodurch ein breiterer Zugang zu KI-Technologien ermöglicht wird.
Weiterlesen
Democratizing AI: Making Vector Search Powerful and Affordable
Zilliz democratizes AI vector search with Milvus 2.6 and Zilliz Cloud for powerful, affordable scalability, cutting costs in infrastructure, operations, and development.
How to Build RAG with Milvus, QwQ-32B and Ollama
Hands-on tutorial on how to create a streamlined, powerful RAG pipeline that balances efficiency, accuracy, and scalability using the QwQ-32B and Milvus.
DeepSeek Always Busy? Deploy It Locally with Milvus in Just 10 Minutes—No More Waiting!
Learn how to set up DeepSeek-R1 on your local machine using Ollama, AnythingLLM, and Milvus in just 10 minutes. Bypass busy servers and enhance AI responses with custom data.