Der nächste Halt für Vektordatenbanken: 8 Prognosen für 2023
2022 war ein bedeutendes Jahr für Vektordatenbanken. Insbesondere veröffentlichte die Milvus-Community die cloud-native Vektordatenbank Milvus 2.0. Mehr als zehn Open-Source-Vektordatenbankprodukte, wie Vald, Weaviate, Qdrant, Vespa, Vearch, AquilaDB und Marqo, erschienen auf GitHub. Datenbankanbieter wie Elastic und Redis stiegen in den Wettbewerb ein und führten Vektorabruf-Funktionen ein. An der Cloud-Front startete Zilliz, das Team hinter der Milvus-Community, einen vollständig verwalteten DBaaS-Dienst, Zilliz Cloud, der mit Unternehmen wie Pinecone und Google Vertex AI konkurriert.
Der Kapitalmarkt war ebenso lebhaft: Mehrere Vektordatenbankunternehmen sicherten sich erhebliche Finanzierungen und bereiteten damit den Weg für weiteres Wachstum. Dieser Zufluss von Kapital und Interesse an Vektordatenbanken im Jahr 2022 ebnet den Weg für meine Prognosen für 2023, ein Jahr, in dem ich die fortgesetzte Entwicklung und Reifung dieser aufstrebenden Technologie erwarte.
| Unternehmen | Eingeworben | Datum |
|---|---|---|
| Zilliz | $60M (B+-Runde) | Aug. 2022 |
| Pinecone | $28M (A-Runde) | März 2022 |
| Weaviate | $16M (A-Runde) | Feb. 2022 |
| Qdrant | €2M (Pre-Seed-Runde) | Jan. 2022 |
Finanzierungssituationen von Vektordatenbankunternehmen im Jahr 2022
Prognosen für Vektordatenbanken 2023
Prognose #1: Differenzierung und Spezialisierung bei Vektordatenbanken
Im Jahr 2023 werden sich Vektordatenbanken aufgrund des Kapitalzuflusses und der raschen Entwicklung von Anwendungsfällen deutlich weiterentwickeln, was zu Differenzierung und Spezialisierung führt:
Online-Bereitstellung versus Offline-Verarbeitung: Traditionelle Vektordatenbanken, die für hohe Online-Echtzeitanforderungen mit kleineren Datenmengen konzipiert sind, werden sich nun anpassen, um massive Datensätze aus Bereichen wie Bildverarbeitung und NLP zu bewältigen, was erweiterte Batch-Verarbeitungs- und Offline-Fähigkeiten erforderlich macht.
Logische Instanzen versus physische Instanzen: Der Sektor wird eine Aufteilung zwischen logischen Instanzen erleben, die sich auf Benutzerfreundlichkeit und einfache Bereitstellungen konzentrieren, und physischen Instanzen wie Milvus, die flexible Speicher- und effiziente Abruflösungen bieten. Diese Divergenz bedient unterschiedliche Anforderungen, von einfacher Vektorverarbeitung bis hin zu komplexer Vektorgenerierung.
Standalone versus verteilte cloud-native Systeme: Die Wahl zwischen Standalone- und verteilten cloud-nativen Systemen wird entscheidend sein. Während Standalone-Systeme Stabilität bieten, sind verteilte cloud-native Designs wie Milvus 2.0 auf Skalierbarkeit und cloudbasierte Effizienzen ausgerichtet.
Unterschiedliche Indexierungsimplementierungen: Die Indexierungsmethoden diversifizieren sich. Mit neuen Entwicklungen wie Googles ScaNN-Technologie entwickeln sich Vektordatenbanken in Bezug auf Leistung und Funktionalität weiter und werden auf spezifische Anwendungsfälle und Effizienzanforderungen zugeschnitten.
Diese Trends deuten auf eine Entwicklung hin zu stärker maßgeschneiderten und spezialisierten Vektordatenbanken, die auf die spezifischen Anforderungen verschiedener Anwendungen und Datenmengen abgestimmt sind.
Prognose #2: Entwicklung hin zu einer einheitlichen Abfrageschnittstelle
Derzeit fehlt Vektordatenbanken eine einheitliche Abfrageschnittstelle; sie verwenden überwiegend benutzerdefinierte Python-SDKs oder Restful APIs. Entwicklungen wie Big Querys BigLake bei Google Next 2022, das SQL als primäre Sprache für unstrukturierte Daten und Vektorverarbeitung voranbringt, deuten jedoch auf einen bedeutenden Wandel hin. Obwohl sich SQLs traditionelle Nutzerbasis von Deep-Learning-Entwicklern unterscheidet und sein Erfolg im maschinellen Lernen gemischt ist, verdient sein Potenzial als Abfragesprache für Vektordatenbanken Aufmerksamkeit.
Neben SQL gibt es Experimente mit GraphQL-basierten Abfragesprachen und benutzerdefinierten DSLs. Unabhängig davon, welche Schnittstelle breitere Akzeptanz findet, lautet die Prognose für 2023, dass im Bereich der Vektordatenbanken eine De-facto-Standardschnittstelle entsteht, wobei mehrere Produkte einen ähnlichen Ansatz für die Implementierung übernehmen.
Prognose #3: Weitere Integration von Vektordatenbanken mit traditionellen Datenbanken
Vektordatenbanken haben sich in den vergangenen zwei Jahren erheblich weiterentwickelt und sind über ihre anfängliche Phase als einfache Wrapper um FAISS hinausgewachsen. Sie verfügen inzwischen routinemäßig über Funktionen zum Filtern und Indizieren skalarer Felder sowie zum Verwalten von CRUD-Operationen auf Streaming-Daten und integrieren Elemente wie Parser, Optimierer, Speicher sowie Nebenläufigkeitsverwaltung aus traditionellen Datenbanken. Viele OLAP- und NoSQL-Datenbanken integrieren Funktionen für den Vektorabruf und werden zu wichtigen Akteuren in diesem Bereich.
Trotz der Überzeugung, dass „one size does not fit all“, wobei traditionelle Datenbanken aufgrund menschlicher und architektonischer Einschränkungen beim Vektorabruf Schwierigkeiten haben, werden 2023 wahrscheinlich mehr traditionelle Datenbankhersteller in den Bereich des Vektorabrufs einsteigen, angezogen von dessen Potenzial. Vektordatenbanken hingegen lernen zunehmend aus dem Umfeld traditioneller Datenbanken und verlagern ihren Kern von KI-Infrastruktur hin zu stärker datenbankorientierten Funktionalitäten. Dieser Wandel wird durch den Bedarf an allgemeineren und stabileren Lösungen für den Vektorabruf vorangetrieben. Folglich erwarten wir 2023 einen Zustrom von Talenten mit Hintergrund in traditionellen Datenbanken (einschließlich Transaktionsverarbeitung, Anwendungsverarbeitung, Suche und Caching) in den Vektordatenbanksektor.
Prognose #4: Deutliche Kostensenkung bei Vektordatenbanken
Für 2023 wird prognostiziert, dass Vektordatenbanken eine Kostensenkung um das 3- bis 5-Fache erfahren werden. Diese Veränderung ist entscheidend, da Kosten und Leistung erhebliche Hürden dafür waren, dass der Vektorabruf die traditionelle Stichwortsuche übertrifft. Derzeit verlassen sich die meisten Vektordatenbanken ausschließlich auf Arbeitsspeicher. Um Vektordaten im Bereich von Dutzenden Milliarden zu speichern, benötigen sie Arbeitsspeicherkapazitäten in der Größenordnung von Dutzenden Terabyte.
Mehrere Faktoren tragen zu dieser Kostensenkung bei:
Weitverbreitete Nutzung der ARM-Architektur in der Cloud: Die einfache Rechenleistung von ARM bietet eine 2- bis 3-mal bessere Kosteneffizienz als X86.
Wachstum heterogener Hardware: Diese Systeme übertreffen die Speicher-/Storage- und Bandbreitenfähigkeiten von GPUs.
Fortschritte bei Quantisierungstechniken: Insbesondere die Anwendung von 4-Bit-Quantisierung beim Vektorabruf.
Fokus auf Forschung zu Disk-Anns-Indizes: Entwickelt sich zu einer zentralen Forschungsrichtung.
NVMe-Disk-Performance: Nutzung von Technologien wie AIO und IO_URING, wodurch IOPs im Millionenbereich erreicht werden.
Tieferes Verständnis von Vektordatenbanken: Nutzung von Metadaten und Pruning-Techniken ähnlich wie in traditionellen Datenbanken, wodurch die Notwendigkeit verringert wird, jedes Mal alle Shards abzufragen.
Auswahl von Index- und Modellparametern auf Basis von Machine Learning: Dieser Ansatz wird erstmals in der Produktion implementiert.
Temperaturmerkmale von Vektordaten: Wie traditionelle skalare Daten weisen Vektordaten heiße und kalte Merkmale auf.
Diese Entwicklungen deuten auf ein vielversprechendes Jahr für Vektordatenbanken hin und machen sie kosteneffektiver und effizienter.
Prognose #5: Entstehung der ersten serverlosen Vektordatenbank
Für 2023 erwarten wir die Einführung der ersten serverlosen Vektordatenbank. Serverlose Architektur bietet Flexibilität und nutzungsabhängige Abrechnung, was besonders für cloudgehostete Vektordatenbankdienste attraktiv ist. Diese Technologie eignet sich für die komplexe Natur von Vektorabrufen, die Offline- und Online-Prozesse umfassen und in Multi-Tenant-Umgebungen häufig schwankenden Lasten ausgesetzt sind. Serverless vereinfacht für Nutzer die Kapazitätsbewertung und die geschäftliche Isolation.
Während serverlose Vektordatenbanken sich noch weiterentwickeln und noch einen Weg vor sich haben, bevor sie ausgereift sind, gibt es Potenzial für erste Entwicklungen ähnlich den containerbasierten, dynamisch skalierbaren eigenständigen Systemen von AWS Aurora. Die vollständige Verwirklichung einer wirklich verteilten serverlosen Vektordatenbank könnte jedoch noch eine Weile entfernt sein.
Prognose #6: Aufstieg von Open-Source-Tools für Vektordatenbanken
Im Jahr 2023 können wir mit dem Aufstieg von Open-Source-Tools rechnen, die auf Vektordatenbanken zugeschnitten sind. Die einzigartigen Eigenschaften von Vektordaten erfordern die Entwicklung innovativer Tools, die über traditionelle Methoden der Datendarstellung hinausgehen. Diese Tools werden intuitivere und visuellere Möglichkeiten bieten, Vektordaten darzustellen, einschließlich ihrer Verteilung und Abfragepfade.
Die Entwicklung von Datentransfer-Tools wird ebenfalls ein zentraler Schwerpunkt sein. Diese Tools werden die Fähigkeiten zur Datensicherung, Migration und zum Import verbessern und die wachsende Vielfalt von Vektordatenbanken adressieren. Sie werden eine entscheidende Rolle dabei spielen, verschiedene Datentypen zu verknüpfen und den Fluss großskaliger Vektordaten zu verwalten, die von Plattformen wie Spark, PyTorch und TensorFlow erzeugt werden, und so eine nahtlose Integration über verschiedene Clouds und Rechenzentren hinweg ermöglichen.
Prognose #7: Frühe Einführung von KI für Datenbanken (AI4DB) in Vektordatenbanken
Im Jahr 2023 werden Vektordatenbanken den Weg zu einer praktischen Implementierung von Technologien für KI für Datenbanken (AI4DB) weisen. Während AI4DB seit vielen Jahren ein Konzept im Datenbankbereich ist, war seine breite Einführung eine Herausforderung. Das Haupthindernis waren die hohen Anforderungen relationaler Datenbanken an Genauigkeit und Erklärbarkeit, bei denen bereits ein winziger Prozentsatz an Ungenauigkeiten KI-Anwendungen in realen Anwendungsfällen behindern kann.
Vektordatenbanken arbeiten jedoch von Natur aus mit probabilistischer Optimierung und konzentrieren sich stärker auf Recall-Raten als auf absolute Genauigkeit. Diese Eigenschaft ermöglicht eine aggressivere Anwendung von AI4DB, etwa die automatische Anpassung von Parametern, das Umschreiben von Abfrageanweisungen und den Einsatz gelernter Indizes. Tests haben gezeigt, dass die Verwendung von Modellvorhersagen für Abfrageparameter die Leistung in großen Datensätzen mehr als verdoppeln kann. Die Optimierung von Indizes und Abfrageparametern auf Grundlage von Datensätzen und einer kleinen Menge von Abfragen dürfte noch deutlichere Verbesserungen bringen.
Prognose #8: Zweites kommerzielles Unternehmen entsteht aus Open-Source Milvus
Im Jahr 2023 können wir mit der Gründung neuer kommerzieller Unternehmungen rechnen, die die Open-Source-Vektordatenbank Milvus nutzen. Milvus ist eine der weltweit führenden und fortschrittlichsten cloud-nativen Vektordatenbanken. Wie erfolgreiche Open-Source-Projekte wie Hadoop, Presto und Clickhouse wird Milvus kommerzielle Einheiten dazu inspirieren, zu seiner Grundlage beizutragen und darauf aufzubauen. Während es zunehmend schwieriger wird, ein Vektordatenbankprojekt von Grund auf neu zu starten, bleibt das Potenzial für die Entwicklung von SaaS (Software as a Service) auf Basis von Vektordatenbanken wie Milvus erheblich. Dieser Trend wird sich wahrscheinlich fortsetzen, wobei weitere Mitwirkende der Open-Source-Community beitreten, am Milvus-Projekt zusammenarbeiten und kommerzielle Möglichkeiten erkunden.
Abschließende Gedanken
In den letzten Jahren gab es eine erhebliche Erweiterung der Fähigkeiten und Anwendungsfälle von Vektordatenbanken, stark unterstützt durch Fortschritte bei der Rechenleistung, einschließlich GPUs und spezialisierter Hardware. Mit Blick auf 2023 zeichnet sich ab, dass es ein mit Spannung erwartetes Jahr für die Branche und die Open-Source-Community wird. Es verspricht eine Zeit fortgesetzter Innovation, Wachstums und Zusammenarbeit zu werden.
Diese Reihe von Prognosen, wenn auch kurz, soll einen Einblick in die Zukunft von Vektordatenbanken geben und die spannenden Entwicklungen und Chancen am Horizont hervorheben. Während wir in das Jahr 2023 voranschreiten, sind die Aussichten für dieses Feld vielversprechend und ein Hinweis auf die dynamische und sich weiterentwickelnde Natur der Technologie. Freuen wir uns darauf, was uns das nächste Jahr im Bereich der Vektordatenbanken bringt. Wir sehen uns 2023!
Weiterlesen
We spent 8 years making vector databases faster. Then we stopped.
Rarely queried embeddings still need to stay searchable. See how Vector Lakebase enables on-demand vector search without always-on compute costs.
What Exactly Are AI Agents? Why OpenAI and LangChain Are Fighting Over Their Definition?
AI agents are software programs powered by AI that can perceive their environment, make decisions, and take actions to achieve a goal—often autonomously.
Building RAG Pipelines for Real-Time Data with Cloudera and Milvus
explore how Cloudera can be integrated with Milvus to effectively implement some of the key functionalities of RAG pipelines.