Starling: Ein E/A-effizientes plattenresidentes Graph-Index-Framework für hochdimensionale Vektorähnlichkeitssuche auf Datensegmenten

03/26/24

Optimierung von Vektordatenbanken: Ein Leitfaden zur Architektur auf Segmentebene

Da hochdimensionale Vektordaten für KI- und Machine-Learning-Anwendungen immer wichtiger werden, stehen Vektordatenbanken zunehmend unter dem Druck, unstrukturierte Daten wie Bilder, Texte und Videos effizient zu verwalten. Herkömmliche Architekturen haben Probleme, wenn eine einzelne Maschine mehrere Datensegmente verarbeiten muss, die jeweils durch strenge Speicher- und Festplattenplatzbeschränkungen eingeschränkt sind.

In diesem Beitrag wird Starling vorgestellt, ein Framework, das die Handhabung von Vektordatenbanksegmenten durch eine neuartige Zwei-Komponenten-Architektur revolutioniert: Es kombiniert einen optimierten In-Memory-Navigationsgraphen mit einem ortsoptimierten festplattenbasierten Graphen. Im Gegensatz zu aktuellen plattenbasierten Lösungen, die entweder übermäßig viel Speicherplatz benötigen oder unter hohen Latenzzeiten leiden, erreicht Starling ein optimales Gleichgewicht zwischen Suchleistung, Genauigkeit und Ressourcenauslastung.

Das Framework zeigt, dass durch eine intelligente Optimierung auf Segmentebene bemerkenswerte Leistungsverbesserungen möglich sind. Im Vergleich zu bestehenden Methoden werden ein 43,9-fach höherer Durchsatz und eine um 98 % geringere Abfragelatenz erreicht. Diese Arbeit liefert wichtige Erkenntnisse für Unternehmen, die ihre Vektordatenbankoperationen skalieren und dabei eine hohe Leistung und Genauigkeit beibehalten wollen.

Whitepaper erhalten