Neuigkeiten in Milvus 2.3.2 & 2.3.3
Vorstellung der Milvus-Versionen 2.3.2 und 2.3.3! Diese neuesten Releases bringen eine Vielzahl von Verbesserungen mit sich, die darauf abzielen, die Leistung und Benutzererfahrung unseres Vektordatenbanksystems zu verbessern. Wir haben das Feedback unserer Entwickler-Community sorgfältig berücksichtigt, um diese Updates umzusetzen.
📦 PyPI: https://pypi.org/project/milvus/
📚 Docs: https://milvus.io/docs
🛠️ Release Notes:
🐳 Docker Image: docker pull
🚀 Release: milvus-2.3.3
Wichtige Highlights:
Neue Funktionen
🔍 Unterstützung für Array-Datentypen - Milvus unterstützt jetzt Array-Datentypen, die eine präzise Metadatenfilterung ermöglichen. Im E-Commerce ermöglicht dies beispielsweise erweiterte Suchen auf Basis mehrerer Produkt-Tags und stellt sicher, dass die Suchergebnisse für Benutzeranfragen hochrelevant sind.
🧹 Unterstützung für komplexe Lösch-Ausdrücke - Mit Milvus 2.3.2 oder 2.3.3 können Entwickler detaillierte Kriterien für die Datenentfernung festlegen und so eine präzise Bereinigung ermöglichen, z. B. das Ausrollen alter Daten oder GDPR-Compliance-gesteuerte Löschung auf Basis von Benutzer-IDs. Beachten Sie, dass das Löschen nicht atomar ist; verwenden Sie es vorsichtig für ein präzises Datenmanagement.
🗂️ TiKV-Integration für Metadatenspeicherung - Durch die Integration von TiKV für die Metadatenspeicherung erhält Milvus eine verbesserte Skalierbarkeit und Stabilität. Die Architektur von TiKV ist darauf ausgelegt, groß angelegte Metadatenspeicherung effizient zu handhaben und sicherzustellen, dass Milvus skaliert werden kann, um den Anforderungen wachsender Datensätze gerecht zu werden, ohne die Stabilität zu beeinträchtigen.
🌀 Unterstützung für FP16-Vektortyp - Die Unterstützung des FP16-Vektortyps durch Milvus verbessert die Effizienz des maschinellen Lernens. Dieses Datenformat wird im Deep Learning und ML häufig verwendet, da es numerische Werte effizienter darstellen und verarbeiten kann, was zu schnelleren und ressourceneffizienteren Machine-Learning-Operationen führt.
📊 Unterstützung für Vector Index MMAP - Gehen Sie über das Mapping nur der Rohdaten in 2.3.0 hinaus; jetzt können Sie auch den Index mappen. Diese Funktion ermöglicht es Ihnen, mehr Daten auf derselben Maschine zu speichern, und bietet Flexibilität bei der Datenspeicherung, während Kosten gespart werden.
Verbesserung
🔄 Rolling-Upgrade-Erlebnis - Milvus hat seine Rolling-Upgrade-Funktion in den Versionen 2.3.2 & 2.3.3 gestärkt und bietet Benutzern, die von Version 2.2.15 upgraden, einen optimierten und effizienten Übergang in unter 5 Minuten.
🚀 Leistungsoptimierung - Minimieren Sie Datenkopiervorgänge für optimiertes Laden von Daten, vereinfachen Sie Einfügungen mit großer Kapazität durch Batch-varchar-Lesen, entfernen Sie unnötige Offset-Prüfungen während des Daten-Paddings und beheben Sie hohe CPU-Auslastung in Szenarien mit umfangreichen Dateneinfügungen.
Zusätzlich zu den hervorgehobenen Verbesserungen bieten Milvus 2.3.2 und 2.3.3 eine Vielzahl neuer Funktionen und Verbesserungen. Dazu gehört ein aktualisiertes CDC (Change Data Capture), das jetzt MQ (Message Queue)-Nachrichten replizieren kann und Echtzeit-Datensynchronisierung ermöglicht. Entwickler können außerdem den Bulk-Insert von binlog-Daten mit Partitionsschlüsseln verwenden, wodurch Datenaufnahmeprozesse optimiert werden. Darüber hinaus markieren diese Versionen die Rückkehr binärer Metriktypen wie SUBSTRUCTURE und SUPERSTRUCTURE, wodurch die Bandbreite der Optionen zur Datendarstellung erweitert wird. Wir empfehlen Entwicklern, unsere Release Notes zu besuchen, um einen umfassenden Überblick über alle neuen Funktionen und Verbesserungen zu erhalten.
Abschließende Hinweise
Wir halten an unserem Engagement fest, Milvus kontinuierlich zu verbessern und an den dynamischen Bedürfnissen unserer Entwickler-Community auszurichten. Ein herzliches Dankeschön an unsere lebendige Entwickler-Community, deren Beiträge, PRs und aufschlussreiches Feedback maßgeblich dazu beigetragen haben, die Roadmap von Milvus zu gestalten. Wir sind gespannt darauf zu sehen, wie sich diese Updates nahtlos in Ihre Entwicklungsprojekte integrieren, und freuen uns auf Ihr Feedback. Programmieren Sie weiter, entwickeln Sie Innovationen und gestalten Sie die Zukunft der KI! 🤖🧠
Weiterlesen
Data Deduplication at Trillion Scale: How to Solve the Biggest Bottleneck of LLM Training
Explore how MinHash LSH and Milvus handle data deduplication at the trillion-scale level, solving key bottlenecks in LLM training for improved AI model performance.
Optimizing Embedding Model Selection with TDA Clustering: A Strategic Guide for Vector Databases
Discover how Topological Data Analysis (TDA) reveals hidden embedding model weaknesses and helps optimize vector database performance.
Vector Databases vs. Spatial Databases
Use a vector database for AI-powered similarity search; use a spatial database for geographic and geometric data analysis and querying.