Zilliz nahm am VLDB Workshop 2021 teil
Was sind die wichtigsten Durchbrüche in der Datenbankbranche im Jahr 2021?
Diesen August wurde Zilliz zum VLDB Workshop 2021 eingeladen, um gemeinsam mit der Harvard University, der Carnegie Mellon University, der Tsinghua University, Microsoft und vielen anderen Organisationen seine neuesten Forschungsfortschritte und Erfolge bei der Anwendung von Machine-Learning-Methoden auf Datenbanksysteme vorzustellen. Dr. Xiaomeng Yi, Senior Researcher bei Zilliz, stellte den Entwicklungshintergrund, die Designideen, Herausforderungen und technologischen Innovationen während der Entwicklung von Milvus vor, einer open source vector database.
VLDB, SIGMOD und ICDE gelten als die drei renommiertesten Konferenzen im Datenbankbereich. Kürzlich wurde das Forschungsergebnis des Zilliz-Forschungsteams, Milvus: A Purpose Built Vector Data Management System, von SIGMOD ausgewählt und aufgrund der hervorragenden zugrunde liegenden Funktionalität und der perfekten Anwendung in Geschäftsszenarien von Milvus als eine der 21 Arbeiten dieses Jahres aufgenommen.
Jeden Tag produziert die Welt eine riesige Menge an Daten, von denen mehr als 80 % unstrukturierte Daten sind, die schwer zu verarbeiten sind. Während herkömmliche Datenbanken nur strukturierte Daten speichern können, stellte das Milvus-Ingenieurteam eine Hypothese auf: Alle Daten können unabhängig von den Datentypen auf semantischer Ebene einheitlich durch Vektoren dargestellt werden. Dr. Yi merkte an, dass, wenn das neuronale KI-Netzwerkmodell verwendet wird, um die Semantik von Daten zu extrahieren und sie einheitlich als Vektoren darzustellen, die Verarbeitungslogik vieler Daten direkt auf der Ebene von Vektoren ausgeführt werden kann.
Milvus wurde speziell für die Analyse und den Abruf massiver Feature-Vektoren entwickelt. Es bietet ein vollständiges Framework für Aktualisierung, Indexierung und Ähnlichkeitssuche von vector data, die nicht nur in Echtzeit auf Streaming-Daten durchgeführt werden können, sondern auch die vielfältigen Suchanforderungen in tatsächlichen Geschäftsszenarien erfüllen. Bis jetzt hat Milvus zwei Versionen veröffentlicht: 1.0 und 2.0. Der Quellcode von Milvus ist vollständig Open Source auf GitHub und wurde weithin in den Grenzbereichen der künstlichen Intelligenz eingesetzt. Von 1.000 Nutzern auf der ganzen Welt getestet, übertrifft seine Leistung die vergleichbaren Produkte deutlich.
VLDB
In der Präsentation stellte Dr. Yi das Designkonzept von Milvus 2.0 vor: cloud-native, log-as-data und einheitliche Batch- und Stream-Verarbeitung. Auf der Grundlage seines Vorgängers bietet Milvus 2.0 den Nutzern ein intelligentes, stabiles und reibungsloses Sucherlebnis.
Angesichts der zwei großen Herausforderungen der Indexauswahl und Datenoptimierung in der Datenbankentwicklung glaubt Dr. Yi, dass KI Türen zu den besten Lösungen öffnen kann. Beispielsweise kann eine neue Konfiguration zunächst an einem kleinen Datensatz getestet und bewertet und dann auf einen großen Datensatz übertragen werden. Verwenden Sie Machine Learning, um den bestehenden Datensatz zu analysieren und die Konfiguration des neuen Datensatzes zu steuern, um so eine bessere Leistung als die des aktuellen BOHB-Algorithmus zu erzielen.
Dr. Xiaomeng Yi (Ph.D. in Computer Architecture, Huazhong University of Science and Technology), Senior Researcher und Leiter des Forschungsteams von Zilliz. Seine Forschung konzentriert sich auf hochdimensionales Datenmanagement, groß angelegten Informationsabruf und Ressourcenallokation in verteilten Systemen. Dr. Yis Forschungsarbeiten wurden in führenden Fachzeitschriften und auf internationalen Konferenzen veröffentlicht, darunter IEEE Network Magazine, IEEE/ACM TON, ACM SIGMOD, IEEE ICDCS und ACM TOMPECS.
Weiterlesen
A Few Notes from Databricks Data + AI Summit 2026: Why the Data Layer Matters Again
James Luan shares notes from Databricks Data + AI Summit 2026 on why production AI is pushing the data layer back to the center of infrastructure.
VidTok: Rethinking Video Processing with Compact Tokenization
VidTok tokenizes videos to reduce redundancy while preserving spatial and temporal details for efficient processing.
Vector Databases vs. Time Series Databases
Use a vector database for similarity search and semantic relationships; use a time series database for tracking value changes over time.