Zilliz посетила семинар VLDB 2021
Каковы основные прорывы в индустрии баз данных в 2021 году?
В августе этого года Zilliz была приглашена на VLDB Workshop 2021, чтобы поделиться своими последними исследовательскими достижениями и результатами в применении методов машинного обучения к системам баз данных вместе с Harvard University, Carnegie Mellon University, Tsinghua University, Microsoft и многими другими организациями. Старший исследователь Zilliz, доктор Xiaomeng Yi, представил предпосылки разработки, проектные идеи, вызовы и технологические инновации в ходе разработки Milvus, векторной базы данных с открытым исходным кодом.
VLDB, SIGMOD и ICDE известны как три самые престижные конференции в области баз данных. Недавно результат исследования исследовательской команды Zilliz, Milvus: A Purpose Built Vector Data Management System, был отобран SIGMOD и включен в число 21 статьи этого года благодаря превосходной базовой функциональности и безупречному применению Milvus в бизнес-сценариях.
Каждый день в мире создается огромный объем данных, из которых более 80% — это неструктурированные данные, которые сложно обрабатывать. В то время как традиционные базы данных могут хранить только структурированные данные, инженерная команда Milvus выдвинула гипотезу: все данные могут быть единообразно представлены векторами на семантическом уровне независимо от типов данных. Доктор Yi отметил, что если использовать нейросетевую модель ИИ для извлечения семантики данных и единообразного представления их в виде векторов, логика обработки многих данных может выполняться непосредственно на уровне векторов.
Milvus разработан специально для анализа и поиска массивных векторов признаков. Он предоставляет полноценную платформу для обновления, индексирования и поиска по сходству векторных данных, которые не только могут выполняться в реальном времени на потоковых данных, но и удовлетворяют разнообразные требования к поиску в реальных бизнес-сценариях. На сегодняшний день Milvus выпустил две версии: 1.0 и 2.0. Исходный код Milvus полностью открыт на GitHub и широко используется в передовых областях искусственного интеллекта. По результатам тестирования 1 000 пользователей по всему миру его производительность значительно превосходит аналогичные продукты.
VLDB
В своем выступлении доктор Yi представил концепцию дизайна Milvus 2.0: cloud-native, log-as-data и унифицированная пакетная и потоковая обработка. На основе своего предшественника Milvus 2.0 предоставляет пользователям интеллектуальный, стабильный и плавный опыт поиска.
Столкнувшись с двумя основными вызовами разработки баз данных — выбором индекса и настройкой данных, доктор Yi считает, что ИИ может открыть путь к лучшим решениям. Например, новую конфигурацию можно сначала протестировать и оценить на небольшом наборе данных, а затем перенести на большой набор данных. Используйте машинное обучение для анализа существующего набора данных и руководства конфигурацией нового набора данных, чтобы достичь лучшей производительности, чем у текущего алгоритма BOHB.
Доктор Xiaomeng Yi (Ph.D. по компьютерной архитектуре, Huazhong University of Science and Technology), старший исследователь и руководитель исследовательской команды Zilliz. Его исследования сосредоточены на управлении высокоразмерными данными, крупномасштабном информационном поиске и распределении ресурсов в распределенных системах. Исследовательские работы доктора Yi были опубликованы в ведущих журналах и на международных конференциях, включая IEEE Network Magazine, IEEE/ACM TON, ACM SIGMOD, IEEE ICDCS и ACM TOMPECS.
Читать далее
How Zilliz Ended Up at the Center of NVIDIA’s Unstructured Data Story at GTC 2026
If unstructured data is the context of AI, then the ceiling of AI applications will be set not just by models, but by how mature the infrastructure for unstructured data becomes.
Optimizing Embedding Model Selection with TDA Clustering: A Strategic Guide for Vector Databases
Discover how Topological Data Analysis (TDA) reveals hidden embedding model weaknesses and helps optimize vector database performance.
Introducing DeepSearcher: A Local Open Source Deep Research
In contrast to OpenAI’s Deep Research, this example ran locally, using only open-source models and tools like Milvus and LangChain.