Zilliz посетила семинар VLDB 2021
Каковы основные прорывы в индустрии баз данных в 2021 году?
В августе этого года Zilliz была приглашена на VLDB Workshop 2021, чтобы поделиться своими последними исследовательскими достижениями и результатами в применении методов машинного обучения к системам баз данных вместе с Harvard University, Carnegie Mellon University, Tsinghua University, Microsoft и многими другими организациями. Старший исследователь Zilliz, доктор Xiaomeng Yi, представил предпосылки разработки, проектные идеи, вызовы и технологические инновации в ходе разработки Milvus, векторной базы данных с открытым исходным кодом.
VLDB, SIGMOD и ICDE известны как три самые престижные конференции в области баз данных. Недавно результат исследования исследовательской команды Zilliz, Milvus: A Purpose Built Vector Data Management System, был отобран SIGMOD и включен в число 21 статьи этого года благодаря превосходной базовой функциональности и безупречному применению Milvus в бизнес-сценариях.
Каждый день в мире создается огромный объем данных, из которых более 80% — это неструктурированные данные, которые сложно обрабатывать. В то время как традиционные базы данных могут хранить только структурированные данные, инженерная команда Milvus выдвинула гипотезу: все данные могут быть единообразно представлены векторами на семантическом уровне независимо от типов данных. Доктор Yi отметил, что если использовать нейросетевую модель ИИ для извлечения семантики данных и единообразного представления их в виде векторов, логика обработки многих данных может выполняться непосредственно на уровне векторов.
Milvus разработан специально для анализа и поиска массивных векторов признаков. Он предоставляет полноценную платформу для обновления, индексирования и поиска по сходству векторных данных, которые не только могут выполняться в реальном времени на потоковых данных, но и удовлетворяют разнообразные требования к поиску в реальных бизнес-сценариях. На сегодняшний день Milvus выпустил две версии: 1.0 и 2.0. Исходный код Milvus полностью открыт на GitHub и широко используется в передовых областях искусственного интеллекта. По результатам тестирования 1 000 пользователей по всему миру его производительность значительно превосходит аналогичные продукты.
VLDB
В своем выступлении доктор Yi представил концепцию дизайна Milvus 2.0: cloud-native, log-as-data и унифицированная пакетная и потоковая обработка. На основе своего предшественника Milvus 2.0 предоставляет пользователям интеллектуальный, стабильный и плавный опыт поиска.
Столкнувшись с двумя основными вызовами разработки баз данных — выбором индекса и настройкой данных, доктор Yi считает, что ИИ может открыть путь к лучшим решениям. Например, новую конфигурацию можно сначала протестировать и оценить на небольшом наборе данных, а затем перенести на большой набор данных. Используйте машинное обучение для анализа существующего набора данных и руководства конфигурацией нового набора данных, чтобы достичь лучшей производительности, чем у текущего алгоритма BOHB.
Доктор Xiaomeng Yi (Ph.D. по компьютерной архитектуре, Huazhong University of Science and Technology), старший исследователь и руководитель исследовательской команды Zilliz. Его исследования сосредоточены на управлении высокоразмерными данными, крупномасштабном информационном поиске и распределении ресурсов в распределенных системах. Исследовательские работы доктора Yi были опубликованы в ведущих журналах и на международных конференциях, включая IEEE Network Magazine, IEEE/ACM TON, ACM SIGMOD, IEEE ICDCS и ACM TOMPECS.
Читать далее
VDBBench Adds Cost-Aware Benchmarking for Vector Databases
Compare Zilliz Cloud, Pinecone, and turbopuffer with VDBBench cost-aware vector database benchmarks across latency, freshness, multitenancy, and cold starts.
From Vector Database to Vector Lakebase
Zilliz offers a fully managed Vector Lakebase powered by Milvus, unifying real-time vector search, lake-scale discovery, and Al data operations.
Top 10 Context Engineering Techniques You Should Know for Production RAG
A practical guide to context engineering for production LLM systems, covering RAG, context processing, memory, agents, and multimodal context.