Представляем Milvus 2.5: встроенный полнотекстовый поиск, расширенная оптимизация запросов и многое другое 🚀
Мы рады объявить о выпуске Milvus 2.5, значительном шаге на нашем пути к созданию самого полного в мире решения для всех поисковых нагрузок. Хотя Milvus известен своими мощными возможностями поиска по векторному сходству, наше видение выходит за рамки векторов. Мы считаем, что будущее поиска заключается в бесшовном объединении различных поисковых парадигм — семантического поиска, поиска по ключевым словам и традиционной фильтрации — в одной единой платформе.
Этот выпуск отмечает важную веху благодаря появлению встроенного полнотекстового поиска, приближая нас к этому видению. Наряду с продвинутыми оптимизациями запросов и улучшенными возможностями обработки данных, Milvus 2.5 представляет нашу приверженность тому, чтобы сделать сложные поисковые операции простыми и эффективными для разработчиков.
Встроенный полнотекстовый поиск: мощная обработка текста стала простой 🔍
Главная функция Milvus 2.5 — наш новый встроенный полнотекстовый поиск на базе Sparse-BM25. Это дополнение — больше, чем просто новая функция: это фундаментальный строительный блок для поисковых приложений нового поколения. Объединяя поиск по векторному сходству с мощными возможностями обработки текста, вы можете создавать более продвинутые поисковые системы, которые лучше понимают намерения пользователей. Работаете ли вы с технической документацией, предметно-специфическим контентом или обычными текстовыми данными, вы можете использовать семантическое понимание и точность ключевых слов в одной системе.
Особенно мощным это делает простота: теперь вы можете напрямую вводить необработанный текст без предварительного создания векторных эмбеддингов. Milvus обрабатывает сложность внутри, используя встроенные анализаторы для обработки вашего текста и обновляя статистическую информацию BM25 в реальном времени по мере добавления новых данных. Это обеспечивает оптимальную точность поиска, при этом значительно снижая сложность реализации.
Улучшенная обработка текста и данных 📊
Сопоставление текста
Новая возможность сопоставления текста использует анализаторы и индексирование Tantivy для точного сопоставления естественного языка. Эта функция особенно ценна при объединении сопоставления текста с поиском по векторному сходству, позволяя фильтровать результаты поиска на основе конкретных терминов перед выполнением вычислений векторного сходства.
Bitmap-индекс
Новый Bitmap-индекс ускоряет поиск по полям с ограниченным количеством уникальных значений (полям с низкой кардинальностью). Например, при поиске по пользовательским данным с полями вроде "gender", где возможны лишь несколько значений, Bitmap-индексы могут значительно ускорить выполнение запросов.
Nullable-значения и значения по умолчанию
Мы добавили поддержку nullable-свойств и значений по умолчанию в скалярных полях, обеспечивая большую гибкость в управлении данными. Эта функция упрощает миграцию данных из других систем баз данных и помогает обрабатывать реальные сценарии использования, где значения полей могут быть неизвестны или требовать настроек по умолчанию.
Новые бета-функции ⚡
Выдающаяся бета-функция в этом выпуске — наш новый Cluster Management WebUI, разработанный для решения сложности управления крупномасштабными развертываниями Milvus. Эта комплексная панель мониторинга автоматически отслеживает состояние системы, метрики производительности и предупреждает вас о потенциальных проблемах до того, как они повлияют на ваши приложения. Когда система обнаруживает нездоровые паттерны, у вас будет прямой доступ к экспертам Milvus для быстрого решения.
Мы также тестируем Clustering Compaction, которая помогает оптимизировать хранение и извлечение в больших коллекциях путем перераспределения данных на основе указанных скалярных полей. Эти функции доступны для тестирования, и мы будем рады вашим отзывам по мере продолжения их доработки.
Дополнительные функции и улучшения 🌟
Этот релиз включает множество улучшений, которые сделают вашу работу с Milvus удобнее. Мы улучшили нашу реализацию HNSW благодаря интеграции с Faiss, поддерживающей несколько методов квантования (SQ, PQ и PRQ) для повышения производительности и recall.
Среди других заметных улучшений — поддержка IPv6, возможности массового импорта CSV и новый streaming node для сервисов Write-Ahead Logging. Мы также оптимизировали крупномасштабные удаления, обновили ETCD до версии 3.5.16 и Pulsar до версии 3.0.7 LTS для повышения безопасности, а также представили Local Storage V2 для улучшения эффективности загрузки и запросов.
Присоединяйтесь к нашему практическому воркшопу! 🎓
Готовы изучить эти новые функции? Вы можете ознакомиться с нашими подробными release notes или присоединиться к нашему technical workshop, где мы покажем, как реализовать полнотекстовый поиск, настроить эффективные индексы и использовать эти новые возможности в ваших приложениях. Наши инженеры проведут вас через практические примеры и лучшие практики, чтобы вы могли получить максимум от Milvus 2.5.
И впереди еще больше захватывающих новостей — публичная предварительная версия Milvus 2.5 в Zilliz Cloud запланирована на февраль 2025 года. Следите за обновлениями, чтобы быть среди первых, кто опробует эти мощные функции в полностью управляемой среде, где вы можете сосредоточиться на создании своих приложений, а мы возьмем на себя инфраструктуру.
Читать далее
Introducing Zilliz CLI and Agent Skills for Zilliz Cloud
Manage your vector database from your terminal or AI coding agent. Zilliz CLI and Agent Skills work with Claude Code, Cursor, Codex, and Copilot.
Milvus/Zilliz + Surveillance: How Vector Databases Transform Multi-Camera Tracking
See how Milvus vector database enhances multi-camera tracking with similarity-based matching for better surveillance in retail, warehouses and transport hubs.
Proactive Monitoring for Vector Database: Zilliz Cloud Integrates with Datadog
we're excited to announce Zilliz Cloud's integration with Datadog, enabling comprehensive monitoring and observability for your vectorDB deployments.