Представляем Milvus 2.5: встроенный полнотекстовый поиск, расширенная оптимизация запросов и многое другое 🚀

Мы рады объявить о выпуске Milvus 2.5, значительном шаге на нашем пути к созданию самого полного в мире решения для всех поисковых нагрузок. Хотя Milvus известен своими мощными возможностями поиска по векторному сходству, наше видение выходит за рамки векторов. Мы считаем, что будущее поиска заключается в бесшовном объединении различных поисковых парадигм — семантического поиска, поиска по ключевым словам и традиционной фильтрации — в одной единой платформе.

Этот выпуск отмечает важную веху благодаря появлению встроенного полнотекстового поиска, приближая нас к этому видению. Наряду с продвинутыми оптимизациями запросов и улучшенными возможностями обработки данных, Milvus 2.5 представляет нашу приверженность тому, чтобы сделать сложные поисковые операции простыми и эффективными для разработчиков.

Встроенный полнотекстовый поиск: мощная обработка текста стала простой 🔍

Главная функция Milvus 2.5 — наш новый встроенный полнотекстовый поиск на базе Sparse-BM25. Это дополнение — больше, чем просто новая функция: это фундаментальный строительный блок для поисковых приложений нового поколения. Объединяя поиск по векторному сходству с мощными возможностями обработки текста, вы можете создавать более продвинутые поисковые системы, которые лучше понимают намерения пользователей. Работаете ли вы с технической документацией, предметно-специфическим контентом или обычными текстовыми данными, вы можете использовать семантическое понимание и точность ключевых слов в одной системе.

Особенно мощным это делает простота: теперь вы можете напрямую вводить необработанный текст без предварительного создания векторных эмбеддингов. Milvus обрабатывает сложность внутри, используя встроенные анализаторы для обработки вашего текста и обновляя статистическую информацию BM25 в реальном времени по мере добавления новых данных. Это обеспечивает оптимальную точность поиска, при этом значительно снижая сложность реализации.

Улучшенная обработка текста и данных 📊

Сопоставление текста

Новая возможность сопоставления текста использует анализаторы и индексирование Tantivy для точного сопоставления естественного языка. Эта функция особенно ценна при объединении сопоставления текста с поиском по векторному сходству, позволяя фильтровать результаты поиска на основе конкретных терминов перед выполнением вычислений векторного сходства.

Bitmap-индекс

Новый Bitmap-индекс ускоряет поиск по полям с ограниченным количеством уникальных значений (полям с низкой кардинальностью). Например, при поиске по пользовательским данным с полями вроде "gender", где возможны лишь несколько значений, Bitmap-индексы могут значительно ускорить выполнение запросов.

Nullable-значения и значения по умолчанию

Мы добавили поддержку nullable-свойств и значений по умолчанию в скалярных полях, обеспечивая большую гибкость в управлении данными. Эта функция упрощает миграцию данных из других систем баз данных и помогает обрабатывать реальные сценарии использования, где значения полей могут быть неизвестны или требовать настроек по умолчанию.

Новые бета-функции ⚡

Выдающаяся бета-функция в этом выпуске — наш новый Cluster Management WebUI, разработанный для решения сложности управления крупномасштабными развертываниями Milvus. Эта комплексная панель мониторинга автоматически отслеживает состояние системы, метрики производительности и предупреждает вас о потенциальных проблемах до того, как они повлияют на ваши приложения. Когда система обнаруживает нездоровые паттерны, у вас будет прямой доступ к экспертам Milvus для быстрого решения.

Мы также тестируем Clustering Compaction, которая помогает оптимизировать хранение и извлечение в больших коллекциях путем перераспределения данных на основе указанных скалярных полей. Эти функции доступны для тестирования, и мы будем рады вашим отзывам по мере продолжения их доработки.

Дополнительные функции и улучшения 🌟

Этот релиз включает множество улучшений, которые сделают вашу работу с Milvus удобнее. Мы улучшили нашу реализацию HNSW благодаря интеграции с Faiss, поддерживающей несколько методов квантования (SQ, PQ и PRQ) для повышения производительности и recall.

Среди других заметных улучшений — поддержка IPv6, возможности массового импорта CSV и новый streaming node для сервисов Write-Ahead Logging. Мы также оптимизировали крупномасштабные удаления, обновили ETCD до версии 3.5.16 и Pulsar до версии 3.0.7 LTS для повышения безопасности, а также представили Local Storage V2 для улучшения эффективности загрузки и запросов.

Присоединяйтесь к нашему практическому воркшопу! 🎓

Готовы изучить эти новые функции? Вы можете ознакомиться с нашими подробными release notes или присоединиться к нашему technical workshop, где мы покажем, как реализовать полнотекстовый поиск, настроить эффективные индексы и использовать эти новые возможности в ваших приложениях. Наши инженеры проведут вас через практические примеры и лучшие практики, чтобы вы могли получить максимум от Milvus 2.5.

И впереди еще больше захватывающих новостей — публичная предварительная версия Milvus 2.5 в Zilliz Cloud запланирована на февраль 2025 года. Следите за обновлениями, чтобы быть среди первых, кто опробует эти мощные функции в полностью управляемой среде, где вы можете сосредоточиться на создании своих приложений, а мы возьмем на себя инфраструктуру.