Представляем Milvus 2.5: встроенный полнотекстовый поиск, расширенная оптимизация запросов и многое другое 🚀
Мы рады объявить о выпуске Milvus 2.5, значительном шаге на нашем пути к созданию самого полного в мире решения для всех поисковых нагрузок. Хотя Milvus известен своими мощными возможностями поиска по векторному сходству, наше видение выходит за рамки векторов. Мы считаем, что будущее поиска заключается в бесшовном объединении различных поисковых парадигм — семантического поиска, поиска по ключевым словам и традиционной фильтрации — в одной единой платформе.
Этот выпуск отмечает важную веху благодаря появлению встроенного полнотекстового поиска, приближая нас к этому видению. Наряду с продвинутыми оптимизациями запросов и улучшенными возможностями обработки данных, Milvus 2.5 представляет нашу приверженность тому, чтобы сделать сложные поисковые операции простыми и эффективными для разработчиков.
Встроенный полнотекстовый поиск: мощная обработка текста стала простой 🔍
Главная функция Milvus 2.5 — наш новый встроенный полнотекстовый поиск на базе Sparse-BM25. Это дополнение — больше, чем просто новая функция: это фундаментальный строительный блок для поисковых приложений нового поколения. Объединяя поиск по векторному сходству с мощными возможностями обработки текста, вы можете создавать более продвинутые поисковые системы, которые лучше понимают намерения пользователей. Работаете ли вы с технической документацией, предметно-специфическим контентом или обычными текстовыми данными, вы можете использовать семантическое понимание и точность ключевых слов в одной системе.
Особенно мощным это делает простота: теперь вы можете напрямую вводить необработанный текст без предварительного создания векторных эмбеддингов. Milvus обрабатывает сложность внутри, используя встроенные анализаторы для обработки вашего текста и обновляя статистическую информацию BM25 в реальном времени по мере добавления новых данных. Это обеспечивает оптимальную точность поиска, при этом значительно снижая сложность реализации.
Улучшенная обработка текста и данных 📊
Сопоставление текста
Новая возможность сопоставления текста использует анализаторы и индексирование Tantivy для точного сопоставления естественного языка. Эта функция особенно ценна при объединении сопоставления текста с поиском по векторному сходству, позволяя фильтровать результаты поиска на основе конкретных терминов перед выполнением вычислений векторного сходства.
Bitmap-индекс
Новый Bitmap-индекс ускоряет поиск по полям с ограниченным количеством уникальных значений (полям с низкой кардинальностью). Например, при поиске по пользовательским данным с полями вроде "gender", где возможны лишь несколько значений, Bitmap-индексы могут значительно ускорить выполнение запросов.
Nullable-значения и значения по умолчанию
Мы добавили поддержку nullable-свойств и значений по умолчанию в скалярных полях, обеспечивая большую гибкость в управлении данными. Эта функция упрощает миграцию данных из других систем баз данных и помогает обрабатывать реальные сценарии использования, где значения полей могут быть неизвестны или требовать настроек по умолчанию.
Новые бета-функции ⚡
Выдающаяся бета-функция в этом выпуске — наш новый Cluster Management WebUI, разработанный для решения сложности управления крупномасштабными развертываниями Milvus. Эта комплексная панель мониторинга автоматически отслеживает состояние системы, метрики производительности и предупреждает вас о потенциальных проблемах до того, как они повлияют на ваши приложения. Когда система обнаруживает нездоровые паттерны, у вас будет прямой доступ к экспертам Milvus для быстрого решения.
Мы также тестируем Clustering Compaction, которая помогает оптимизировать хранение и извлечение в больших коллекциях путем перераспределения данных на основе указанных скалярных полей. Эти функции доступны для тестирования, и мы будем рады вашим отзывам по мере продолжения их доработки.
Дополнительные функции и улучшения 🌟
Этот релиз включает множество улучшений, которые сделают вашу работу с Milvus удобнее. Мы улучшили нашу реализацию HNSW благодаря интеграции с Faiss, поддерживающей несколько методов квантования (SQ, PQ и PRQ) для повышения производительности и recall.
Среди других заметных улучшений — поддержка IPv6, возможности массового импорта CSV и новый streaming node для сервисов Write-Ahead Logging. Мы также оптимизировали крупномасштабные удаления, обновили ETCD до версии 3.5.16 и Pulsar до версии 3.0.7 LTS для повышения безопасности, а также представили Local Storage V2 для улучшения эффективности загрузки и запросов.
Присоединяйтесь к нашему практическому воркшопу! 🎓
Готовы изучить эти новые функции? Вы можете ознакомиться с нашими подробными release notes или присоединиться к нашему technical workshop, где мы покажем, как реализовать полнотекстовый поиск, настроить эффективные индексы и использовать эти новые возможности в ваших приложениях. Наши инженеры проведут вас через практические примеры и лучшие практики, чтобы вы могли получить максимум от Milvus 2.5.
И впереди еще больше захватывающих новостей — публичная предварительная версия Milvus 2.5 в Zilliz Cloud запланирована на февраль 2025 года. Следите за обновлениями, чтобы быть среди первых, кто опробует эти мощные функции в полностью управляемой среде, где вы можете сосредоточиться на создании своих приложений, а мы возьмем на себя инфраструктуру.
Читать далее
Zilliz Cloud On-Demand Compute: Pay Only for What You Use
The customer case behind Zilliz Cloud On-Demand: how a $10K vector search bill came down to under $500, and the engineering changes that made it possible.
How to Build an Enterprise-Ready RAG Pipeline on AWS with Bedrock, Zilliz Cloud, and LangChain
Build production-ready enterprise RAG with AWS Bedrock, Nova models, Zilliz Cloud, and LangChain. Complete tutorial with deployable code.
Zilliz Cloud Launches in AWS Australia, Expanding Global Reach to Australia and Neighboring Markets
We're thrilled to announce that Zilliz Cloud is now available in the AWS Sydney, Australia region (ap-southeast-2).