Новое в Zilliz Cloud: поисковый движок Cardinal, GCP Marketplace, Databricks Connector и многое другое
Наши новейшие продукты Zilliz Cloud уже запущены: новые функции помогут добиться реального бизнес-эффекта благодаря инновациям в области ИИ с использованием нашей векторной базы данных и сервисов данных. Что нового? Zilliz Cloud значительно повышает производительность векторного поиска, обеспечивая при этом безопасность корпоративного уровня и бесшовную интеграцию данных.
Ключевые нововведения включают впечатляющее 10-кратное повышение производительности, упрощение процессов бюджетирования, оплаты и закупок, устранение необходимости в пользовательском коде, а также обеспечение плавной обработки и индексирования неструктурированных данных.
Вот обзор наших новых функций — читайте дальше, чтобы узнать подробности:
Новые функции Zilliz Cloud:
Присоединяйтесь к нашему Launch webinar, чтобы увидеть эти инновации в действии
Cardinal Search Engine: поиск в 10 раз быстрее, на 50% больше емкости
Разработанный с нуля с использованием современного C++ и практических методов Approximate Nearest Neighbor Search (ANNS), Cardinal — это многопоточный высокоэффективный движок векторного поиска. Он справляется с задачами от поиска методом полного перебора до модификации индексов ANNS и работы с различными форматами данных, включая FP32, FP16 и BF16. Основной акцент Cardinal — скорость и эффективность, что позволяет обрабатывать больше пользовательских запросов в пределах имеющихся ресурсных ограничений.
Инновация, лежащая в основе Cardinal, свидетельствует о наших скромных истоках, когда мы полностью приняли гетерогенные вычисления. Наша команда тонко настроила алгоритмы, задействовала низкоуровневые специализированные оптимизированные ядра для вычислительно интенсивных операций и обеспечила поддержку нескольких аппаратных платформ, включая x86 и ARM. Cardinal использует передовые технологии, такие как расширения AVX-512 для x86, а также наборы инструкций NEON и SVE для ARM, предоставляя оптимизированный код для эффективных вычислений. Эти тщательные оптимизации гарантируют, что Cardinal работает на пиковой производительности, делая его самым быстрым движком векторного поиска в отрасли.
С Cardinal наши клиенты могут добиться впечатляющего 10-кратного повышения производительности по сравнению с open-source Milvus и обрабатывать запросы с молниеносной скоростью, сохраняя высокий уровень полноты поиска. Независимо от того, работаете ли вы с большими наборами данных или вам нужны быстрые ответы, Cardinal обеспечивает быстрое и эффективное выполнение ваших векторных поисков. Быстрые результаты запросов улучшают пользовательский опыт и дают конкурентное преимущество вашим AI-приложениям. Вы можете подробнее прочитать о том, какие реальные сценарии использования вдохновили нас на создание Cardinal.
«Мы впечатлены производительностью Zilliz Cloud, особенно при высоких нагрузках данных», — сказал Алекс Александер, CEO & Founder Picdmo. «Внедрение поискового движка Cardinal с его обещанием повысить производительность Milvus и удвоить производительность по сравнению с предыдущей версией Zilliz Cloud станет для нас революционным изменением. Этот скачок эффективности в сочетании с последними достижениями в области безопасности значительно повысит нашу способность предлагать клиентам расширенный поиск похожих изображений».
Ознакомьтесь с нашим блогом о поисковом движке Cardinal, чтобы узнать больше.
Milvus 2.3 общедоступен в Zilliz Cloud: расширенные функции векторного поиска готовы для производственных нагрузок
После четырехмесячной бета-фазы долгожданный Milvus 2.3 стал общедоступен в Zilliz Cloud. Пользователи Zilliz Cloud теперь могут уверенно использовать эти расширенные функции векторного поиска и управления данными в производственной среде.
Некоторые ключевые возможности этой версии включают:
Cosine Similarity: Расширенные возможности вычисления сходства, устраняющие необходимость предварительной нормализации векторов и упрощающие процессы запросов.
Upsert Function: Упрощенное управление данными с повышенной эффективностью обновления и удаления наборов данных, что особенно ценно в динамических средах, где критически важны согласованность данных и атомарность.
Range Search: Эта функция предоставляет более точные методы извлечения данных для некоторых сценариев использования, расширяя область векторных запросов за пределы поиска top-K. Она особенно полезна для рекомендательных систем, обеспечивая более релевантные предложения для пользователей.
Поддержка файлов Apache Parquet: Улучшенные возможности обработки данных благодаря эффективному колоночному формату хранения Parquet, обеспечивающему лучшее сжатие и производительность запросов, особенно при работе со сложными наборами данных.
Поддержка типа данных Array: Позволяет выполнять точную фильтрацию метаданных для расширенного поиска на основе нескольких атрибутов. Например, в электронной коммерции эта функция позволяет выполнять расширенный поиск на основе различных тегов товаров, обеспечивая высокорелевантные результаты поиска для пользователей.
Интеграция с GCP Marketplace: упрощение планирования бюджета, оплаты и закупок
Интеграция Zilliz Cloud с Google Cloud Marketplace уже запущена, предоставляя разработчикам бесшовный опыт использования ее возможностей. Вы можете использовать ресурсы и инфраструктуру Google Cloud без сложности отдельных процедур оплаты и закупок. Эта интеграция также упрощает ваш опыт, устраняя необходимость предварительного планирования бюджета и обязательств для ваших новых AI-инициатив. По мере развития вашего проекта вы можете масштабировать свои кластеры и платить по мере необходимости, согласуя ресурсы с ростом вашего проекта.
У вас есть гибкость в выборе способа доступа к Zilliz Cloud через Google Cloud Marketplace. Вы можете настроить GCP Marketplace в качестве способа оплаты в UI Zilliz Cloud или оформить подписку напрямую через листинг Google Marketplace. Для разработчиков, которые регистрируются через GCP Marketplace, предусмотрен дополнительный бонус: вы получите стандартный кредит $100, доступный новым пользователям, и дополнительный кредит $100.
Добавить GCP Marketplace в UI Zilliz Cloud
На данный момент Zilliz Cloud доступен у трех крупных облачных провайдеров, AWS, Azure и GCP, в 8 регионах по всему миру. Такая широкая доступность гарантирует, что вы сможете использовать мощные возможности Zilliz Cloud везде, где размещены ваши проекты. Он обеспечивает гибкость и доступность, позволяя вам легко развертывать ваши AI-приложения.
Управление доступом на основе ролей: включите детализированный контроль доступа к критически важным ресурсам в масштабе
Управление доступом на основе ролей (RBAC) в Zilliz Cloud предоставляет структурированный и масштабируемый подход к управлению разрешениями для безопасности доступа к данным. За последние несколько месяцев мы внедрили несколько функций, сделав систему RBAC в Zilliz Cloud более детализированной и всеобъемлющей, чем у любого поставщика векторных баз данных на рынке. RBAC разделен на два уровня: уровень управления и уровень данных. На уровне управления роли регулируют операционные разрешения для таких ресурсов, как кластеры, проекты, пользователи и биллинг. Zilliz Cloud поддерживает четыре роли на уровне управления, при этом администраторы организации, владельцы проектов и участники проектов являются тремя наиболее часто используемыми ролями:
Администратор организации: Эта роль имеет полные разрешения на управление организацией, включая настройки организации, способы оплаты, биллинг, API-ключи, все проекты внутри организации и связанные ресурсы.
Владелец проекта: Владельцы проектов имеют полные разрешения на управление проектами, включая настройки проекта, все кластеры внутри проекта, API-ключи и другие связанные ресурсы.
Участник проекта: Участники проекта имеют разрешения на чтение и запись для всех кластеров внутри проекта, возможность просматривать сведения о кластере, а также управлять коллекциями и индексами.
В отличие от этого, на уровне данных роли сосредоточены на управлении возможностью добавлять, удалять, изменять данные и получать к ним доступ внутри кластеров. Zilliz Cloud предлагает три встроенные роли на уровне данных: Admin, Read-Only и Read-Write, которые управляют разрешениями на чтение и запись, а также правами управления данными кластера. Кроме того, для конкретных бизнес-требований, таких как предоставление авторизованному персоналу доступа к конфиденциальным данным или использование коллекций в качестве единиц изоляции для множества арендаторов с целью обеспечения безопасного доступа к данным, Zilliz Cloud позволяет пользователям создавать пользовательские роли. Эти пользовательские роли могут определять разрешения, которые должны соблюдаться для конкретных коллекций, разделов или операций, обеспечивая принцип минимизации разрешений на данные при использовании Zilliz Cloud.
Благодаря детализированному RBAC как на уровне управления, так и на уровне данных, компании могут добиться тонкого контроля доступа к своим данным, повышая безопасность и соответствие требованиям, одновременно облегчая сотрудничество между командами и гарантируя, что пользователи имеют соответствующий уровень доступа для своих ролей и обязанностей.
Databricks Connector: используйте мощную обработку данных Databricks вместе с векторным индексом и поиском Zilliz Cloud без необходимости писать пользовательский код
Недавно мы расширили наши возможности подключения и преобразования данных, представив Confluent и Airbyte Connectors. Эти релизы были обусловлены нашей приверженностью предоставлению готовых решений для потребностей наших пользователей в интеграции данных. Давайте перейдем к нашей следующей вехе в создании платформы неструктурированных данных — Databricks Connector.
Databricks Connector предлагает простое решение для миграции и преобразования данных, упрощая процесс разработки для многих сценариев использования AI. Независимо от того, являетесь ли вы командой с возможностями ML-исследований, которая стремится обновлять модели эмбеддингов, или индивидуальным пользователем, желающим загружать записи data frame напрямую из Spark в Milvus, этот коннектор обеспечивает необходимую вам гибкость.
С помощью Databricks Connector вы можете импортировать данные в Zilliz Cloud двумя способами: потоковая передача для обновлений в реальном времени и пакетная обработка для больших наборов данных. Ознакомьтесь с нашими примерными ноутбуками для пошагового руководства по эффективному использованию.
Другие обновления безопасности
За последние несколько месяцев Zilliz Cloud получил сертификаты соответствия SOC2 Type 2 и ISO27001. Эти сертификации демонстрируют нашу приверженность соблюдению самых высоких стандартов безопасности и защиты данных, чтобы вы могли доверять Zilliz Cloud безопасное управление вашими ценными данными, обеспечивая конфиденциальность, целостность и доступность.
Создание более надежных AI-приложений с возможностями Zilliz Cloud
Хотите узнать больше? Пожалуйста, зарегистрируйтесь на вебинар по запуску Zilliz Cloud Q1 ‘24 1 февраля. Вы узнаете, как Zilliz Cloud помогает преобразовывать неструктурированные данные и AI-приложения благодаря непревзойденной производительности и масштабируемости, от нашего вице-президента по инженерии.
Готовы начать? Если вы еще этого не сделали, начните бесплатно с Zilliz Cloud без сложностей с установкой и без необходимости указывать кредитную карту. Вы также можете начать 30-дневную бесплатную пробную версию плана Standard с кредитами на сумму $100 при регистрации. Вы можете связаться с нами через наш портал поддержки, если у вас возникнут проблемы или вопросы при использовании Zilliz Cloud.
Читать далее
Zilliz Cloud Now Available in AWS Europe (Ireland)
Zilliz Cloud launches in AWS eu-west-1 (Ireland) — bringing low-latency vector search, EU data residency, and full GDPR-ready infrastructure to European AI teams. Now live across 30 regions on five cloud providers.
Cosmos World Foundation Model Platform for Physical AI
NVIDIA's Cosmos platform enables safe, digital twin training of GenAI models for physical applications, overcoming data scarcity and safety challenges.
What is the K-Nearest Neighbors (KNN) Algorithm in Machine Learning?
KNN is a supervised machine learning technique and algorithm for classification and regression. This post is the ultimate guide to KNN.