Zilliz Cloud обеспечивает более высокую производительность и более низкие затраты благодаря AWS Graviton на базе Arm Neoverse
Поскольку облачная инфраструктура развивается, чтобы поддерживать экспоненциальный рост AI, Zilliz Cloud — полностью управляемая векторная база данных, построенная на Milvus — использует CPU на базе Arm Neoverse, чтобы обеспечить непревзойденную экономическую эффективность и производительность для AI-нагрузок корпоративного масштаба. В этом блоге рассматривается, как Zilliz Cloud перешел с x86 на Arm CPU для вычислительно интенсивных нагрузок, снизив операционные затраты и обеспечив векторный поиск миллиардного масштаба для критически важных AI-нагрузок, таких как RAG и мультимодальный поиск.
Zilliz Cloud: полностью управляемая векторная база данных для производственных нагрузок
Zilliz Cloud — это полностью управляемая векторная база данных, разработанная для AI-приложений в production, обеспечивающая крупномасштабный векторный поиск при низкой стоимости. Построенная на open-source Milvus, она поддерживает до 100 миллиардов векторов по неструктурированным данным (изображения, текст, аудио) с векторным поиском по сходству с задержкой менее 20 мс, что делает ее идеальной для приложений вроде RAG, AI Agents, визуального поиска, рекомендательных систем и обнаружения аномалий. Ключевые функции Zilliz Cloud включают AutoIndex, который динамически выбирает оптимальные стратегии индексирования для высокой точности поиска без ручной настройки, движок индексирования Cardinal, обеспечивающий поиск в 10 раз быстрее, чем open-source Milvus, и поддержку гибридного извлечения, объединяющую плотный векторный поиск и полнотекстовый поиск для улучшения результатов.
Ключевые преимущества Zilliz Cloud
Высокая производительность: Способна обслуживать векторные данные миллиардного масштаба с тысячами QPS. Гибкий выбор типов кластеров для достижения баланса между задержкой, точностью и стоимостью
Масштабируемость: Горизонтально масштабируется для обработки до 100 миллиардов векторов благодаря распределенной cloud native-архитектуре
Экономическая эффективность: Снижает затраты на инфраструктуру на 70% благодаря бинарному квантованию RaBitQ, оптимизациям векторных индексов и многоуровневому хранению
Простота использования: Упрощает развертывание и эксплуатацию с помощью AutoIndex и полностью управляемого сервиса
Безопасность и надежность: Предлагает безопасность корпоративного уровня и SLA с доступностью 99,95%
Понимание векторных баз данных
Векторные базы данных специализируются на хранении многомерных векторов, генерируемых embedding-моделями. Эти векторы обеспечивают семантический поиск с помощью приближенного поиска ближайших соседей, что критически важно для AI-процессов в обработке естественного языка, компьютерном зрении и рекомендательных системах. Обеспечивая индексирование в реальном времени и мультимодальные запросы, векторные базы данных решают задачи эффективного управления неструктурированными данными. Zilliz Cloud использует эти возможности для работы AI-приложений с задержкой менее 20 мс, обеспечивая высокую производительность для производственных нагрузок.
Роль Milvus
Milvus, самая популярная open-source векторная база данных с 36K+ звезд на GitHub, является основой Zilliz Cloud благодаря своей масштабируемой cloud-native архитектуре. Ее распределенный дизайн позволяет Zilliz Cloud горизонтально масштабироваться на миллиарды векторов, сохраняя низкую задержку и обеспечивая эффективную обработку массивных наборов данных.
Начиная с Milvus 2.3 добавлена поддержка Arm CPU вместе с официальными Docker-образами для Arm64, что упрощает установку и развертывание на экономичных и энергоэффективных платформах. Запуск Milvus на Arm CPU дает прирост производительности на 20% по сравнению с традиционными x86, что приводит к более быстрым запросам для приложений, зависящих от быстрого векторного поиска и извлечения.
Путь к CPU на базе Arm
Внедрение Arm-процессоров AWS Graviton3 в Zilliz Cloud знаменует собой стратегический скачок в производительности и экономической эффективности AI-нагрузок. Процессоры AWS Graviton3, основанные на архитектуре Arm Neoverse, используют поддержку инструкций SVE и BFloat16 для обеспечения превосходной производительности и эффективности. Эти архитектурные улучшения также включают более широкие векторные блоки и улучшенный программный стек, что делает Graviton3 идеальным выбором для GenAI-задач, таких как семантический поиск и RAG-конвейеры, которым требуются высокопроизводительные векторные операции и обработка в реальном времени.
Стоимость является главным препятствием для внедрения крупномасштабного AI-поиска на предприятиях. Чтобы решить эту проблему, Zilliz Cloud реализовала многочисленные инженерные оптимизации, которые значительно снижают затраты и повышают эффективность, делая векторный поиск более доступным для своих клиентов даже в масштабе миллиардов.
Изучив передовые вычислительные возможности и оптимизированный дизайн инструкций для векторных операций, команда Zilliz Cloud тесно сотрудничала с командами Arm и AWS для переноса ресурсоемких нагрузок индексирования на AWS Graviton3.
Одним из наиболее заметных преимуществ внедрения процессоров AWS Graviton3 является существенное повышение производительности и экономической эффективности. В частности, Zilliz Cloud наблюдала:
Производительность построения индекса: Производительность построения индекса увеличилась на 50% по сравнению с реализацией на x86, что значительно ускорило векторное индексирование — критически важную операцию при загрузке данных для ускорения запросов во время извлечения. Это улучшение обеспечивает более быструю обработку данных и более эффективную работу с векторными наборами данных миллиардного масштаба.
Операции поиска: Операции поиска показали прирост эффективности на 10% по сравнению с x86 в бенчмарках, что привело к более быстрому выполнению запросов и более отзывчивому извлечению данных. Это улучшение обеспечивает более плавную навигацию по большим наборам данных, гарантируя, что пользователи смогут быстро находить конкретные записи или исследовать огромные объемы информации.
Помимо прироста производительности, внедрение облачных инстансов на базе AWS Graviton3 снизило операционные затраты Zilliz Cloud на 10% благодаря энергоэффективности процессоров и преимуществу по соотношению цена-производительность по сравнению с инстансами x86. Это обновление соответствует миссии Zilliz Cloud — предоставлять высокопроизводительные и экономически эффективные решения для AI-приложений. Используя процессоры AWS Graviton3, Zilliz Cloud повышает свою способность обрабатывать требовательные GenAI-нагрузки, одновременно снижая совокупную стоимость владения.
"Архитектура AWS Graviton на базе Arm Neoverse обеспечивает экономически эффективное и энергоэффективное решение для векторного поиска массового масштаба в production, гарантируя, что предприятия смогут расширять внедрение AI-поиска без компромиссов в производительности", — сказал James Luan, VP of Engineering at Zilliz. "Интегрируя инновационный дизайн Arm, Zilliz Cloud позволяет организациям масштабировать AI-приложения с большей эффективностью, сохраняя высокую производительность, необходимую для поддержания конкурентоспособности."
Заключение
Интеграция Arm-процессоров AWS Graviton3 в Zilliz Cloud обеспечивает конкурентное преимущество в AI-инфраструктуре, сочетая масштабируемость и оптимизированную по стоимости производительность для критически важных нагрузок. Используя свою улучшенную вычислительную и энергоэффективную архитектуру, платформа ускоряет развертывание AI/ML за счет более быстрого построения индексов, ускоренных возможностей поиска и снижения инфраструктурных затрат. По мере того как организации все чаще отдают приоритет масштабируемым и экономически эффективным решениям для нагрузок на базе AI, внедрение Zilliz Cloud высокопроизводительной и экономичной вычислительной технологии гарантирует, что она остается лидером в предоставлении инновационных и эффективных облачных сервисов. Этот дальновидный подход позволяет клиентам решать сложные задачи, связанные с данными, сохраняя гибкость в условиях все более сложного и развивающегося технологического ландшафта.
Посетите Arm Developer Hub — здесь вы найдете проверенные в боевых условиях инструменты, демо и пошаговые руководства, которые помогут вывести ваши AI-приложения на архитектуре Arm на новый уровень.
Готовы совершить революцию в семантическом поиске? Ознакомьтесь с нашим руководством по созданию приложения на базе RAG с использованием Zilliz Cloud на серверах на базе Arm.
Выполните миграцию без лишних сложностей с Arm Cloud Migration — вашим быстрым путем к повышению эффективности и оптимизации производительности на Arm.
Jiang ChenJiang is currently Director of Technical GTM at Zilliz. He has years of experience in data infrastructures and cloud security. Before joining Zilliz, he had previously served as a tech lead and product manager at Google, where he led the development of web-scale semantic understanding and search indexing that powers innovative search products such as short video search. He has extensive industry experience handling massive unstructured data and multimedia content retrieval. He has also worked on cloud authorization systems and research on data privacy technologies. Jiang holds a Master's degree in Computer Science from the University of Michigan.
Ashok BhatAshok Bhat is the Senior Product Manager at Arm.
Читать далее
Vector Lakebase: End the AI Data Silo
Learn how Vector Lakebase unifies vector search, data lakes, and AI data operations so teams can serve RAG and agents without copy-and-sync pipelines.
Top 10 Context Engineering Techniques You Should Know for Production RAG
A practical guide to context engineering for production LLM systems, covering RAG, context processing, memory, agents, and multimodal context.
Why Context Engineering Is Becoming the Full Stack of AI Agents
Discover how context engineering unifies prompts, RAG, and tools to build smarter, production-ready AI agents powered by Milvus.