Zilliz Cloud ofrece mejor rendimiento y menores costos con AWS Graviton basado en Arm Neoverse
Con la infraestructura en la nube avanzando para respaldar el crecimiento exponencial de la IA, Zilliz Cloud —la base de datos vectorial totalmente administrada creada sobre Milvus —aprovecha las CPU basadas en Arm Neoverse para ofrecer una eficiencia de costos y un rendimiento incomparables para cargas de trabajo de IA a escala empresarial. Este blog explora cómo Zilliz Cloud hizo la transición de CPU x86 a CPU Arm para cargas de trabajo intensivas en cómputo, reduciendo los costos operativos y habilitando la búsqueda vectorial a escala de miles de millones para cargas de trabajo de IA críticas para el negocio, como RAG y la búsqueda multimodal.
Zilliz Cloud: base de datos vectorial totalmente administrada para cargas de trabajo de producción
Zilliz Cloud es una base de datos vectorial totalmente administrada diseñada para aplicaciones de IA en producción, que ofrece búsqueda vectorial a gran escala a bajo costo. Construida sobre Milvus de código abierto, admite hasta 100 mil millones de vectores en datos no estructurados (imágenes, texto, audio) con búsqueda de similitud vectorial con latencia inferior a 20 ms, lo que la hace ideal para aplicaciones como RAG, Agentes de IA, búsqueda visual, sistemas de recomendación y detección de anomalías. Las características clave de Zilliz Cloud incluyen AutoIndex, que selecciona dinámicamente estrategias de indexación óptimas para una alta precisión de búsqueda sin ajuste manual, un motor de indexación Cardinal que desbloquea una búsqueda 10 veces más rápida que Milvus de código abierto, y compatibilidad con recuperación híbrida que combina búsqueda vectorial densa y búsqueda de texto completo para obtener mejores resultados.
Beneficios principales de Zilliz Cloud
Alto rendimiento: Capaz de servir datos vectoriales a escala de miles de millones con miles de QPS. Elección flexible de tipos de clúster para lograr un equilibrio entre latencia, precisión y costo
Escalabilidad: Escala horizontalmente para manejar hasta 100 mil millones de vectores mediante la arquitectura distribuida nativa de la nube
Eficiencia de costos: Reduce los costos de infraestructura en un 70% mediante la cuantización binaria RaBitQ, optimizaciones de índices vectoriales y almacenamiento por niveles
Facilidad de uso: Simplifica la implementación y las operaciones con AutoIndex y un servicio totalmente administrado
Seguridad y fiabilidad: Ofrece seguridad de nivel empresarial y un SLA de tiempo de actividad del 99,95%
Comprensión de las bases de datos vectoriales
Las bases de datos vectoriales se especializan en almacenar vectores de alta dimensionalidad generados por modelos de embeddings. Estos vectores permiten la búsqueda semántica mediante búsqueda aproximada de vecinos más cercanos, lo cual es fundamental para los flujos de trabajo de IA en procesamiento del lenguaje natural, visión por computadora y sistemas de recomendación. Al gestionar la indexación en tiempo real y las consultas multimodales, las bases de datos vectoriales abordan los desafíos de administrar eficientemente datos no estructurados. Zilliz Cloud aprovecha estas capacidades para impulsar aplicaciones de IA con latencia inferior a 20 ms, garantizando un alto rendimiento para cargas de trabajo de producción.
El papel de Milvus
Milvus, la base de datos vectorial de código abierto más popular con más de 36K estrellas en GitHub, es la base de Zilliz Cloud con su arquitectura escalable y nativa de la nube. Su diseño distribuido permite a Zilliz Cloud escalar horizontalmente a través de miles de millones de vectores mientras mantiene una baja latencia, lo que habilita el manejo eficiente de conjuntos de datos masivos.
A partir de Milvus 2.3, se agrega compatibilidad con CPU Arm junto con imágenes oficiales de Docker para Arm64, lo que simplifica la instalación y la implementación en plataformas rentables y energéticamente eficientes. Ejecutar Milvus en CPU Arm ofrece una mejora de rendimiento del 20% sobre x86 tradicional, lo que resulta en consultas más rápidas para aplicaciones que dependen de una búsqueda y recuperación vectorial rápidas.
Camino hacia las CPU basadas en Arm
La adopción por parte de Zilliz Cloud de procesadores AWS Graviton3 basados en Arm marca un salto estratégico en el rendimiento y la rentabilidad de las cargas de trabajo de IA. Los procesadores AWS Graviton3, impulsados por la arquitectura Arm Neoverse, aprovechan la compatibilidad con instrucciones SVE y BFloat16 para ofrecer un rendimiento y una eficiencia superiores. Estas mejoras arquitectónicas también incluyen unidades vectoriales más amplias y una pila de software mejorada, lo que convierte a Graviton3 en una opción ideal para tareas de GenAI como la búsqueda semántica y los pipelines RAG, que requieren operaciones vectoriales de alto rendimiento y procesamiento en tiempo real.
El coste es una barrera importante para la adopción de la búsqueda de IA a gran escala en las empresas. Para abordar esto, Zilliz Cloud ha implementado numerosas optimizaciones de ingeniería que reducen significativamente los costes y mejoran la eficiencia, haciendo que la búsqueda vectorial sea más accesible para sus clientes, incluso a escala de miles de millones.
Tras conocer la potencia de cómputo avanzada y el diseño de instrucciones optimizado para operaciones vectoriales, el equipo de Zilliz Cloud ha trabajado estrechamente con los equipos de Arm y AWS para migrar las cargas de trabajo de indexación intensivas en cómputo a AWS Graviton3.
Uno de los beneficios más notables de adoptar los procesadores AWS Graviton3 es el aumento sustancial del rendimiento y la rentabilidad. En concreto, Zilliz Cloud ha observado:
Rendimiento de creación de índices: El rendimiento de creación de índices ha aumentado un 50% en comparación con la implementación x86, acelerando drásticamente la indexación vectorial, una operación crítica durante la ingesta de datos para acelerar la consulta en el momento de la recuperación. Esta mejora permite un procesamiento de datos más rápido y una gestión más eficiente de conjuntos de datos vectoriales a escala de miles de millones.
Operaciones de búsqueda: Las operaciones de búsqueda han experimentado una ganancia de eficiencia del 10% en comparación con x86, lo que se traduce en resultados de ejecución de consultas más rápidos y una recuperación de datos con mayor capacidad de respuesta. Esta mejora permite una navegación más fluida por grandes conjuntos de datos, garantizando que los usuarios puedan localizar rápidamente registros específicos o explorar grandes cantidades de información.
Más allá de las mejoras de rendimiento, la adopción de instancias en la nube basadas en AWS Graviton3 redujo los costes operativos de Zilliz Cloud en un 10%, impulsada por la eficiencia energética de los procesadores y la ventaja de precio-rendimiento en comparación con las instancias x86. Esta actualización se alinea con la misión de Zilliz Cloud de ofrecer soluciones de alto rendimiento y rentables para aplicaciones de IA. Al aprovechar los procesadores AWS Graviton3, Zilliz Cloud mejora su capacidad para manejar cargas de trabajo GenAI exigentes al tiempo que reduce el coste total de propiedad.
"La arquitectura basada en Arm Neoverse de AWS Graviton ofrece una solución rentable y energéticamente eficiente para la búsqueda vectorial a escala masiva en producción, garantizando que las empresas puedan aumentar la adopción de la búsqueda de IA sin comprometer el rendimiento", dijo James Luan, vicepresidente de Ingeniería en Zilliz. "Al integrar el diseño innovador de Arm, Zilliz Cloud permite a las organizaciones escalar aplicaciones de IA con mayor eficiencia, manteniendo al mismo tiempo el alto rendimiento necesario para seguir siendo competitivas."
Conclusión
La integración por parte de Zilliz Cloud de procesadores AWS Graviton3 basados en Arm ofrece una ventaja competitiva en infraestructura de IA, combinando escalabilidad y rendimiento optimizado en costes para cargas de trabajo críticas. Al aprovechar su arquitectura mejorada de cómputo y eficiencia energética, la plataforma acelera las implementaciones de IA/ML mediante una construcción de índices más rápida, capacidades de búsqueda aceleradas y costes de infraestructura reducidos. A medida que las organizaciones priorizan cada vez más soluciones escalables y rentables para cargas de trabajo impulsadas por IA, la adopción por parte de Zilliz Cloud de tecnología de cómputo de alto rendimiento y rentable garantiza que siga siendo líder en la prestación de servicios en la nube innovadores y eficientes. Este enfoque orientado al futuro permite a los clientes abordar desafíos de datos complejos mientras mantienen la agilidad en un panorama tecnológico cada vez más complejo y en evolución.
Visita el Arm Developer Hub para acceder a herramientas probadas en combate, demostraciones y guías paso a paso para potenciar tus aplicaciones de IA en la arquitectura Arm.
¿Listo para revolucionar la búsqueda semántica? Explora nuestro tutorial sobre cómo crear una aplicación con tecnología RAG usando Zilliz Cloud en servidores basados en Arm.
Migra sin problemas con Arm Cloud Migration: tu atajo para aumentar la eficiencia y optimizar el rendimiento en Arm.
Jiang ChenJiang is currently Director of Technical GTM at Zilliz. He has years of experience in data infrastructures and cloud security. Before joining Zilliz, he had previously served as a tech lead and product manager at Google, where he led the development of web-scale semantic understanding and search indexing that powers innovative search products such as short video search. He has extensive industry experience handling massive unstructured data and multimedia content retrieval. He has also worked on cloud authorization systems and research on data privacy technologies. Jiang holds a Master's degree in Computer Science from the University of Michigan.
Ashok BhatAshok Bhat is the Senior Product Manager at Arm.
Sigue leyendo
Context Engineering Strategies for AI Agents: A Developer’s Guide
Learn practical context engineering strategies for AI agents. Explore frameworks, tools, and techniques to improve reliability, efficiency, and cost.
Democratizing AI: Making Vector Search Powerful and Affordable
Zilliz democratizes AI vector search with Milvus 2.6 and Zilliz Cloud for powerful, affordable scalability, cutting costs in infrastructure, operations, and development.
Proactive Monitoring for Vector Database: Zilliz Cloud Integrates with Datadog
we're excited to announce Zilliz Cloud's integration with Datadog, enabling comprehensive monitoring and observability for your vectorDB deployments.