Operacionaliza la IA a escala con Software 2.0, MLOps y Milvus
Crear aplicaciones de aprendizaje automático (ML) es un proceso complejo e iterativo. A medida que más empresas reconocen el potencial sin explotar de los datos no estructurados, la demanda de procesamiento y análisis de datos impulsados por IA seguirá aumentando. Sin operaciones efectivas de aprendizaje automático, o MLOps, la mayoría de las inversiones en aplicaciones de ML se marchitarán en la vid. La investigación ha descubierto que tan solo el 5% de las adopciones de IA que las empresas planean implementar realmente llegan a la implementación. Muchas organizaciones incurren en "deuda de modelos", donde los cambios en las condiciones del mercado y la falta de adaptación a ellos dan como resultado inversiones no realizadas en modelos que permanecen sin actualizarse (o peor aún, nunca se implementan en absoluto).
Este artículo explica MLOps, un enfoque sistémico para la gestión del ciclo de vida de modelos de IA, y cómo la plataforma de gestión de datos vectoriales de código abierto Milvus puede utilizarse para operacionalizar la IA a escala.
¿Qué es MLOps?
Las operaciones de aprendizaje automático (MLOps), también conocidas como operaciones de modelos (ModelOps) u operacionalización de modelos de IA, son necesarias para crear, mantener e implementar aplicaciones de IA a escala. A medida que las empresas buscan aplicar los modelos de IA que desarrollan a cientos de escenarios diferentes, es crítico para la misión que los modelos en uso y aquellos en desarrollo sean operacionalizados en toda la organización. MLOps implica supervisar un modelo de aprendizaje automático a lo largo de su ciclo de vida y gobernar todo, desde los datos subyacentes hasta la efectividad de un sistema de producción que depende de un modelo particular.
MLOps gobierna el ciclo de vida de un modelo de aprendizaje automático.
Gartner define ModelOps como la gobernanza y la gestión del ciclo de vida de una amplia gama de modelos de inteligencia artificial operacionalizados y modelos de decisión. La funcionalidad principal de MLOps puede desglosarse de la siguiente manera:
Integración continua/entrega continua (CI/CD): Un conjunto de mejores prácticas tomadas de las operaciones de desarrolladores (DevOps), CI/CD es un método para entregar cambios de código con mayor frecuencia y de manera más fiable. La integración continua promueve la implementación de cambios de código en lotes pequeños mientras se supervisan con un estricto control de versiones. La entrega continua automatiza la entrega de aplicaciones a diversos entornos (por ejemplo, entornos de prueba y desarrollo).
Entornos de desarrollo de modelos (MDE): Un proceso complejo para crear, revisar, documentar y examinar modelos, los MDE ayudan a garantizar que los modelos se creen de forma iterativa, se documenten a medida que se desarrollan, sean confiables y reproducibles. Un MDE efectivo garantiza que los modelos puedan explorarse, investigarse y experimentarse de manera controlada.
Pruebas champion-challenger: Similar a la metodología de pruebas A/B utilizada por los especialistas en marketing, las pruebas champion-challenger implican experimentar con diferentes soluciones para ayudar al proceso de toma de decisiones que precede al compromiso con un único enfoque. Esta técnica implica supervisar y medir el rendimiento en tiempo real para identificar qué desviación funciona mejor.
Versionado de modelos: Como ocurre con cualquier sistema complejo, los modelos de aprendizaje automático son desarrollados por etapas por muchas personas diferentes, lo que da lugar a preguntas de gestión de datos en torno a las versiones de datos y modelos de ML. El versionado de modelos ayuda a gestionar y gobernar el proceso iterativo del desarrollo de ML, donde los datos, los modelos y el código pueden evolucionar a diferentes ritmos.
Almacén de modelos y reversión: Cuando se implementa un modelo, debe almacenarse su archivo de imagen correspondiente. Las capacidades de reversión y recuperación permiten a los equipos de MLOps volver a una versión anterior del modelo si es necesario.
Usar solo un modelo en una aplicación de producción presenta una serie de desafíos difíciles. MLOps es un método estructurado y repetible que se basa en herramientas, tecnología y mejores prácticas para superar problemas técnicos o de negocio que surgen durante el ciclo de vida de un modelo de machine learning. Un MLOps exitoso mantiene la eficiencia entre los equipos que trabajan para crear, implementar, monitorear, reentrenar y gobernar modelos de IA y su uso en sistemas de producción.
¿Por qué es necesario MLOps?
Como se muestra en el ciclo de vida del modelo de ML anterior, construir un modelo de machine learning es un proceso iterativo que implica incorporar nuevos datos, reentrenar modelos y lidiar con el deterioro general del modelo con el tiempo. Todos estos son problemas que las operaciones tradicionales de desarrollo, o DevOps, no abordan ni para los que proporcionan soluciones. MLOps se ha vuelto necesario como una forma de gestionar la inversión en modelos de IA y garantizar un ciclo de vida productivo del modelo. Debido a que los modelos de machine learning serán aprovechados por una variedad de diferentes sistemas de producción, MLOps se vuelve fundamental para asegurarse de que los requisitos puedan cumplirse en distintos entornos y ante diversos escenarios.
Un modelo de machine learning implementándose en un entorno en la nube que alimenta una aplicación.
La ilustración simple anterior muestra un modelo de machine learning implementándose en un entorno en la nube que alimenta una aplicación. En este escenario básico, podrían surgir varios problemas que MLOps ayuda a superar. Debido a que la aplicación de producción depende de un entorno en la nube específico, existen requisitos de latencia a los que los científicos de datos que desarrollaron el modelo de ML no tienen acceso. Operacionalizar el ciclo de vida del modelo haría posible que científicos de datos o ingenieros con conocimiento profundo del modelo identifiquen y solucionen problemas que surjan en entornos de producción específicos.
Los modelos de machine learning no solo se entrenan en entornos diferentes a los de las aplicaciones de producción en las que se utilizan, sino que también suelen depender de conjuntos de datos históricos que difieren de los datos utilizados en aplicaciones de producción. Con MLOps, todo el equipo de ciencia de datos, desde quienes desarrollan el modelo hasta las personas que trabajan a nivel de aplicación, tiene un medio para compartir y solicitar información y asistencia. La velocidad a la que cambian los datos y los mercados hace imperativo que haya la menor fricción posible entre todas las partes interesadas y los colaboradores clave que llegarán a depender de un modelo de machine learning determinado.
Apoyo a la transición hacia Software 2.0
Software 2.0 es la idea de que el desarrollo de software experimentará un cambio de paradigma a medida que la inteligencia artificial desempeñe cada vez más un papel central en la escritura de modelos de IA que impulsan aplicaciones de software. Bajo Software 1.0, el desarrollo implica que los programadores escriban instrucciones explícitas utilizando un lenguaje de programación específico (por ejemplo, Python, C++). Software 2.0 es mucho más abstracto. Aunque las personas proporcionan datos de entrada y establecen parámetros, las redes neuronales son difíciles de entender para los humanos debido a su enorme complejidad— con redes típicas que contienen millones de pesos que influyen en los resultados (y a veces miles de millones o billones).
DevOps se construyó en torno a la dependencia de Software 1.0 de instrucciones específicas dictadas por programadores que usan lenguajes, pero nunca consideró el ciclo de vida de un modelo de aprendizaje automático que impulsa una variedad de aplicaciones diferentes. MLOps aborda la necesidad de que el proceso de gestión del desarrollo de software cambie junto con el software en desarrollo. A medida que Software 2.0 se convierte en el nuevo estándar para la resolución de problemas basada en computadoras, contar con las herramientas y los procesos adecuados para gestionar los ciclos de vida de los modelos determinará el éxito o el fracaso de las inversiones en nueva tecnología. Milvus es un motor de búsqueda de similitud vectorial de código abierto creado para apoyar la transición a Software 2.0 y gestionar los ciclos de vida de los modelos con MLOps.
Cómo Milvus apoya la transición a Software 2.0.
Operacionalización de la IA a escala con Milvus
Milvus es una base de datos vectorial / plataforma de gestión de datos vectoriales creada específicamente para almacenar, consultar, actualizar y mantener conjuntos de datos vectoriales masivos, a escala de billones. La plataforma impulsa la búsqueda de similitud vectorial y puede integrarse con bibliotecas de índices ampliamente adoptadas, incluidas Faiss, NMSLIB y Annoy. Al combinar modelos de IA que convierten datos no estructurados en vectores con Milvus, se pueden crear aplicaciones que abarcan el desarrollo de nuevos fármacos, el análisis biométrico, los sistemas de recomendación y mucho más.
La búsqueda de similitud vectorial es la solución de referencia para el procesamiento y análisis de datos no estructurados, y los datos vectoriales están emergiendo rápidamente como un tipo de dato fundamental. Un sistema integral de gestión de datos como Milvus facilita la operacionalización de la IA de muchas maneras, entre ellas:
Proporcionar un entorno para el entrenamiento de modelos que garantice que más aspectos del desarrollo se realicen en un solo lugar, facilitando la colaboración entre equipos, la gobernanza de modelos y más.
Ofrecer un conjunto integral de APIs que admiten frameworks populares como Python, Java y Go, lo que facilita la integración de un conjunto común de modelos de ML.
La compatibilidad con Google Colaboratory, un entorno de cuaderno Jupyter que se ejecuta en un navegador, simplifica el proceso de compilar Milvus desde el código fuente y ejecutar operaciones básicas de Python.
La funcionalidad de aprendizaje automático automatizado (AutoML) permite automatizar las tareas asociadas con la aplicación del aprendizaje automático a problemas del mundo real. AutoML no solo genera mejoras de eficiencia, sino que permite que personas no expertas aprovechen los modelos y técnicas de aprendizaje automático.
Independientemente de las aplicaciones de aprendizaje automático que estés creando hoy, o de los planes que tengas para aplicaciones en el futuro, Milvus es una plataforma flexible de gestión de datos creada pensando en Software 2.0 y MLOps. Para obtener más información sobre Milvus o realizar contribuciones, encuentra el proyecto en Github. Para involucrarte con la comunidad o hacer preguntas, únete a nuestro canal de Slack. ¿Quieres más contenido? Consulta los siguientes recursos:
Sigue leyendo
Top 10 Context Engineering Techniques You Should Know for Production RAG
A practical guide to context engineering for production LLM systems, covering RAG, context processing, memory, agents, and multimodal context.
Announcing VDBBench 1.0: Open-Source VectorDB Benchmarking with Your Real-World Production Workloads
Discover VDBBench 1.0, an open-source tool for benchmarking vector databases with real-world production data, streaming ingestion, and concurrent workloads.
Zilliz Cloud BYOC Upgrades: Bring Enterprise-Grade Security, Networking Isolation, and More
Discover how Zilliz Cloud BYOC brings enterprise-grade security, networking isolation, and infrastructure automation to vector database deployments in AWS