IA generativa para aplicaciones creativas usando Storia Lab
En una presentación reciente en el Zilliz Unstructured Data Meetup, Mihail Eric, el fundador de Storia AI, presentó Storia Lab, un conjunto de APIs diseñadas para integrar funcionalidades avanzadas de edición de imágenes en tus aplicaciones.
Mira la repetición de la charla de Mihail en el meetup.
Esta charla se centró en mejorar las imágenes de IA generativa, detallando cómo podemos hacer ediciones matizadas mientras preservamos la integridad de las imágenes originales. Mihail analiza soluciones prácticas para necesidades de edición de imágenes, como la eliminación de fondos, la corrección de texto y los ajustes estilísticos en imágenes, haciendo que la edición avanzada de imágenes sea accesible para los desarrolladores mediante APIs en diversas plataformas.
Analicemos cada solución una por una y cómo puedes integrar las APIs de Storia Lab con la base de datos vectorial Milvus para crear aplicaciones GenAI avanzadas como la generación aumentada por recuperación multimodal (RAG).
API Textify para corrección de texto
La API Textify corrige o cambia texto existente mientras mantiene la fuente y el estilo originales. Aborda un problema común en los elementos visuales generados por IA, donde el texto aparece como un galimatías o contiene errores. Echemos un vistazo al siguiente ejemplo. La imagen de abajo se genera usando MidJourney y escribe mal Happy en la frase Happy Birthday.
Fig 1- Imagen de entrada generada mediante Midjourney
Para corregir esta imagen, llamas a la API Textify con parámetros que especifican el área de la imagen que se debe corregir y el texto que necesita reemplazo. Luego, Textify reemplaza el galimatías con texto significativo mientras mantiene la fuente y el estilo originales. Observa el resultado a continuación:
Fig 2- Imagen de salida que muestra el galimatías corregido por la API Textify
Puedes ver que la imagen ahora contiene el mensaje correcto de feliz cumpleaños. Veamos cómo Storia Lab maneja las modificaciones del fondo de imágenes.
APIs de eliminación y reemplazo de fondo
La API de eliminación de fondo elimina fondos de imágenes usando un modelo de eliminación de fondo. Storia Lab realiza automáticamente esta tarea cuando envías una imagen mediante la API. Esta capacidad es útil para mejorar la visibilidad al mostrar imágenes sobre un fondo neutro o que no distraiga. Observa la siguiente imagen lado a lado que muestra los resultados de eliminar un fondo usando la API de eliminación de fondo.
Fig 3- Comparación lado a lado que muestra los resultados de eliminar el fondo de una imagen usando Storia lab
Storia Lab ofrece una API de reemplazo de fondo además de la API de eliminación de fondo. Esta funciona de manera diferente, ya que necesitamos un prompt. Para cambiar el fondo de una imagen generada por IA o de tu imagen, pasas la imagen de entrada y un prompt que describe el fondo que te gustaría que tuviera la imagen de salida. El modelo de reemplazo de fondo de Storia Lab reconstruirá entonces el fondo de tu imagen para cumplir con los requisitos del prompt. Echemos un vistazo a los resultados:
Fig 4- Izquierda- Entrada generada mediante Midjourney; Derecha- Fondo de salida reemplazado usando el prompt "modern motion graphics, squares, Gen Z
Este modelo hace un trabajo excelente al reemplazar el fondo con los prompts solicitados modern motion graphics, squares, and Gen Z. Además de los fondos, puede que necesites eliminar algunos elementos no deseados en una imagen. Veamos cómo Storia Lab maneja esta solicitud.
Eliminación de elementos no deseados usando la API Cleanup
La API de Limpieza de Defectos elimina elementos no deseados, como objetos, defectos o texto, de las imágenes marcando el área alrededor de ellos. Luego, el modelo de limpieza procesa la imagen para eliminar estos elementos sin requerir edición manual. Observa esta imagen, por ejemplo.
Fig 5- Izquierda- Entrada de la fotografía original Derecha- Salida con las personas del fondo eliminadas
El fondo tiene personas aleatorias, pero queremos centrarnos en el niño. Para eliminar a las personas aleatorias, necesitamos marcar las áreas que las contienen. Luego, el modelo de limpieza de Storia Lab eliminará los elementos marcados y recreará esas áreas para que coincidan con el resto de la imagen.
Hasta ahora, hemos visto cómo Storial Lab realiza ediciones sutiles en imágenes originales o generadas por IA. Ahora cambiemos de tema y veamos otra función generativa de Storia Lab en la que un boceto se convierte en una imagen realista.
API de Conversión de Boceto a Imagen
La API de Conversión de Boceto a Imagen transforma bocetos básicos en arte digital detallado o imágenes fotorrealistas. Toma un boceto como entrada y un prompt que describe cómo debe ser la salida. Cuanto más creativo seas con el prompt, mejores serán los resultados. Veamos los resultados de convertir un boceto de una sala de estar en una imagen realista.
Fig 6- Izquierda- Entrada del boceto original Derecha- Salida Salida para el prompt "sala de estar fotorrealista en verde, naranja quemado y acentos dorados"
La imagen anterior muestra una sala de estar realista generada a partir de un boceto. Contiene todos los colores especificados en el prompt. Como has visto, cuando se trata de modelos generativos, lo que especificas en el prompt es lo que obtienes como salida. Para obtener más información sobre prompting, consulta esta guía de ingeniería de prompts para familiarizarte con los diferentes métodos implicados.
Además de las soluciones de API anteriores, Mihail repasa rápidamente el potencial de la integración de Storia Lab con aplicaciones multimodales en la charla. Vamos a verlo con más calma.
Integración de Storia Lab con Milvus para Aplicaciones RAG Multimodales Avanzadas
Milvus es una base de datos vectorial de código abierto diseñada para manejar eficientemente vectores a escala de miles de millones. Aprovecha la búsqueda vectorial para recuperar varios tipos de datos. La búsqueda vectorial, también conocida como búsqueda por similitud o de vecinos más cercanos, convierte los datos en vectores de alta dimensionalidad utilizando un modelo de embeddings y encuentra los vectores más similares en función de su proximidad en el espacio vectorial.
Las aplicaciones RAG multimodales procesan múltiples tipos de datos para tareas de recuperación y aumento de generación. Utilizar las capacidades de búsqueda vectorial de Milvus mejora su eficiencia y solidez.
Combinar Milvus con las APIs de Storia Lab puede mejorar aún más las aplicaciones RAG multimodales, permitiendo la creación de contenido personalizado, flujos de trabajo automatizados y recomendaciones personalizadas.
Estos son algunos casos de uso prácticos que demuestran la sinergia entre Storia AI y Milvus:
Creación de Contenido Multimodal: Esta aplicación permitiría a los usuarios generar y editar imágenes basadas en prompts de texto o bocetos. Usando Milvus, la aplicación busca en una base de datos vectorial imágenes que coincidan con la descripción o el boceto de un usuario. Luego, las APIs de Storia Lab permiten a los usuarios modificar o mejorar estas imágenes, integrando sin problemas la creatividad textual y visual.
Búsqueda y recomendación de imágenes: Cree un motor de búsqueda de imágenes dinámico en el que los usuarios puedan consultar imágenes usando texto o una imagen de ejemplo. Milvus gestiona las representaciones vectoriales para una búsqueda de similitud eficiente, mientras que las capacidades de edición de Storia Lab refinan el resultado, proporcionando recomendaciones o mejoras de imágenes personalizadas.
Curación de contenido visual: Esta aplicación cura y personaliza contenido visual (imágenes/videos) de múltiples fuentes según las preferencias o temas del usuario. Milvus recupera contenido similar, y las herramientas de Storia Lab realizan ajustes finales, como la eliminación de fondos o ediciones estilísticas, mejorando el proceso de curación del usuario.
Comercio electrónico multimodal: Mejore una plataforma de comercio electrónico permitiendo a los clientes buscar productos mediante entradas de texto y visuales. Milvus admite búsquedas de similitud para imágenes de productos, y las API de Storia Lab mejoran estéticamente estas imágenes o corrigen errores visuales, mejorando la experiencia de compra.
Herramientas de diseño creativo: Estas herramientas integrales apoyan a los diseñadores e incorporan generación de imágenes, manipulación y búsqueda vectorial. Los diseñadores inician proyectos basados en bocetos o indicaciones de texto, encuentran imágenes existentes similares con Milvus, y usan las API de Storia Lab para refinar y personalizar los diseños, fomentando un proceso de diseño creativo y eficiente.
Moderación de contenido visual: Para plataformas que alojan contenido generado por usuarios, desarrolle un sistema que use Milvus para búsquedas de similitud con el fin de identificar y marcar imágenes inapropiadas. Las herramientas de edición de Storia Lab ajustan o eliminan automáticamente elementos problemáticos, garantizando una moderación de contenido eficaz y eficiente.
Los casos de uso anteriores solo cubren aplicaciones multimodales que usan imágenes y texto. Sin embargo, es esencial señalar que Milvus admite más tipos de datos, incluidos videos, audio, etc. Es simplemente cuestión de sus necesidades.
Conclusión
Storia AI es un editor de imágenes impulsado por IA que ofrece varias herramientas para generar y editar imágenes mediante simples indicaciones de texto o clics. Su objetivo es simplificar las tareas de edición de imágenes sin requerir habilidades avanzadas.
A medida que la IA generativa continúa evolucionando y las aplicaciones multimodales se vuelven cada vez más frecuentes, la sinergia entre Storia Lab y Milvus puede permitir a los desarrolladores desbloquear nuevos ámbitos de creatividad, funcionalidad y experiencias de usuario.
Para obtener más detalles sobre este tema, vea la repetición de la charla de Mihail en YouTube.
Sigue leyendo
Build for the Boom: Why AI Agent Startups Should Build Scalable Infrastructure Early
Explore strategies for developing AI agents that can handle rapid growth. Don't let inadequate systems undermine your success during critical breakthrough moments.
Balancing Precision and Performance: How Zilliz Cloud's New Parameters Help You Optimize Vector Search
Optimize vector search with Zilliz Cloud’s level and recall features to tune accuracy, balance performance, and power AI applications.
Cosmos World Foundation Model Platform for Physical AI
NVIDIA's Cosmos platform enables safe, digital twin training of GenAI models for physical applications, overcoming data scarcity and safety challenges.