IA générative pour les applications créatives avec Storia Lab
Lors d’une récente présentation au Zilliz Unstructured Data Meetup, Mihail Eric, le fondateur de Storia AI, a présenté Storia Lab, une suite d’API conçue pour intégrer des fonctionnalités avancées de retouche d’image dans vos applications.
Regarder le replay de l’intervention de Mihail au meetup.
Cette présentation portait sur l’amélioration des images générées par l’IA générative, en détaillant comment effectuer des modifications nuancées tout en préservant l’intégrité des images originales. Mihail aborde des solutions pratiques pour les besoins de retouche d’image, comme la suppression d’arrière-plan, la correction de texte et les ajustements stylistiques dans les images, rendant la retouche d’image avancée accessible aux développeurs via des API sur diverses plateformes.
Discutons de chaque solution une par une et de la manière dont vous pouvez intégrer les API Storia Lab à la base de données vectorielle Milvus pour créer des applications GenAI avancées comme la génération augmentée par récupération multimodale (RAG).
API Textify pour la correction de texte
L’API Textify corrige ou modifie du texte existant tout en conservant la police et le style d’origine. Elle répond à un problème courant dans les visuels générés par l’IA, où le texte semble incompréhensible ou contient des erreurs. Prenons l’exemple suivant. L’image ci-dessous est générée avec MidJourney et orthographie mal Happy dans l’expression Happy Birthday.
Fig 1- Image d’entrée générée via Midjourney
Pour corriger cette image, vous appelez l’API Textify avec des paramètres qui spécifient la zone de l’image à corriger et le texte qui doit être remplacé. Textify remplace ensuite le texte incompréhensible par un texte significatif tout en conservant la police et le style d’origine. Regardez le résultat ci-dessous :
Fig 2- Image de sortie montrant le texte incompréhensible corrigé par l’API Textify
Vous pouvez voir que l’image contient maintenant le bon message d’anniversaire. Voyons comment Storia Lab gère les modifications d’arrière-plan d’image.
API de suppression et de remplacement d’arrière-plan
L’API de suppression d’arrière-plan supprime les arrière-plans d’image à l’aide d’un modèle de suppression d’arrière-plan. Storia Lab effectue automatiquement cette tâche lorsque vous soumettez une image via l’API. Cette fonctionnalité est pratique pour améliorer la visibilité lorsque des images sont affichées sur un arrière-plan neutre ou non distrayant. Regardez l’image côte à côte suivante montrant les résultats de la suppression d’un arrière-plan à l’aide de l’API de suppression d’arrière-plan.
Fig 3- Comparaison côte à côte montrant les résultats de la suppression d’un arrière-plan d’image avec Storia lab
Storia Lab propose une API de remplacement d’arrière-plan en plus de l’API de suppression d’arrière-plan. Celle-ci fonctionne différemment, car nous avons besoin d’un prompt. Pour changer l’arrière-plan d’une image générée par l’IA ou de votre image, vous transmettez l’image d’entrée et un prompt décrivant l’arrière-plan que vous souhaitez obtenir dans l’image de sortie. Le modèle de remplacement d’arrière-plan de Storia Lab reconstruira ensuite l’arrière-plan de votre image afin de répondre aux exigences du prompt. Regardons les résultats :
Fig 4- Gauche- Entrée générée via Midjourney ; Droite- Arrière-plan de sortie remplacé à l’aide du prompt "modern motion graphics, squares, Gen Z
Ce modèle fait un excellent travail pour remplacer l’arrière-plan avec les prompts demandés modern motion graphics, squares, and Gen Z. Outre les arrière-plans, vous pouvez avoir besoin de supprimer certains éléments indésirables dans une image. Voyons comment Storia Lab gère cette demande.
Suppression des éléments indésirables à l’aide de l’API Cleanup
L’API Defect Cleanup supprime les éléments indésirables, tels que les objets, les défauts ou le texte, des images en marquant la zone qui les entoure. Le modèle de nettoyage traite ensuite l’image pour supprimer ces éléments sans nécessiter de retouche manuelle. Regardez cette image, par exemple.
Fig 5- Gauche- Entrée de la photographie originale Droite- Sortie avec les personnes en arrière-plan supprimées
L’arrière-plan comporte des personnes aléatoires, mais nous voulons nous concentrer sur l’enfant. Pour supprimer les personnes aléatoires, nous devons marquer les zones qui les contiennent. Ensuite, le modèle de nettoyage de Storia Lab supprimera les éléments marqués et recréera ces zones pour qu’elles correspondent au reste de l’image.
Jusqu’à présent, nous avons vu comment Storial Lab apporte des modifications nuancées aux images originales ou générées par IA. Changeons maintenant de sujet et examinons une autre fonctionnalité générative de Storia Lab, dans laquelle un croquis est transformé en image réaliste.
API de conversion de croquis en image
L’API de conversion de croquis en image transforme des croquis simples en art numérique détaillé ou en images photoréalistes. Elle prend un croquis en entrée et une invite décrivant à quoi doit ressembler la sortie. Plus vous êtes créatif avec l’invite, meilleurs sont les résultats. Voyons les résultats de la transformation d’un croquis de salon en image réaliste.
Fig 6- Gauche- Entrée du croquis original Droite- Sortie pour l’invite "salon photoréaliste en vert, orange brûlé et accents dorés"
L’image ci-dessus montre un salon réaliste généré à partir d’un croquis. Elle contient toutes les couleurs spécifiées dans l’invite. Comme vous l’avez vu, lorsqu’il s’agit de modèles génératifs, ce que vous spécifiez dans l’invite est ce que vous obtenez en sortie. Pour en savoir plus sur les invites, consultez ce guide d’ingénierie des invites afin de vous familiariser avec les différentes méthodes impliquées.
Outre les solutions d’API ci-dessus, Mihail évoque rapidement dans la présentation le potentiel d’intégration de Storia Lab avec des applications multimodales. Ralentissons un peu.
Intégration de Storia Lab avec Milvus pour des applications RAG multimodales avancées
Milvus est une base de données vectorielle open source conçue pour gérer efficacement des vecteurs à l’échelle du milliard. Elle exploite la recherche vectorielle pour récupérer différents types de données. La recherche vectorielle, également appelée recherche de similarité ou de plus proche voisin, convertit les données en vecteurs de haute dimension à l’aide d’un modèle d’embedding et trouve les vecteurs les plus similaires en fonction de leur proximité dans l’espace vectoriel.
Les applications RAG multimodales traitent plusieurs types de données pour des tâches de récupération et d’augmentation de la génération. L’utilisation des capacités de recherche vectorielle de Milvus améliore leur efficacité et leur robustesse.
La combinaison de Milvus avec les API de Storia Lab peut encore améliorer les applications RAG multimodales, en permettant la création de contenu personnalisé, des flux de travail automatisés et des recommandations personnalisées.
Voici quelques cas d’utilisation pratiques qui démontrent la synergie entre Storia AI et Milvus :
Création de contenu multimodal : Cette application permettrait aux utilisateurs de générer et de modifier des images à partir d’invites textuelles ou de croquis. À l’aide de Milvus, l’application recherche dans une base de données vectorielle des images qui correspondent à la description ou au croquis d’un utilisateur. Ensuite, les API de Storia Lab permettent aux utilisateurs de modifier ou d’améliorer ces images, en intégrant de manière fluide la créativité textuelle et visuelle.
Recherche et recommandation d’images : Créez un moteur de recherche d’images dynamique où les utilisateurs peuvent rechercher des images à l’aide de texte ou d’un exemple d’image. Milvus gère les représentations vectorielles pour une recherche de similarité efficace, tandis que les capacités d’édition de Storia Lab affinent le résultat, en fournissant des recommandations ou des améliorations d’images adaptées.
Curation de contenu visuel : Cette application organise et personnalise du contenu visuel (images/vidéos) provenant de plusieurs sources en fonction des préférences ou des thèmes des utilisateurs. Milvus récupère du contenu similaire, et les outils de Storia Lab effectuent les ajustements finaux, comme la suppression d’arrière-plan ou des modifications stylistiques, améliorant ainsi le processus de curation de l’utilisateur.
E-commerce multimodal : Améliorez une plateforme d’e-commerce en permettant aux clients de rechercher des produits à l’aide d’entrées textuelles et visuelles. Milvus prend en charge les recherches de similarité pour les images de produits, et les API de Storia Lab améliorent esthétiquement ces images ou corrigent les erreurs visuelles, améliorant ainsi l’expérience d’achat.
Outils de conception créative : Ces outils complets accompagnent les designers et intègrent la génération d’images, la manipulation et la recherche vectorielle. Les designers lancent des projets à partir de croquis ou de prompts textuels, trouvent des images existantes similaires avec Milvus, et utilisent les API de Storia Lab pour affiner et personnaliser les designs, favorisant un processus de conception créatif et efficace.
Modération de contenu visuel : Pour les plateformes hébergeant du contenu généré par les utilisateurs, développez un système qui utilise Milvus pour les recherches de similarité afin d’identifier et de signaler les images inappropriées. Les outils d’édition de Storia Lab ajustent ou suppriment automatiquement les éléments problématiques, assurant une modération de contenu efficace et efficiente.
Les cas d’utilisation ci-dessus ne couvrent que les applications multimodales qui utilisent des images et du texte. Cependant, il est essentiel de noter que Milvus prend en charge davantage de types de données, notamment les vidéos, l’audio, etc. Tout dépend simplement de vos besoins.
Conclusion
Storia AI est un éditeur d’images alimenté par l’IA qui propose divers outils pour générer et modifier des images au moyen de simples prompts textuels ou de clics. Il vise à simplifier les tâches d’édition d’images sans nécessiter de compétences avancées.
Alors que l’IA générative continue d’évoluer et que les applications multimodales deviennent de plus en plus répandues, la synergie entre Storia Lab et Milvus peut permettre aux développeurs de débloquer de nouveaux domaines de créativité, de fonctionnalité et d’expériences utilisateur.
Pour plus de détails sur ce sujet, regardez le replay de la présentation de Mihail sur YouTube.
Continuer à lire
Introducing Loon: A New Storage Engine for Vector Data That Never Stops Changing
Loon is a new storage engine for Milvus 3.0 and Zilliz Vector Lakebase, built to manage evolving vector datasets with ColumnGroups, row ID alignment, and Manifests.
How Zilliz Ended Up at the Center of NVIDIA’s Unstructured Data Story at GTC 2026
If unstructured data is the context of AI, then the ceiling of AI applications will be set not just by models, but by how mature the infrastructure for unstructured data becomes.
Zilliz Cloud Just Landed in Claude Code
The Zilliz Cloud Plugin brings the full power of Zilliz Cloud directly into your Claude Code terminal as natural-language conversations.