Génération de prompts texte-image alimentée par un LLM avec Milvus
L’histoire de fond
Depuis ma découverte des premiers systèmes d’IA open source générant des images, je suis tombé amoureux de leur potentiel pour créer des images visuellement attrayantes à partir de texte. J’ai aussi constaté que les personnes qui utilisent cette technologie bénéficient d’un avantage considérable : elles ont plus de temps pour être créatives et générer de meilleurs prompts que moi.
Je n’arrivais pas à me défaire de ce sentiment. Alors, j’ai commencé à parcourir des pages web pour trouver de belles images et les prompts qui les avaient générées. Ensuite, j’ai utilisé ces prompts pour créer mes propres images. Cela m’a aidé à obtenir de meilleurs prompts, mais cela prenait beaucoup de temps. Et même ainsi, je continuais à avoir du mal, car je n’arrivais pas à trouver rapidement et de manière autonome de nouveaux prompts.
Je n’ai pas tout compris entièrement par moi-même, car j’avais encore besoin d’aide. Mais devinez quoi ? J’ai trouvé un moyen d’accélérer mon processus. J’ai téléchargé des millions de prompts et les ai placés dans une base de données vectorielle Milvus. Ensuite, j’ai créé un moyen de récupérer des résultats similaires à partir de prompts simples saisis dans une UI.
Ces prompts ont donné des images incroyables. Un utilisateur qui a testé les prompts a même constaté qu’ils produisaient de meilleurs résultats que ce qu’il faisait auparavant avec ses prompts habituels. Il a ensuite combiné ses prompts négatifs avec le système que j’ai créé pour générer les images qu’il voulait. Même sans les prompts négatifs, il a constaté qu’il pouvait utiliser le système pour créer des images de haute qualité.
Les deux images ont la même seed et utilisent le même Prompt négatif.
À gauche se trouve le Prompt Quill Prompt
Toujours la même seed mais sans Prompt négatif
Les deux images perdent en qualité, mais l’image de gauche conserve la composition de l’image ainsi que la pose, tandis que l’image de droite dérive non seulement en qualité, mais aussi en pose et en arrière-plan.
Nous pouvons donc voir comment le Prompt plus détaillé de prompt quill a aidé à garder l’image proche de ce à quoi elle était censée ressembler
Comment Milvus alimente ma génération de prompts texte-vers-image
J’ai créé des scripts pour récupérer et nettoyer des prompts provenant de plusieurs sources. Ensuite, je charge les prompts nettoyés dans une base de données vectorielle. Au départ, j’ai essayé pgvector, mais j’ai constaté qu’il était trop lent. Après une exploration attentive, j’ai choisi Milvus pour des raisons de performance : il était cinq fois plus rapide que pgvector avec presque le même code.
Une fois les données disponibles dans le Milvus Vector Store, la partie amusante peut commencer. J’ai commencé par demander simplement au LLM de générer quelques beaux prompts. Cela n’a pas fonctionné du premier coup. Le contexte et l’entrée ne correspondaient pas. Alors, j’ai expérimenté jusqu’à découvrir que je devais donner au LLM des instructions lui indiquant qu’il était un ingénieur de prompts, et ajouter un exemple d’historique de conversation. Cela a suffi pour qu’il commence à produire de merveilleuses images.
De plus, je peux faire fonctionner tout cela sur ma machine locale, en partie parce que Milvus est capable d’exécuter la recherche vectorielle très rapidement. La majeure partie de la latence vient de l’exécution du modèle d’embedding et du LLM. La recherche vectorielle est si rapide que le GPU n’a pas de véritable pause entre la création du vecteur d’embedding et le début de la production de la sortie finale.
Et nous n’avons pas encore terminé. Il reste beaucoup à faire, et maintenant que ceci est disponible, les gens ajoutent des prompts et de nouvelles images chaque jour.
Voici un diagramme de l’ensemble du processus jusqu’à présent :
Conclusion
En créant Prompt Quill, je me suis retrouvé avec énormément d’excellents prompts en beaucoup moins de temps qu’avant. J’ai aussi réalisé que les prompts que mon système produit sont plus robustes que ceux que les gens créent à la main pour des modèles spéciaux. Ces modèles nécessitent une manipulation soigneuse et des prompts négatifs spécifiques pour produire de bonnes images. Les prompts négatifs ont aussi tendance à améliorer la sortie de ce système, mais l’ampleur du changement apporté aux images générées sans prompt négatif n’est pas aussi importante qu’avec certains de ces prompts conçus à la main.
Feuille de route
La prochaine étape consiste à ajouter la même fonction pour les prompts négatifs. Les prompts négatifs ont une influence positive sur la manière dont les prompts peuvent être utilisés pour générer des images. À l’avenir, j’ajouterai une deuxième étape afin de fournir également des prompts négatifs. Nous utiliserons le même processus que celui actuellement utilisé pour produire les prompts, en les comparant aux prompts générés dans le système.
J’ai publié une interface utilisateur simple pour générer les prompts, en supposant que le vector store soit disponible. Je téléverserai très bientôt les données du vector store et ajouterai les liens à mon GitHub. J’aimerais faire fonctionner cela en ligne afin que les personnes qui n’ont pas les ressources GPU puissent aussi obtenir de bons prompts ; si vous pensez pouvoir aider en sponsorisant une solution d’hébergement à long terme, veuillez me contacter.
Quelques exemples pour lesquels le système a produit les prompts :
Continuer à lire
A Few Notes from Databricks Data + AI Summit 2026: Why the Data Layer Matters Again
James Luan shares notes from Databricks Data + AI Summit 2026 on why production AI is pushing the data layer back to the center of infrastructure.
How to Install and Run OpenClaw (Previously Clawdbot/Moltbot) on Mac
Turn your Mac into an AI gateway for WhatsApp, Telegram, Discord, iMessage, and more — in under 5 minutes.
AI Integration in Video Surveillance Tools: Transforming the Industry with Vector Databases
Discover how AI and vector databases are revolutionizing video surveillance with real-time analysis, faster threat detection, and intelligent search capabilities for enhanced security.