IA generativa per applicazioni creative con Storia Lab
In una recente presentazione al Zilliz Unstructured Data Meetup, Mihail Eric, il fondatore di Storia AI, ha presentato Storia Lab, una suite di API progettate per integrare funzionalità avanzate di editing delle immagini nelle tue applicazioni.
Guarda il replay del talk di Mihail al meetup.
Questo talk si è concentrato sul miglioramento delle immagini generate dall'IA generativa, illustrando nel dettaglio come possiamo apportare modifiche sfumate preservando l'integrità delle immagini originali. Mihail discute soluzioni pratiche per le esigenze di editing delle immagini, come la rimozione dello sfondo, la correzione del testo e gli aggiustamenti stilistici nelle immagini, rendendo l'editing avanzato delle immagini accessibile agli sviluppatori tramite API su varie piattaforme.
Discutiamo una soluzione alla volta e vediamo come puoi integrare le API di Storia Lab con il database vettoriale Milvus per creare applicazioni GenAI avanzate come la generazione aumentata da recupero multimodale (RAG).
API Textify per la correzione del testo
L'API Textify corregge o modifica il testo esistente mantenendo il font e lo stile originali. Risolve un problema comune nelle immagini generate dall'IA, in cui il testo appare senza senso o contiene errori. Diamo un'occhiata al seguente esempio. L'immagine qui sotto è generata usando MidJourney e scrive in modo errato Happy nella frase Happy Birthday.
Fig 1- Immagine di input generata tramite Midjourney
Per correggere questa immagine, chiami l'API Textify con parametri che specificano l'area dell'immagine da correggere e il testo che deve essere sostituito. Textify quindi sostituisce il testo senza senso con testo significativo mantenendo il font e lo stile originali. Guarda l'output qui sotto:
Fig 2- Immagine di output che mostra il testo senza senso corretto dall'API Textify
Puoi vedere che ora l'immagine contiene il messaggio di buon compleanno corretto. Vediamo come Storia Lab gestisce le modifiche allo sfondo delle immagini.
API di rimozione e sostituzione dello sfondo
L'API di rimozione dello sfondo rimuove gli sfondi delle immagini usando un modello di rimozione dello sfondo. Storia Lab esegue automaticamente questa attività quando invii un'immagine tramite l'API. Questa funzionalità è utile per migliorare la visibilità quando si visualizzano immagini su uno sfondo neutro o non distraente. Guarda la seguente immagine affiancata che mostra i risultati della rimozione di uno sfondo usando l'API di rimozione dello sfondo.
Fig 3- Confronto affiancato che mostra i risultati della rimozione dello sfondo di un'immagine usando Storia lab
Storia Lab offre un'API di sostituzione dello sfondo oltre all'API di rimozione dello sfondo. Questa funziona in modo diverso, poiché abbiamo bisogno di un prompt. Per cambiare lo sfondo di un'immagine generata dall'IA o della tua immagine, passi l'immagine di input e un prompt che descrive lo sfondo che vorresti che l'immagine di output avesse. Il modello di sostituzione dello sfondo di Storia Lab ricostruirà quindi lo sfondo della tua immagine per soddisfare i requisiti del prompt. Diamo un'occhiata ai risultati:
Fig 4- Sinistra- Input generato tramite Midjourney; Destra- Output con sfondo sostituito usando il prompt "modern motion graphics, squares, Gen Z
Questo modello fa un ottimo lavoro nel sostituire lo sfondo con i prompt richiesti modern motion graphics, squares, and Gen Z. Oltre agli sfondi, potresti dover rimuovere alcuni elementi indesiderati in un'immagine. Vediamo come Storia Lab gestisce questa richiesta.
Rimozione di elementi indesiderati usando l'API Cleanup
L’API Defect Cleanup rimuove elementi indesiderati, come oggetti, difetti o testo, dalle immagini contrassegnando l’area intorno a essi. Il modello di cleanup elabora quindi l’immagine per rimuovere questi elementi senza richiedere modifiche manuali. Dai un’occhiata a questa immagine, per esempio.
Fig 5- Sinistra- Input della fotografia originale Destra- Output con le persone sullo sfondo rimosse
Lo sfondo contiene persone casuali, ma vogliamo concentrarci sul bambino. Per rimuovere le persone casuali, dobbiamo contrassegnare le aree che le contengono. Quindi, il modello di cleanup di Storia Lab rimuoverà gli elementi contrassegnati e ricreerà quelle aree in modo che corrispondano al resto dell’immagine.
Finora abbiamo visto come Storial Lab apporta modifiche sfumate a immagini originali o generate dall’IA. Ora cambiamo prospettiva e guardiamo un’altra funzionalità generativa di Storia Lab, in cui uno schizzo viene trasformato in un’immagine realistica.
API di conversione da schizzo a immagine
L’API di conversione da schizzo a immagine trasforma schizzi di base in arte digitale dettagliata o immagini fotorealistiche. Prende uno schizzo come input e un prompt che descrive come dovrebbe essere l’output. Più sei creativo con il prompt, migliori saranno i risultati. Vediamo i risultati della trasformazione di uno schizzo di un soggiorno in un’immagine realistica.
Fig 6- Sinistra- Input dello schizzo originale Destra- Output Output per il prompt "soggiorno fotorealistico in verde, arancione bruciato e accenti dorati"
L’immagine sopra mostra un soggiorno realistico generato da uno schizzo. Contiene tutti i colori specificati nel prompt. Come hai visto, quando si tratta di modelli generativi, ciò che specifichi nel prompt è ciò che ottieni come output. Per saperne di più sui prompt, consulta questa guida al prompt engineering per familiarizzare con i diversi metodi coinvolti.
Oltre alle soluzioni API sopra indicate, Mihail accenna rapidamente al potenziale dell’integrazione di Storia Lab con applicazioni multimodali nel talk. Rallentiamo un attimo.
Integrazione di Storia Lab con Milvus per applicazioni RAG multimodali avanzate
Milvus è un database vettoriale open-source progettato per gestire in modo efficiente vettori su scala di miliardi. Sfrutta la ricerca vettoriale per recuperare vari tipi di dati. La ricerca vettoriale, nota anche come ricerca per similarità o del vicino più prossimo, converte i dati in vettori ad alta dimensionalità utilizzando un modello di embedding e trova i vettori più simili in base alla loro vicinanza nello spazio vettoriale.
Le applicazioni RAG multimodali elaborano più tipi di dati per attività di recupero e aumento della generazione. L’utilizzo delle capacità di ricerca vettoriale di Milvus ne migliora l’efficienza e la robustezza.
Combinare Milvus con le API di Storia Lab può migliorare ulteriormente le applicazioni RAG multimodali, consentendo la creazione di contenuti personalizzati, flussi di lavoro automatizzati e raccomandazioni personalizzate.
Ecco alcuni casi d’uso pratici che dimostrano la sinergia tra Storia AI e Milvus:
Creazione di contenuti multimodali: Questa applicazione consentirebbe agli utenti di generare e modificare immagini basate su prompt testuali o schizzi. Utilizzando Milvus, l’app cerca in un database vettoriale immagini che corrispondono alla descrizione o allo schizzo di un utente. Quindi, le API di Storia Lab consentono agli utenti di modificare o migliorare queste immagini, integrando senza soluzione di continuità creatività testuale e visiva.
Ricerca e raccomandazione di immagini: Crea un motore di ricerca di immagini dinamico in cui gli utenti possono cercare immagini usando testo o un'immagine di esempio. Milvus gestisce le rappresentazioni vettoriali per una ricerca di similarità efficiente, mentre le funzionalità di editing di Storia Lab perfezionano l'output, fornendo raccomandazioni o miglioramenti di immagini su misura.
Curatela di contenuti visivi: Questa applicazione cura e personalizza contenuti visivi (immagini/video) provenienti da più fonti in base alle preferenze o ai temi dell'utente. Milvus recupera contenuti simili e gli strumenti di Storia Lab apportano le regolazioni finali, come la rimozione dello sfondo o modifiche stilistiche, migliorando il processo di curatela dell'utente.
E-commerce multimodale: Migliora una piattaforma di e-commerce consentendo ai clienti di cercare prodotti usando input testuali e visivi. Milvus supporta le ricerche di similarità per le immagini dei prodotti e le API di Storia Lab migliorano esteticamente queste immagini o correggono errori visivi, migliorando l'esperienza di acquisto.
Strumenti di design creativo: Questi strumenti completi supportano i designer e incorporano generazione di immagini, manipolazione e ricerca vettoriale. I designer avviano progetti basati su schizzi o prompt testuali, trovano immagini esistenti simili con Milvus e usano le API di Storia Lab per perfezionare e personalizzare i design, favorendo un processo di design creativo ed efficiente.
Moderazione di contenuti visivi: Per le piattaforme che ospitano contenuti generati dagli utenti, sviluppa un sistema che utilizzi Milvus per ricerche di similarità al fine di identificare e segnalare immagini inappropriate. Gli strumenti di editing di Storia Lab regolano o rimuovono automaticamente gli elementi problematici, garantendo una moderazione dei contenuti efficace ed efficiente.
I casi d'uso sopra riportati coprono solo applicazioni multimodali che utilizzano immagini e testo. Tuttavia, è essenziale notare che Milvus supporta più tipi di dati, inclusi video, audio, ecc. È solo una questione delle tue esigenze.
Conclusione
Storia AI è un editor di immagini basato sull'IA che offre vari strumenti per generare e modificare immagini tramite semplici prompt testuali o clic. Mira a semplificare le attività di editing delle immagini senza richiedere competenze avanzate.
Poiché l'IA generativa continua a evolversi e le applicazioni multimodali diventano sempre più diffuse, la sinergia tra Storia Lab e Milvus può consentire agli sviluppatori di sbloccare nuovi ambiti di creatività, funzionalità ed esperienze utente.
Per maggiori dettagli su questo argomento, guarda il replay dell'intervento di Mihail su YouTube.
Continua a leggere
Why I’m Against Claude Code’s Grep-Only Retrieval? It Just Burns Too Many Tokens
Learn how vector-based code retrieval cuts Claude Code token consumption by 40%. Open-source solution with easy MCP integration. Try claude-context today.
AI Agents Are Quietly Transforming E-Commerce — Here’s How
Discover how AI agents transform e-commerce with autonomous decision-making, enhanced product discovery, and vector search capabilities for today's retailers.
Why Deepseek is Waking up AI Giants Like OpenAI And Why You Should Care
Discover how DeepSeek R1's open-source AI model with superior reasoning capabilities and lower costs is disrupting the AI landscape and challenging tech giants like OpenAI.