Generative KI für kreative Anwendungen mit Storia Lab
In einer kürzlichen Präsentation beim Zilliz Unstructured Data Meetup stellte Mihail Eric, der Gründer von Storia AI, Storia Lab vor, eine Suite von APIs, die darauf ausgelegt ist, fortschrittliche Bildbearbeitungsfunktionen in Ihre Anwendungen zu integrieren.
Sehen Sie sich die Aufzeichnung von Mihails Meetup-Vortrag an.
Dieser Vortrag konzentrierte sich auf die Verbesserung generativer KI-Bilder und erläuterte, wie wir nuancierte Bearbeitungen vornehmen können, während die Integrität der Originalbilder erhalten bleibt. Mihail erörtert praktische Lösungen für Anforderungen an die Bildbearbeitung, wie das Entfernen von Hintergründen, Textkorrektur und stilistische Anpassungen in Bildern, wodurch fortschrittliche Bildbearbeitung für Entwickler über APIs auf verschiedenen Plattformen zugänglich wird.
Lassen Sie uns jede Lösung einzeln besprechen und wie Sie Storia Lab APIs mit der Milvus-Vektordatenbank integrieren können, um fortschrittliche GenAI-Anwendungen wie multimodale Retrieval Augmented Generation (RAG) zu erstellen.
Textify API zur Textkorrektur
Die Textify API korrigiert oder ändert vorhandenen Text, während die ursprüngliche Schriftart und der Stil beibehalten werden. Sie behebt ein häufiges Problem in KI-generierten Visuals, bei dem der Text sinnlos erscheint oder Fehler enthält. Sehen wir uns das folgende Beispiel an. Das untenstehende Bild wurde mit MidJourney generiert und schreibt Happy im Wort Happy Birthday falsch.
Abb. 1 – Eingabebild generiert mit Midjourney
Um dieses Bild zu korrigieren, rufen Sie die Textify API mit Parametern auf, die den zu korrigierenden Bereich des Bildes und den zu ersetzenden Text angeben. Textify ersetzt dann den Unsinn durch sinnvollen Text, während die ursprüngliche Schriftart und der Stil beibehalten werden. Sehen Sie sich die Ausgabe unten an:
Abb. 2 – Ausgabebild, das von der Textify API korrigierten Kauderwelsch zeigt
Sie können sehen, dass das Bild nun die korrekte Happy-Birthday-Nachricht enthält. Sehen wir uns an, wie Storia Lab Änderungen am Bildhintergrund handhabt.
APIs zum Entfernen und Ersetzen von Hintergründen
Die API zum Entfernen von Hintergründen entfernt Bildhintergründe mithilfe eines Modells zur Hintergrundentfernung. Storia Lab führt diese Aufgabe automatisch aus, wenn Sie ein Bild über die API einreichen. Diese Fähigkeit ist praktisch, um die Sichtbarkeit zu verbessern, wenn Bilder vor einem neutralen oder nicht ablenkenden Hintergrund angezeigt werden. Sehen Sie sich das folgende nebeneinandergestellte Bild an, das die Ergebnisse des Entfernens eines Hintergrunds mithilfe der API zur Hintergrundentfernung zeigt.
Abb. 3 – Nebeneinander-Vergleich, der die Ergebnisse des Entfernens eines Bildhintergrunds mit Storia lab zeigt
Storia Lab bietet neben der API zum Entfernen von Hintergründen auch eine API zum Ersetzen von Hintergründen an. Diese funktioniert anders, da wir einen Prompt benötigen. Um den Hintergrund eines KI-generierten Bildes oder Ihres Bildes zu ändern, übergeben Sie das Eingabebild und einen Prompt, der den Hintergrund beschreibt, den das Ausgabebild haben soll. Das Modell zur Hintergrundersetzung von Storia Lab rekonstruiert dann den Hintergrund Ihres Bildes so, dass er den Anforderungen des Prompts entspricht. Sehen wir uns die Ergebnisse an:
Abb. 4 – Links – Eingabe generiert mit Midjourney; Rechts – Ausgabe: Hintergrund ersetzt mit dem Prompt "modern motion graphics, squares, Gen Z
Dieses Modell leistet hervorragende Arbeit beim Ersetzen des Hintergrunds mit den angeforderten Prompts modern motion graphics, squares, and Gen Z. Abgesehen von Hintergründen müssen Sie möglicherweise einige unerwünschte Elemente in einem Bild entfernen. Sehen wir uns an, wie Storia Lab diese Anfrage handhabt.
Entfernen unerwünschter Elemente mithilfe der Cleanup API
Die Defect Cleanup API entfernt unerwünschte Elemente wie Objekte, Defekte oder Text aus Bildern, indem der Bereich um sie herum markiert wird. Das Cleanup-Modell verarbeitet dann das Bild, um diese Elemente zu entfernen, ohne dass eine manuelle Bearbeitung erforderlich ist. Sehen Sie sich zum Beispiel dieses Bild an.
Abb. 5- Links- Eingabe des Originalfotos Rechts- Ausgabe mit den entfernten Personen im Hintergrund
Im Hintergrund befinden sich zufällige Personen, aber wir möchten uns auf das Kind konzentrieren. Um die zufälligen Personen zu entfernen, müssen wir die Bereiche markieren, die sie enthalten. Dann entfernt das Cleanup-Modell von Storia Lab die markierten Elemente und rekonstruiert diese Bereiche so, dass sie zum Rest des Bildes passen.
Bisher haben wir uns angesehen, wie Storial Lab nuancierte Bearbeitungen an Original- oder KI-generierten Bildern vornimmt. Wechseln wir nun den Fokus und betrachten eine weitere generative Funktion von Storia Lab, bei der eine Skizze in ein realistisches Bild umgewandelt wird.
Sketch-to-Image Conversion API
Die Sketch-to-Image Conversion API wandelt einfache Skizzen in detaillierte digitale Kunst oder fotorealistische Bilder um. Sie nimmt eine Skizze als Eingabe und einen Prompt, der beschreibt, wie die Ausgabe aussehen soll. Je kreativer Sie mit dem Prompt sind, desto besser sind die Ergebnisse. Sehen wir uns die Ergebnisse der Umwandlung einer Wohnzimmer-Skizze in ein realistisches Bild an.
Abb. 6- Links- Eingabe der Originalskizze Rechts- Ausgabe Ausgabe für den Prompt "fotorealistisches Wohnzimmer in Grün, gebranntem Orange und goldenen Akzenten"
Das obige Bild zeigt ein realistisches Wohnzimmer, das aus einer Skizze generiert wurde. Es enthält alle im Prompt angegebenen Farben. Wie Sie gesehen haben, gilt bei generativen Modellen: Was Sie im Prompt angeben, erhalten Sie als Ausgabe. Um mehr über Prompting zu erfahren, lesen Sie diesen Prompt-Engineering-Leitfaden , um sich mit den verschiedenen beteiligten Methoden vertraut zu machen.
Neben den oben genannten API-Lösungen streift Mihail im Vortrag das Potenzial der Integration von Storia Lab mit multimodalen Anwendungen. Lassen Sie uns das etwas genauer betrachten.
Integration von Storia Lab mit Milvus für fortgeschrittene multimodale RAG-Anwendungen
Milvus ist eine Open-Source-Vektordatenbank, die darauf ausgelegt ist, Vektoren im Milliardenmaßstab effizient zu verarbeiten. Sie nutzt Vektorsuche, um verschiedene Datentypen abzurufen. Vektorsuche, auch als Ähnlichkeits- oder Nearest-Neighbor-Suche bekannt, wandelt Daten mithilfe eines Embedding-Modells in hochdimensionale Vektoren um und findet die ähnlichsten Vektoren basierend auf ihrer Nähe im Vektorraum.
Multimodale RAG-Anwendungen verarbeiten mehrere Datentypen für Abruf- und Generierungsaugmentierungsaufgaben. Die Nutzung der Vektorsuchfunktionen von Milvus erhöht ihre Effizienz und Robustheit.
Die Kombination von Milvus mit den APIs von Storia Lab kann multimodale RAG-Anwendungen weiter verbessern und maßgeschneiderte Inhaltserstellung, automatisierte Workflows und personalisierte Empfehlungen ermöglichen.
Hier sind einige praktische Anwendungsfälle, die die Synergie zwischen Storia AI und Milvus demonstrieren:
Multimodale Inhaltserstellung: Diese Anwendung würde es Benutzern ermöglichen, Bilder auf Basis von Text-Prompts oder Skizzen zu generieren und zu bearbeiten. Mit Milvus durchsucht die App eine Vektordatenbank nach Bildern, die der Beschreibung oder Skizze eines Benutzers entsprechen. Anschließend ermöglichen die APIs von Storia Lab den Benutzern, diese Bilder zu modifizieren oder zu verbessern und dabei textuelle und visuelle Kreativität nahtlos zu integrieren.
Bildsuche und Empfehlung: Erstellen Sie eine dynamische Bildsuchmaschine, mit der Benutzer Bilder mithilfe von Text oder einem Beispielbild abfragen können. Milvus verwaltet die Vektordarstellungen für effiziente Ähnlichkeitssuchen, während die Bearbeitungsfunktionen von Storia Lab die Ausgabe verfeinern und maßgeschneiderte Bildempfehlungen oder Verbesserungen bereitstellen.
Kuratierung visueller Inhalte: Diese Anwendung kuratiert und individualisiert visuelle Inhalte (Bilder/Videos) aus mehreren Quellen basierend auf Benutzerpräferenzen oder Themen. Milvus ruft ähnliche Inhalte ab, und die Tools von Storia Lab nehmen abschließende Anpassungen vor, wie das Entfernen von Hintergründen oder stilistische Bearbeitungen, wodurch der Kuratierungsprozess des Benutzers verbessert wird.
Multimodaler E-Commerce: Erweitern Sie eine E-Commerce-Plattform, indem Sie Kunden ermöglichen, Produkte mithilfe von Text- und visuellen Eingaben zu suchen. Milvus unterstützt Ähnlichkeitssuchen für Produktbilder, und die APIs von Storia Lab verbessern diese Bilder ästhetisch oder korrigieren visuelle Fehler, wodurch das Einkaufserlebnis verbessert wird.
Kreative Design-Tools: Diese umfassenden Tools unterstützen Designer und integrieren Bilderzeugung, Manipulation und Vektorsuche. Designer initiieren Projekte auf der Grundlage von Skizzen oder Text-Prompts, finden mit Milvus ähnliche vorhandene Bilder und nutzen die APIs von Storia Lab, um die Designs zu verfeinern und zu personalisieren, wodurch ein kreativer und effizienter Designprozess gefördert wird.
Moderation visueller Inhalte: Entwickeln Sie für Plattformen, die nutzergenerierte Inhalte hosten, ein System, das Milvus für Ähnlichkeitssuchen verwendet, um unangemessene Bilder zu identifizieren und zu markieren. Die Bearbeitungs-Tools von Storia Lab passen problematische Elemente automatisch an oder entfernen sie, wodurch eine effektive und effiziente Inhaltsmoderation gewährleistet wird.
Die oben genannten Anwendungsfälle decken nur multimodale Anwendungen ab, die Bilder und Text verwenden. Es ist jedoch wichtig zu beachten, dass Milvus weitere Datentypen unterstützt, einschließlich Videos, Audio usw. Es ist lediglich eine Frage Ihrer Anforderungen.
Fazit
Storia AI ist ein KI-gestützter Bildeditor, der verschiedene Tools bietet, um Bilder durch einfache Text-Prompts oder Klicks zu erzeugen und zu bearbeiten. Ziel ist es, Bildbearbeitungsaufgaben zu vereinfachen, ohne fortgeschrittene Fähigkeiten zu erfordern.
Da sich generative KI weiterentwickelt und multimodale Anwendungen zunehmend verbreitet sind, kann die Synergie zwischen Storia Lab und Milvus Entwicklern ermöglichen, neue Bereiche der Kreativität, Funktionalität und Benutzererfahrungen zu erschließen.
Weitere Details zu diesem Thema finden Sie in der Aufzeichnung von Mihails Vortrag auf YouTube.
Weiterlesen
Build Multimodal Search for 3D Assets with Tripo and Zilliz Cloud
Generate 3D assets with Tripo, then search them by text, image, and metadata with multimodal embeddings and Zilliz Cloud.
How to Choose the Best Embedding Model for RAG in 2026: 10 Models Benchmarked
We benchmarked 10 embedding models on cross-modal, cross-lingual, long-document, and dimension compression tasks. See which one fits your RAG pipeline.
Vector Databases vs. Key-Value Databases
Use a vector database for AI-powered similarity search; use a key-value database for high-throughput, low-latency simple data lookups.