Генеративный ИИ для творческих приложений с использованием Storia Lab
В недавней презентации на Zilliz Unstructured Data Meetup Михаил Эрик, основатель Storia AI, представил Storia Lab, набор API, предназначенных для интеграции расширенных функций редактирования изображений в ваши приложения.
Посмотрите запись выступления Михаила на митапе.
Это выступление было посвящено улучшению изображений, создаваемых генеративным ИИ, и подробно объясняло, как можно вносить тонкие правки, сохраняя целостность исходных изображений. Михаил обсуждает практические решения для задач редактирования изображений, таких как удаление фона, исправление текста и стилистические корректировки в изображениях, делая продвинутое редактирование изображений доступным для разработчиков через API на различных платформах.
Давайте обсудим каждое решение по очереди и то, как можно интегрировать API Storia Lab с векторной базой данных Milvus для создания продвинутых GenAI-приложений, таких как мультимодальная генерация с расширением через поиск (RAG).
Textify API для исправления текста
Textify API исправляет или изменяет существующий текст, сохраняя исходный шрифт и стиль. Он решает распространенную проблему в визуальных материалах, сгенерированных ИИ, где текст выглядит как бессмыслица или содержит ошибки. Давайте рассмотрим следующий пример. Изображение ниже создано с помощью MidJourney и содержит ошибку в слове Happy во фразе Happy Birthday.
Рис. 1 — Входное изображение, сгенерированное через Midjourney
Чтобы исправить это изображение, вы вызываете Textify API с параметрами, которые указывают область изображения для исправления и текст, который нужно заменить. Затем Textify заменяет бессмыслицу осмысленным текстом, сохраняя исходный шрифт и стиль. Посмотрите на результат ниже:
Рис. 2 — Выходное изображение, показывающее бессмыслицу, исправленную Textify API
Вы можете видеть, что теперь изображение содержит правильное поздравление с днем рождения. Давайте посмотрим, как Storia Lab справляется с изменением фона изображения.
API для удаления и замены фона
API для удаления фона удаляет фоны изображений с использованием модели удаления фона. Storia Lab автоматически выполняет эту задачу, когда вы отправляете изображение через API. Эта возможность удобна для улучшения видимости при отображении изображений на нейтральном или не отвлекающем фоне. Посмотрите на следующее изображение «до и после», показывающее результаты удаления фона с помощью API для удаления фона.
Рис. 3 — Сравнение рядом, показывающее результаты удаления фона изображения с помощью Storia lab
Storia Lab предлагает API для замены фона помимо API для удаления фона. Он работает иначе, поскольку нам нужен prompt. Чтобы изменить фон изображения, сгенерированного ИИ, или вашего изображения, вы передаете входное изображение и prompt, описывающий фон, который вы хотите получить на выходном изображении. Затем модель замены фона Storia Lab реконструирует фон вашего изображения в соответствии с требованиями prompt. Давайте посмотрим на результаты:
Рис. 4 — Слева — входное изображение, сгенерированное через Midjourney; справа — выходное изображение, фон заменен с использованием prompt "modern motion graphics, squares, Gen Z
Эта модель отлично справляется с заменой фона по запрошенным prompt modern motion graphics, squares, and Gen Z. Помимо фонов, вам может понадобиться удалить некоторые нежелательные элементы на изображении. Давайте посмотрим, как Storia Lab обрабатывает такой запрос.
Удаление нежелательных элементов с помощью Cleanup API
API Defect Cleanup удаляет нежелательные элементы, такие как объекты, дефекты или текст, с изображений, отмечая область вокруг них. Затем модель очистки обрабатывает изображение, чтобы удалить эти элементы без необходимости ручного редактирования. Взгляните, например, на это изображение.
Fig 5- Left- Input of the original photograph Right- Output with the people in the background removed
На фоне есть случайные люди, но мы хотим сосредоточиться на ребенке. Чтобы удалить случайных людей, нам нужно отметить области, где они находятся. Затем модель очистки Storia Lab удалит отмеченные элементы и воссоздаст эти области так, чтобы они соответствовали остальной части изображения.
До сих пор мы рассматривали, как Storial Lab вносит тонкие правки в оригинальные или сгенерированные ИИ изображения. Теперь давайте сменим фокус и рассмотрим еще одну генеративную функцию Storia Lab, в которой набросок превращается в реалистичное изображение.
API преобразования наброска в изображение
API преобразования наброска в изображение превращает базовые наброски в детализированное цифровое искусство или фотореалистичные изображения. Он принимает набросок в качестве входных данных и промпт, описывающий, каким должен быть результат. Чем креативнее вы подходите к промпту, тем лучше результаты. Давайте посмотрим на результаты превращения наброска гостиной в реалистичное изображение.
Fig 6- Left- Input of the original sketch Right- Output Output for prompt "photorealistic living room in green, burnt orange and gold accents"
Изображение выше показывает реалистичную гостиную, сгенерированную из наброска. Оно содержит все цвета, указанные в промпте. Как вы видели, когда речь идет о генеративных моделях, то, что вы указываете в промпте, и есть то, что вы получаете на выходе. Чтобы узнать больше о промптинге, ознакомьтесь с этим руководством по инженерии промптов и познакомьтесь с различными используемыми методами.
Помимо приведенных выше API-решений, в выступлении Михаил кратко рассказывает о потенциале интеграции Storia Lab с мультимодальными приложениями. Давайте разберем это подробнее.
Интеграция Storia Lab с Milvus для продвинутых мультимодальных RAG-приложений
Milvus — это векторная база данных с открытым исходным кодом, предназначенная для эффективной работы с векторами миллиардного масштаба. Она использует векторный поиск для извлечения различных типов данных. Векторный поиск, также известный как поиск по сходству или поиск ближайших соседей, преобразует данные в многомерные векторы с помощью модели эмбеддингов и находит наиболее похожие векторы на основе их близости в векторном пространстве.
Мультимодальные RAG-приложения обрабатывают несколько типов данных для задач извлечения и дополнения генерации. Использование возможностей векторного поиска Milvus повышает их эффективность и надежность.
Объединение Milvus с API Storia Lab может еще больше улучшить мультимодальные RAG-приложения, обеспечивая создание персонализированного контента, автоматизированные рабочие процессы и персонализированные рекомендации.
Вот несколько практических сценариев использования, демонстрирующих синергию между Storia AI и Milvus:
Создание мультимодального контента: Это приложение позволит пользователям генерировать и редактировать изображения на основе текстовых промптов или набросков. Используя Milvus, приложение выполняет поиск в векторной базе данных изображений, соответствующих описанию или наброску пользователя. Затем API Storia Lab позволяют пользователям изменять или улучшать эти изображения, бесшовно интегрируя текстовую и визуальную креативность.
Поиск и рекомендации изображений: Создайте динамическую поисковую систему изображений, в которой пользователи могут искать изображения с помощью текста или примера изображения. Milvus управляет векторными представлениями для эффективного поиска по сходству, а возможности редактирования Storia Lab уточняют результат, предоставляя персонализированные рекомендации изображений или улучшения.
Кураторство визуального контента: Это приложение курирует и настраивает визуальный контент (изображения/видео) из нескольких источников на основе предпочтений или тем пользователей. Milvus извлекает похожий контент, а инструменты Storia Lab выполняют финальные корректировки, такие как удаление фона или стилистические правки, улучшая процесс кураторства для пользователя.
Мультимодальная электронная коммерция: Улучшите платформу электронной коммерции, позволяя клиентам искать товары с использованием текстовых и визуальных вводов. Milvus поддерживает поиск по сходству для изображений товаров, а API Storia Lab эстетически улучшают эти изображения или исправляют визуальные ошибки, улучшая опыт покупок.
Инструменты креативного дизайна: Эти комплексные инструменты поддерживают дизайнеров и включают генерацию изображений, манипуляцию ими и векторный поиск. Дизайнеры начинают проекты на основе эскизов или текстовых запросов, находят похожие существующие изображения с помощью Milvus и используют API Storia Lab для доработки и персонализации дизайнов, способствуя творческому и эффективному процессу дизайна.
Модерация визуального контента: Для платформ, размещающих пользовательский контент, разработайте систему, которая использует Milvus для поиска по сходству, чтобы выявлять и помечать неприемлемые изображения. Инструменты редактирования Storia Lab автоматически корректируют или удаляют проблемные элементы, обеспечивая эффективную и результативную модерацию контента.
Приведенные выше варианты использования охватывают только мультимодальные приложения, которые используют изображения и текст. Однако важно отметить, что Milvus поддерживает больше типов данных, включая видео, аудио и т. д. Все зависит от ваших потребностей.
Заключение
Storia AI — это редактор изображений на базе ИИ, который предлагает различные инструменты для генерации и редактирования изображений с помощью простых текстовых запросов или кликов. Его цель — упростить задачи редактирования изображений без необходимости в продвинутых навыках.
По мере того как генеративный ИИ продолжает развиваться, а мультимодальные приложения становятся все более распространенными, синергия между Storia Lab и Milvus может позволить разработчикам открыть новые области творчества, функциональности и пользовательского опыта.
Для получения более подробной информации по этой теме посмотрите запись выступления Михаила на YouTube.
Читать далее
Introducing Loon: A New Storage Engine for Vector Data That Never Stops Changing
Loon is a new storage engine for Milvus 3.0 and Zilliz Vector Lakebase, built to manage evolving vector datasets with ColumnGroups, row ID alignment, and Manifests.
How Zilliz Saw the Future of Vector Databases—and Built for Production
An inside look at how Zilliz built vector databases for real-world use, focusing on scalability, stability, and running them reliably at scale.
OpenAI o1: What Developers Need to Know
In this article, we will talk about the o1 series from a developer's perspective, exploring how these models can be implemented for sophisticated use cases.