IA generativa para aplicações criativas usando o Storia Lab
Em uma apresentação recente no Zilliz Unstructured Data Meetup, Mihail Eric, fundador da Storia AI, apresentou o Storia Lab, um conjunto de APIs projetadas para integrar funcionalidades avançadas de edição de imagens aos seus aplicativos.
Assista à reprise da palestra de Mihail no meetup.
Esta palestra focou no aprimoramento de imagens de IA generativa, detalhando como podemos fazer edições sutis preservando a integridade das imagens originais. Mihail discute soluções práticas para necessidades de edição de imagens, como remoção de fundo, correção de texto e ajustes estilísticos em imagens, tornando a edição avançada de imagens acessível aos desenvolvedores via APIs em várias plataformas.
Vamos discutir cada solução separadamente e como você pode integrar as APIs do Storia Lab ao banco de dados vetorial Milvus para criar aplicações GenAI avançadas, como geração aumentada por recuperação multimodal (RAG).
API Textify para Correção de Texto
A API Textify corrige ou altera texto existente mantendo a fonte e o estilo originais. Ela aborda um problema comum em visuais gerados por IA, em que o texto aparece sem sentido ou contém erros. Vamos dar uma olhada no exemplo a seguir. A imagem abaixo é gerada usando MidJourney e escreve incorretamente Happy na frase Happy Birthday.
Fig 1- Imagem de entrada gerada via Midjourney
Para corrigir esta imagem, você chama a API Textify com parâmetros que especificam a área da imagem a ser corrigida e o texto que precisa ser substituído. O Textify então substitui o texto sem sentido por texto significativo, mantendo a fonte e o estilo originais. Veja a saída abaixo:
Fig 2- Imagem de saída mostrando texto sem sentido corrigido pela API Textify
Você pode ver que a imagem agora contém a mensagem correta de feliz aniversário. Vamos ver como o Storia Lab lida com modificações no fundo de imagens.
APIs de Remoção e Substituição de Fundo
A API de remoção de fundo remove fundos de imagens usando um modelo de remoção de fundo. O Storia Lab executa automaticamente essa tarefa quando você envia uma imagem via API. Esse recurso é útil para melhorar a visibilidade ao exibir imagens contra um plano de fundo neutro ou sem distrações. Veja a imagem lado a lado a seguir mostrando os resultados da remoção de um fundo usando a API de remoção de fundo.
Fig 3- Comparação lado a lado mostrando os resultados da remoção de um fundo de imagem usando o Storia lab
O Storia Lab oferece uma API de substituição de fundo além da API de remoção de fundo. Esta funciona de maneira diferente, pois precisamos de um prompt. Para alterar o fundo de uma imagem gerada por IA ou da sua imagem, você passa a imagem de entrada e um prompt descrevendo o fundo que gostaria que a imagem de saída tivesse. O modelo de substituição de fundo do Storia Lab então reconstruirá o fundo da sua imagem para atender aos requisitos do prompt. Vamos dar uma olhada nos resultados:
Fig 4- Esquerda- Entrada gerada via Midjourney; Direita- Saída com fundo substituído usando o prompt "modern motion graphics, squares, Gen Z
Este modelo faz um excelente trabalho ao substituir o fundo com os prompts solicitados modern motion graphics, squares, and Gen Z. Além de fundos, você pode precisar remover alguns elementos indesejados em uma imagem. Vamos ver como o Storia Lab lida com essa solicitação.
Removendo Elementos Indesejados Usando a API Cleanup
A API de Limpeza de Defeitos remove elementos indesejados, como objetos, defeitos ou texto, de imagens ao marcar a área ao redor deles. O modelo de limpeza então processa a imagem para remover esses elementos sem exigir edição manual. Veja esta imagem, por exemplo.
Fig 5- Esquerda- Entrada da fotografia original Direita- Saída com as pessoas no fundo removidas
O fundo tem pessoas aleatórias, mas queremos focar na criança. Para remover as pessoas aleatórias, precisamos marcar as áreas que as contêm. Então, o modelo de limpeza da Storia Lab removerá os elementos marcados e recriará essas áreas para combinar com o restante da imagem.
Até agora, temos analisado como a Storial Lab faz edições sutis em imagens originais ou geradas por IA. Vamos agora mudar de assunto e analisar outro recurso generativo da Storia Lab no qual um esboço é transformado em uma imagem realista.
API de Conversão de Esboço para Imagem
A API de Conversão de Esboço para Imagem transforma esboços básicos em arte digital detalhada ou imagens fotorrealistas. Ela recebe um esboço como entrada e um prompt descrevendo como a saída deve ser. Quanto mais criativo você for com o prompt, melhores serão os resultados. Vamos ver os resultados de transformar um esboço de sala de estar em uma imagem realista.
Fig 6- Esquerda- Entrada do esboço original Direita- Saída Saída para o prompt "sala de estar fotorrealista em verde, laranja queimado e detalhes dourados"
A imagem acima mostra uma sala de estar realista gerada a partir de um esboço. Ela contém todas as cores especificadas no prompt. Como você viu, quando se trata de modelos generativos, o que você especifica no prompt é o que obtém como saída. Para saber mais sobre prompting, consulte este guia de engenharia de prompts para se familiarizar com os diferentes métodos envolvidos.
Além das soluções de API acima, Mihail aborda rapidamente o potencial da integração da Storia Lab com aplicações multimodais na palestra. Vamos desacelerar isso.
Integrando a Storia Lab ao Milvus para Aplicações RAG Multimodais Avançadas
Milvus é um banco de dados vetorial de código aberto projetado para lidar com vetores em escala de bilhões de forma eficiente. Ele aproveita a busca vetorial para recuperar vários tipos de dados. A busca vetorial, também conhecida como busca por similaridade ou vizinho mais próximo, converte dados em vetores de alta dimensão usando um modelo de embedding e encontra os vetores mais semelhantes com base em sua proximidade no espaço vetorial.
As aplicações RAG multimodais processam múltiplos tipos de dados para tarefas de recuperação e aumento de geração. Utilizar os recursos de busca vetorial do Milvus aumenta sua eficiência e robustez.
Combinar o Milvus com as APIs da Storia Lab pode aprimorar ainda mais as aplicações RAG multimodais, permitindo criação de conteúdo personalizada, fluxos de trabalho automatizados e recomendações personalizadas.
Aqui estão alguns casos de uso práticos que demonstram a sinergia entre a Storia AI e o Milvus:
Criação de Conteúdo Multimodal: Esta aplicação permitiria que os usuários gerassem e editassem imagens com base em prompts de texto ou esboços. Usando o Milvus, o app pesquisa em um banco de dados vetorial por imagens que correspondam à descrição ou ao esboço de um usuário. Então, as APIs da Storia Lab permitem que os usuários modifiquem ou aprimorem essas imagens, integrando perfeitamente a criatividade textual e visual.
Busca e Recomendação de Imagens: Crie um mecanismo dinâmico de busca de imagens em que os usuários possam consultar imagens usando texto ou uma imagem de exemplo. O Milvus gerencia as representações vetoriais para uma busca eficiente por similaridade, enquanto os recursos de edição do Storia Lab refinam o resultado, fornecendo recomendações ou melhorias de imagens personalizadas.
Curadoria de Conteúdo Visual: Esta aplicação faz a curadoria e personaliza conteúdo visual (imagens/vídeos) de várias fontes com base nas preferências ou temas do usuário. O Milvus recupera conteúdo semelhante, e as ferramentas do Storia Lab fazem os ajustes finais, como remoção de fundo ou edições estilísticas, aprimorando o processo de curadoria do usuário.
E-commerce Multimodal: Aprimore uma plataforma de e-commerce permitindo que os clientes busquem produtos usando entradas de texto e visuais. O Milvus oferece suporte a buscas por similaridade para imagens de produtos, e as APIs do Storia Lab aprimoram esteticamente essas imagens ou corrigem erros visuais, melhorando a experiência de compra.
Ferramentas de Design Criativo: Essas ferramentas abrangentes dão suporte a designers e incorporam geração de imagens, manipulação e busca vetorial. Designers iniciam projetos com base em esboços ou prompts de texto, encontram imagens existentes semelhantes com o Milvus e usam as APIs do Storia Lab para refinar e personalizar os designs, promovendo um processo de design criativo e eficiente.
Moderação de Conteúdo Visual: Para plataformas que hospedam conteúdo gerado por usuários, desenvolva um sistema que use o Milvus para buscas por similaridade para identificar e sinalizar imagens inadequadas. As ferramentas de edição do Storia Lab ajustam ou removem automaticamente elementos problemáticos, garantindo uma moderação de conteúdo eficaz e eficiente.
Os casos de uso acima cobrem apenas aplicações multimodais que usam imagens e texto. No entanto, é essencial observar que o Milvus oferece suporte a mais tipos de dados, incluindo vídeos, áudio etc. É apenas uma questão das suas necessidades.
Conclusão
Storia AI é um editor de imagens com tecnologia de IA que oferece várias ferramentas para gerar e editar imagens por meio de simples prompts de texto ou cliques. Seu objetivo é simplificar as tarefas de edição de imagens sem exigir habilidades avançadas.
À medida que a IA generativa continua a evoluir e as aplicações multimodais se tornam cada vez mais prevalentes, a sinergia entre o Storia Lab e o Milvus pode permitir que os desenvolvedores desbloqueiem novos domínios de criatividade, funcionalidade e experiências de usuário.
Para mais detalhes sobre este tópico, assista à reprise da palestra de Mihail no YouTube.
Continue lendo
Zilliz Cloud Enterprise Vector Search Powers High-Performance AI on AWS
Zilliz Cloud on AWS powers secure, scalable, ultra-fast vector search for enterprise AI apps, with BYOC, sub-10ms latency, and zero-DevOps simplicity.
Announcing VDBBench 1.0: Open-Source VectorDB Benchmarking with Your Real-World Production Workloads
Discover VDBBench 1.0, an open-source tool for benchmarking vector databases with real-world production data, streaming ingestion, and concurrent workloads.
Why Not All VectorDBs Are Agent-Ready
Explore why choosing the right vector database is critical for scaling AI agents, and why traditional solutions fall short in production.