Storia Lab을 활용한 창의적 애플리케이션용 생성형 AI
최근 Zilliz Unstructured Data Meetup에서 진행된 발표에서 Storia AI의 창립자인 Mihail Eric은 고급 이미지 편집 기능을 애플리케이션에 통합하도록 설계된 API 제품군인 Storia Lab을 소개했습니다.
이 발표는 생성형 AI 이미지를 향상시키는 데 초점을 맞추며, 원본 이미지의 무결성을 보존하면서 섬세한 편집을 수행하는 방법을 자세히 설명했습니다. Mihail은 배경 제거, 텍스트 수정, 이미지의 스타일 조정과 같은 이미지 편집 요구사항에 대한 실용적인 솔루션을 논의하며, 다양한 플랫폼에서 API를 통해 개발자가 고급 이미지 편집에 접근할 수 있도록 합니다.
각 솔루션을 하나씩 살펴보고, 멀티모달 검색 증강 생성(RAG)과 같은 고급 GenAI 애플리케이션을 구축하기 위해 Storia Lab API를 Milvus 벡터 데이터베이스와 통합하는 방법을 논의해 보겠습니다.
텍스트 수정을 위한 Textify API
Textify API는 원래 글꼴과 스타일을 유지하면서 기존 텍스트를 수정하거나 변경합니다. 이는 AI로 생성된 시각 자료에서 텍스트가 의미 없는 문자열처럼 보이거나 오류가 포함되는 일반적인 문제를 해결합니다. 다음 예를 살펴보겠습니다. 아래 이미지는 MidJourney를 사용해 생성되었으며 Happy Birthday라는 문구에서 Happy의 철자가 잘못되어 있습니다.
그림 1- Midjourney를 통해 생성된 입력 이미지
이 이미지를 수정하려면, 수정할 이미지 영역과 대체해야 할 텍스트를 지정하는 매개변수와 함께 Textify API를 호출합니다. 그러면 Textify는 원래 글꼴과 스타일을 유지하면서 의미 없는 문자열을 의미 있는 텍스트로 대체합니다. 아래 출력을 보세요:
그림 2- Textify API로 의미 없는 문자열이 수정된 출력 이미지
이제 이미지에 올바른 생일 축하 메시지가 포함된 것을 볼 수 있습니다. Storia Lab이 이미지 배경 수정을 어떻게 처리하는지 살펴보겠습니다.
배경 제거 및 교체 API
배경 제거 API는 배경 제거 모델을 사용해 이미지 배경을 제거합니다. Storia Lab은 API를 통해 이미지를 제출하면 이 작업을 자동으로 수행합니다. 이 기능은 중립적이거나 시선을 분산시키지 않는 배경 위에 이미지를 표시할 때 가시성을 향상하는 데 유용합니다. 배경 제거 API를 사용해 배경을 제거한 결과를 나란히 보여주는 다음 이미지를 보세요.
그림 3- Storia lab을 사용해 이미지 배경을 제거한 결과를 보여주는 나란히 비교
Storia Lab은 배경 제거 API 외에도 배경 교체 API를 제공합니다. 이 API는 프롬프트가 필요하다는 점에서 다르게 작동합니다. AI 생성 이미지나 사용자의 이미지 배경을 변경하려면 입력 이미지와 출력 이미지에 원하는 배경을 설명하는 프롬프트를 전달합니다. 그러면 Storia Lab의 배경 교체 모델이 프롬프트 요구사항을 충족하도록 이미지의 배경을 재구성합니다. 결과를 살펴보겠습니다:
그림 4- 왼쪽- Midjourney를 통해 생성된 입력; 오른쪽- "modern motion graphics, squares, Gen Z" 프롬프트를 사용해 교체된 출력 배경
이 모델은 요청된 modern motion graphics, squares, and Gen Z 프롬프트에 맞춰 배경을 훌륭하게 교체합니다. 배경 외에도 이미지에서 원치 않는 요소를 제거해야 할 수 있습니다. Storia Lab이 이 요청을 어떻게 처리하는지 살펴보겠습니다.
Cleanup API를 사용해 원치 않는 요소 제거하기
Defect Cleanup API는 객체, 결함 또는 텍스트와 같은 원치 않는 요소를 이미지에서 제거하기 위해 해당 요소 주변 영역을 표시합니다. 그러면 cleanup 모델이 이미지를 처리하여 수동 편집 없이 이러한 요소를 제거합니다. 예를 들어, 이 이미지를 살펴보세요.
Fig 5- Left- Input of the original photograph Right- Output with the people in the background removed
배경에는 무작위 사람들이 있지만, 우리는 아이에게 집중하고 싶습니다. 무작위 사람들을 제거하려면, 그들이 포함된 영역을 표시해야 합니다. 그러면 Storia Lab의 cleanup 모델이 표시된 요소를 제거하고 해당 영역을 이미지의 나머지 부분과 어울리도록 재생성합니다.
지금까지 우리는 Storia Lab이 원본 이미지 또는 AI 생성 이미지에 미묘한 편집을 수행하는 방식을 살펴보았습니다. 이제 방향을 전환하여 스케치가 사실적인 사진으로 바뀌는 Storia Lab의 또 다른 생성 기능을 살펴보겠습니다.
Sketch-to-Image Conversion API
Sketch-to-Image Conversion API는 기본 스케치를 상세한 디지털 아트 또는 포토리얼리스틱 이미지로 변환합니다. 스케치를 입력으로 받고, 출력이 어떻게 되어야 하는지를 설명하는 프롬프트를 받습니다. 프롬프트에서 더 창의적일수록 결과가 더 좋아집니다. 거실 스케치를 사실적인 이미지로 바꾼 결과를 살펴보겠습니다.
Fig 6- Left- Input of the original sketch Right- Output Output for prompt "photorealistic living room in green, burnt orange and gold accents"
위 이미지는 스케치에서 생성된 사실적인 거실을 보여줍니다. 프롬프트에 지정된 모든 색상이 포함되어 있습니다. 보셨듯이, 생성 모델의 경우 프롬프트에 지정한 것이 출력으로 나옵니다. 프롬프팅에 대해 더 알아보려면, 이 프롬프트 엔지니어링 가이드 를 살펴보고 관련된 다양한 방법에 익숙해지세요.
위의 API 솔루션 외에도, Mihail은 발표에서 Storia Lab이 멀티모달 애플리케이션과 통합될 수 있는 잠재력을 간략히 설명합니다. 이를 좀 더 자세히 살펴보겠습니다.
고급 멀티모달 RAG 애플리케이션을 위한 Storia Lab과 Milvus 통합
Milvus는 십억 규모의 벡터를 효율적으로 처리하도록 설계된 오픈 소스 벡터 데이터베이스입니다. 벡터 검색을 활용하여 다양한 데이터 유형을 검색합니다. 벡터 검색은 유사도 검색 또는 최근접 이웃 검색이라고도 하며, 임베딩 모델을 사용해 데이터를 고차원 벡터로 변환하고 벡터 공간에서의 근접성을 기준으로 가장 유사한 벡터를 찾습니다.
멀티모달 RAG 애플리케이션은 검색 및 생성 증강 작업을 위해 여러 데이터 유형을 처리합니다. Milvus의 벡터 검색 기능을 활용하면 효율성과 견고성이 향상됩니다.
Milvus와 Storia Lab의 API를 결합하면 멀티모달 RAG 애플리케이션을 더욱 향상시켜, 맞춤형 콘텐츠 생성, 자동화된 워크플로, 개인화된 추천을 가능하게 할 수 있습니다.
다음은 Storia AI와 Milvus 간의 시너지를 보여주는 몇 가지 실용적인 사용 사례입니다.
멀티모달 콘텐츠 생성: 이 애플리케이션은 사용자가 텍스트 프롬프트나 스케치를 기반으로 이미지를 생성하고 편집할 수 있게 합니다. Milvus를 사용하면 앱은 사용자의 설명이나 스케치와 일치하는 이미지를 벡터 데이터베이스에서 검색합니다. 그런 다음 Storia Lab의 API를 통해 사용자는 이러한 이미지를 수정하거나 향상할 수 있으며, 텍스트와 시각적 창의성을 매끄럽게 통합할 수 있습니다.
이미지 검색 및 추천: 사용자가 텍스트 또는 예시 이미지를 사용해 이미지를 쿼리할 수 있는 동적 이미지 검색 엔진을 만드세요. Milvus는 효율적인 유사도 검색을 위해 벡터 표현을 관리하며, Storia Lab의 편집 기능은 출력을 정제하여 맞춤형 이미지 추천 또는 향상을 제공합니다.
시각 콘텐츠 큐레이션: 이 애플리케이션은 사용자 선호도나 테마를 기반으로 여러 소스의 시각 콘텐츠(이미지/비디오)를 큐레이션하고 맞춤화합니다. Milvus는 유사한 콘텐츠를 검색하고, Storia Lab의 도구는 배경 제거 또는 스타일 편집과 같은 최종 조정을 수행하여 사용자의 큐레이션 프로세스를 향상합니다.
멀티모달 전자상거래: 고객이 텍스트 및 시각 입력을 사용해 제품을 검색할 수 있도록 하여 전자상거래 플랫폼을 강화하세요. Milvus는 제품 이미지에 대한 유사도 검색을 지원하고, Storia Lab의 API는 이러한 이미지를 미적으로 향상하거나 시각적 오류를 수정하여 쇼핑 경험을 개선합니다.
크리에이티브 디자인 도구: 이러한 포괄적인 도구는 디자이너를 지원하며 이미지 생성, 조작 및 벡터 검색을 통합합니다. 디자이너는 스케치 또는 텍스트 프롬프트를 기반으로 프로젝트를 시작하고, Milvus로 유사한 기존 이미지 찾기를 수행하며, Storia Lab의 API를 사용해 디자인을 정제하고 개인화하여 창의적이고 효율적인 디자인 프로세스를 촉진합니다.
시각 콘텐츠 조정: 사용자 생성 콘텐츠를 호스팅하는 플랫폼의 경우, Milvus를 사용한 유사도 검색으로 부적절한 이미지를 식별하고 플래그 지정하는 시스템을 개발하세요. Storia Lab의 편집 도구는 문제가 되는 요소를 자동으로 조정하거나 제거하여 효과적이고 효율적인 콘텐츠 조정을 보장합니다.
위의 사용 사례는 이미지와 텍스트를 사용하는 멀티모달 애플리케이션만 다룹니다. 그러나 Milvus가 비디오, 오디오 등을 포함한 더 많은 데이터 유형을 지원한다는 점을 유의하는 것이 중요합니다. 이는 단지 여러분의 필요에 달려 있습니다.
결론
Storia AI는 간단한 텍스트 프롬프트나 클릭을 통해 이미지를 생성하고 편집할 수 있는 다양한 도구를 제공하는 AI 기반 이미지 편집기입니다. 고급 기술 없이 이미지 편집 작업을 단순화하는 것을 목표로 합니다.
생성형 AI가 계속 발전하고 멀티모달 애플리케이션이 점점 더 널리 보급됨에 따라, Storia Lab과 Milvus 간의 시너지는 개발자가 창의성, 기능성 및 사용자 경험의 새로운 영역을 열 수 있게 해줍니다.
이 주제에 대한 자세한 내용은 YouTube에서 Mihail의 발표 다시보기를 시청하세요.
계속 읽기
A Developer's Guide to Exploring Milvus 2.6 Features on Zilliz Cloud
Milvus 2.6 marks a shift from “vector search + glue code” to a more advanced retrieval engine, and it is now Generally Available (GA) on Zilliz Cloud (a managed Milvus service).
AI Integration in Video Surveillance Tools: Transforming the Industry with Vector Databases
Discover how AI and vector databases are revolutionizing video surveillance with real-time analysis, faster threat detection, and intelligent search capabilities for enhanced security.
Why Deepseek is Waking up AI Giants Like OpenAI And Why You Should Care
Discover how DeepSeek R1's open-source AI model with superior reasoning capabilities and lower costs is disrupting the AI landscape and challenging tech giants like OpenAI.