이미지 기반 패션 추천으로 사용자 경험 향상하기
패션 리테일은 소비자 선호와 쇼핑 행동이 끊임없이 변화하는 빠르게 진화하는 산업입니다. 경쟁력을 유지하려면 브랜드는 개인의 취향에 맞춘 개인화된 쇼핑 경험을 제공해야 합니다.
최근 발표에서 Joan Kusuma는 이미지 기반 추천을 사용해 패션 리테일 경험을 향상시키는 혁신적인 접근 방식을 공유했습니다. 패션 리테일과 AI 분야의 배경을 바탕으로, Joan은 convolutional neural networks (CNNs)와 시각 임베딩을 활용하여 개인화된 의상 추천 시스템을 만들 수 있는 방법을 시연했습니다.
이 글에서는 AI가 패션 산업을 어떻게 변화시킬 수 있는지 강조하면서 개념과 아키텍처를 살펴봅니다. 먼저 글을 이해하는 데 중요한 시각 임베딩을 설명하겠습니다. 다음으로 Joan이 Milvus와 같은 벡터 데이터베이스에서 이미지를 어떻게 구축하고 저장했는지 자세히 설명하겠습니다. 마지막으로 모델이 추천을 생성하는 단계별 프로세스를 개괄하겠습니다.
시각 임베딩과 추천 시스템에서의 역할 이해하기
시각 임베딩은 이미지 기반 추천 시스템의 기본 개념입니다. 이러한 임베딩은 이미지에 묘사된 아이템의 핵심 특징과 특성을 포착하는 이미지의 벡터(수치) 표현입니다.
이미지를 임베딩으로 변환함으로써 AI 모델은 유사성을 효율적으로 분석하고 비교할 수 있습니다. 아래 예시에서 인코더는 의류의 특정 속성에 따라 세 가지 색상 스펙트럼(Red, Blue, Green)과 다양한 형태 특성 등 여러 의류 아이템 특징에 서로 다른 값을 할당합니다.
Joan의 발표에서 그녀는 의류 아이템의 시각 임베딩을 생성하기 위해 PyTorch autoencoder 모델을 사용했습니다. 또한 Joan은 실시간 객체 감지를 위해 convolutional neural network인 YOLOv5 (You Only Look Once)를 선택했습니다. YOLOv5는 전체 이미지를 한 번의 패스로 처리하여 놀라운 속도와 정밀도로 객체를 식별하고 분류합니다. 임베딩을 생성한 후에는 Milvus와 같은 벡터 데이터베이스에 저장되어 유사도 검색에 사용됩니다.
임베딩을 활용한 추천 시스템의 작동 방식
시각 임베딩이 추천 시스템에서 어떻게 활용되는지 이해하기 위해, 프로세스를 몇 가지 핵심 단계로 나누어 보겠습니다:
이미지 전처리: 첫 번째 단계는 크기, 해상도, 형식의 일관성을 보장하기 위해 이미지를 전처리하는 것입니다. 이 전처리 단계는 임베딩의 정확도를 유지하는 데 필수적입니다.
이미지 임베딩(특징 추출): Pytorch auto-encoder 모델을 사용하여 시스템은 전처리된 이미지에서 특징을 추출합니다. 그런 다음 이러한 특징은 벡터 데이터베이스에 저장되는 임베딩으로 변환됩니다.
벡터 데이터베이스를 사용한 벡터 검색: 벡터 데이터베이스는 시스템의 중요한 부분입니다. 모든 의류 아이템의 임베딩을 저장하여 유사한 아이템을 빠르고 효율적으로 검색할 수 있게 합니다. Joan은 Facebook이 만든 벡터 검색 라이브러리인 FAISS를 실험했습니다.
인덱싱: 임베딩의 인덱스를 구축하는 것은 빠르고 효율적인 유사도 검색이 가능하도록 벡터를 구성하는 작업을 포함합니다. 이 인덱스는 주어진 쿼리 이미지와 시각적으로 유사한 아이템을 찾기 위해 고차원 공간을 탐색하는 데 도움이 됩니다. Joan이 벡터 데이터베이스에 선택한 인덱스는 Approximate Nearest Neighbor (ANN) 검색 알고리즘입니다.
이미지 추천 모델의 실제 작동
아래는 Joan이 발표한 시각 검색 및 추천 시스템 아키텍처의 그림입니다.
시스템은 여러 핵심 단계로 구성됩니다. 전체 그림을 이해하기 위해 하나씩 살펴보겠습니다.
1단계: 사용자가 의류 이미지를 입력
프로세스는 사용자가 관심 있는 의류 아이템의 이미지를 업로드하거나 선택할 때 시작됩니다. 이 이미지는 추천 시스템의 쿼리 역할을 하며, 시각적으로 유사한 아이템을 검색하는 과정을 시작합니다.
2단계: 이미지 임베딩(특징 추출)
업로드된 이미지는 시각적 임베딩, 즉 핵심 특징의 수치적 표현으로 변환됩니다. 이 임베딩 과정은 쿼리 이미지를 벡터 데이터베이스에 미리 저장된 임베딩과 비교할 수 있게 하여, 유사한 아이템을 쉽게 검색할 수 있도록 합니다.
3단계: 유사도 검색
생성된 쿼리 이미지의 임베딩은 벡터 데이터베이스 내에서 유사도 검색을 수행하는 데 사용됩니다. Joan은 Approximate Nearest Neighbor (ANN) 검색 알고리즘을 사용하여 데이터베이스에서 쿼리 임베딩에 가장 가까운 임베딩을 효율적으로 찾습니다. 이 알고리즘은 전체를 샅샅이 검색하지 않고도 가장 유사한 이미지를 빠르게 식별합니다.
4단계: 추천 엔진
추천 엔진은 시스템의 최종 구성 요소입니다. 사용자 선호도, 시즌 트렌드, 재고 가용성과 같은 추가 기준을 바탕으로 검색 결과를 필터링하고 순위를 매깁니다. 이 단계는 추천 항목이 쿼리 이미지와 시각적으로 유사할 뿐만 아니라 관련성이 있고 개인화되도록 보장하여, 사용자에게 맞춤형 쇼핑 경험을 제공합니다.
근사 최근접 이웃 검색
Joan의 추천 시스템에서 핵심적인 측면은 벡터 데이터베이스 내에서 approximate nearest neighbor (ANN) search를 사용하여 관련 결과를 빠르고 정확하게 반환하는 것입니다. ANN 검색 알고리즘은 고차원 공간에서 주어진 쿼리 포인트에 가장 가까운 포인트를 찾습니다.
계산 비용이 많이 들 수 있는 정확한 최근접 이웃 검색과 달리, ANN 검색은 속도와 정확도의 균형을 맞추므로 대규모 데이터셋에 이상적입니다.
이미지 기반 패션 추천의 맥락에서 ANN 검색은 쿼리 이미지의 임베딩과 유사한 임베딩을 가진 의류 아이템을 식별하는 데 사용됩니다.
이 과정에는 여러 단계가 포함됩니다:
인덱스 구축: 첫 번째 단계는 벡터 데이터베이스에 저장된 임베딩의 인덱스를 구축하는 것입니다. 이 인덱스는 시스템이 고차원 공간을 효율적으로 탐색하고 유사한 아이템을 찾을 수 있도록 합니다.
쿼리 처리: 사용자가 이미지를 업로드하면, 시스템은 해당 이미지의 임베딩을 생성하고 ANN 검색 알고리즘을 사용하여 인덱스에서 쿼리 임베딩에 가장 가까운 임베딩을 찾습니다.
결과 순위 지정: 그런 다음 검색 결과는 유사도 점수를 기준으로 순위가 매겨집니다. 사용자 선호도와 재고 가용성과 같은 추가 필터링 및 순위 기준을 적용하여 추천을 더욱 정교하게 개선할 수 있습니다.
웹 데모 앱
Joan은 최종 제품과 이미지 기반 추천 기능을 선보이기 위해 완전히 작동하는 web demo app을 개발했습니다. 이 앱은 사용자가 의류 아이템 이미지를 업로드하고 실시간으로 개인화된 추천을 받을 수 있도록 합니다.
이 앱은 두 가지 간단한 단계로 구성된 단순하고 직관적인 인터페이스를 갖추고 있어, 사용자가 이미지를 업로드하고 추천을 확인하기 쉽습니다. 또한 실시간 이미지 추천을 위한 실시간 처리를 제공합니다.
1단계: 의류 이미지 업로드
2단계: 모델이 유사한 스타일의 의류 아이템을 반환
결론
Joan Kusuma의 작업은 패션 리테일을 혁신하는 데 있어 AI의 잠재력을 보여줍니다. 그녀는 시각적 임베딩과 벡터 데이터베이스를 사용해 개인화된 의상 추천을 제공하는 추천 시스템을 개발했습니다. 특징 추출을 위한 PyTorch의 autoencoder와 실시간 객체 감지를 위한 YOLOv5를 결합하고, 벡터 데이터베이스에서 근사 최근접 이웃 검색의 속도와 정확성을 활용함으로써, 그녀의 시스템은 빠르고 정밀한 추천을 보장합니다.
Joan은 또한 이러한 기능을 선보이고 실시간 맞춤형 패션 조언을 위한 사용자 친화적인 플랫폼을 제공하는 웹 데모 앱을 공개했습니다. 이 접근 방식은 고객 쇼핑 경험을 향상시키고 AI 기반 개인화의 새로운 기준을 세워 패션 리테일러의 성장을 이끕니다.
계속 읽기
What Is a Vector Lakebase?
A Vector Lakebase is a unified, lake-native data architecture for AI that combines vector-database-grade serving with open lake storage, reusable lake-level indexes, and a shared semantic layer.
Migrating from S3 Vectors to Zilliz Cloud: Unlocking the Power of Tiered Storage
Learn how Zilliz Cloud bridges cost and performance with tiered storage and enterprise-grade features, and how to migrate data from AWS S3 Vectors to Zilliz Cloud.
Will Amazon S3 Vectors Kill Vector Databases—or Save Them?
AWS S3 Vectors aims for 90% cost savings for vector storage. But will it kill vectordbs like Milvus? A deep dive into costs, limits, and the future of tiered storage.