画像ベースのファッション推薦でユーザー体験を高める
ファッション小売業は、消費者の嗜好や買い物行動が常に変化する、急速に進化する業界である。競争力を維持するためには、ブランドは個人の嗜好に合わせたパーソナライズされたショッピング体験を提供しなければならない。
最近の講演で、Joan Kusumaは、画像ベースのレコメンデーションを使用してファッション小売体験を強化するための彼女の革新的なアプローチを共有した。ファッション小売とAIにおける彼女の経歴から、Joanは畳み込みニューラルネットワーク(CNN)とビジュアルエンベッディングを、パーソナライズされた服の推薦システムを作成するためにどのように活用できるかを実演した。
この記事では、AIがファッション業界をどのように変革できるのかに焦点を当て、そのコンセプトとアーキテクチャを探る。まず、この記事を理解するために重要な視覚的埋め込みについて説明する。次に、JoanがどのようにMilvusのようなベクターデータベースを構築し、画像を保存したかを詳しく説明する。最後に、このモデルがどのようにレコメンデーションを生成するのか、ステップ・バイ・ステップのプロセスを概説する。
ビジュアルエンベッディングとレコメンダーでの役割を理解する
ビジュアルエンベッディングは、画像ベースの推薦システムにおける基本的な概念です。このエンベッディングは、画像のベクトル（数値）表現であり、描かれているアイテムの本質的な特徴や特性を捉えます。
画像をエンベッディングに変換することで、AIモデルはそれらの類似性を効率的に分析・比較することができます。下の例では、エンコーダは、3つの色スペクトル（赤、青、緑）や様々な形状の特徴など、様々な衣服アイテムの特徴に、衣服の特定の属性に応じて異なる値を割り当てています。
Joanのプレゼンテーションでは、PyTorchのオートエンコーダーモデルを使って、服の視覚的埋め込みを生成しました。さらにJoanは、リアルタイムのオブジェクト検出のために、畳み込みニューラルネットワークであるYOLOv5（You Only Look Once）を選択した。YOLOv5は画像全体を1回で処理し、驚くべきスピードと精度で物体を識別・分類する。エンベッディングを生成すると、Milvusのようなベクトルデータベースに保存され、類似検索に使用される。
エンベッディングを使ったレコメンダーの仕組み
推薦システムにおいて視覚的埋め込みがどのように利用されるかを理解するために、そのプロセスをいくつかの重要なステップに分解してみましょう：
1.画像の前処理： 最初のステップは、画像のサイズ、解像度、フォーマットの一貫性を確保するための前処理です。この前処理ステップは、埋め込み精度を維持するために不可欠です。
2.画像埋め込み(特徴抽出): Pytorch自動エンコーダモデルを用いて、システムは前処理された画像から特徴を抽出します。これらの特徴量は、ベクトルデータベースに格納された埋め込みデータに変換されます。
3.ベクトルデータベースによるベクトル検索： ベクトルデータベースはシステムの重要な部分である。ベクトル・データベースは、すべての服の埋め込みデータを保存し、類似したアイテムを素早く効率的に検索することを可能にします。Joanは、Facebookが作成したベクトル検索ライブラリであるFAISSで実験を行った。
4.インデックス作成：*埋め込みデータのインデックスを作成することで、ベクトルを整理し、迅速で効率的な類似検索を可能にする。このインデックスは、与えられたクエリ画像と視覚的に類似したアイテムを見つけるために、高次元空間をナビゲートするのに役立ちます。Joanがベクトルデータベース用に選択したインデックスは、近似最近傍（ANN）検索アルゴリズムです。
画像推薦モデルの動作
以下は、ジョーンが発表したビジュアル検索・推薦システムのアーキテクチャの図解である。
このシステムはいくつかの重要なステップから構成されている。全体像を理解するために、一つずつ取り上げていこう。
ステップ1：ユーザーが服の画像を入力する。
このプロセスは、ユーザーが興味のある洋服の画像をアップロードするか選択するところから始まる。この画像はレコメンデーションシステムのクエリーとして機能し、視覚的に類似したアイテムの検索を開始する。
**ステップ2：画像の埋め込み（特徴の抽出）
アップロードされた画像は、その本質的な特徴を数値化したビジュアルエンベッディングに変換されます。このエンベッディング処理により、クエリ画像とベクトルデータベースにあらかじめ格納されたエンベッディングを比較することができ、類似アイテムの検索が容易になります。
**ステップ3：類似検索
生成された埋め込み画像は、ベクトルデータベース内の類似検索に使用されます。Joanは、近似最近傍(ANN)検索アルゴリズムを採用し、クエリ画像の埋め込みに最も近い埋め込みを効率的に検索します。このアルゴリズムは、網羅的に検索することなく、最も類似した画像を素早く特定します。
**ステップ4：レコメンデーションエンジン
レコメンデーションエンジンは、システムの最終コンポーネントです。ユーザーの嗜好、季節のトレンド、在庫状況などの追加基準に基づいて検索結果をフィルタリングし、ランク付けします。このステップでは、レコメンデーションがクエリー画像と視覚的に類似していること、関連性がありパーソナライズされていることを確認し、ユーザーに合わせたショッピング体験を提供する。
近似最近傍探索
Joanの推薦システムの重要な点は、ベクトルデータベース内で近似最近傍(ANN)検索を使用して、関連する結果を迅速かつ正確に返すことである。ANN検索アルゴリズムは、与えられたクエリーポイントに最も近い高次元空間のポイントを見つける。
計算コストのかかる厳密な最近傍探索とは異なり、ANN探索は速度と精度のバランスがとれており、大規模なデータセットに最適である。
画像ベースのファッション推薦の文脈では、ANN検索は、クエリ画像の埋め込みに似た埋め込みを持つ服飾アイテムを特定するために使われる。
**このプロセスにはいくつかのステップがある。
1.インデックス構築： 最初のステップは、ベクトルデータベースに格納された埋め込み画像のインデックスを構築することである。このインデックスにより、システムは高次元空間を効率的にナビゲートし、類似のアイテムを見つけることができます。
2.**ユーザが画像をアップロードすると、システムはその埋め込みを生成し、ANN検索アルゴリズムを使用して、クエリの埋め込みに最も近いインデックス内の埋め込みを検索します。
3.**検索結果は、類似度スコアに基づいてランク付けされる。ユーザーの嗜好や在庫の有無など、追加のフィルタリングやランキング基準を適用することで、推奨商品をさらに絞り込むことができる。
ウェブデモアプリ
Joanは、最終製品とその画像ベースの推薦機能を紹介するために、完全に機能するウェブ・デモ・アプリを開発した。このアプリでは、ユーザーが洋服の画像をアップロードすると、リアルタイムでパーソナライズされた推薦を受けることができる。
このアプリは、シンプルで直感的な2ステップのインターフェイスが特徴で、ユーザーは簡単に画像をアップロードし、レコメンデーションを見ることができる。さらに、リアルタイムの画像推薦のためのリアルタイム処理を提供している。
ステップ1: 画像のアップロード
ステップ2: モデルが似たようなスタイルの服を返す
結論
Joan Kusumaの研究は、ファッション小売業を変革するAIの可能性を示している。彼女は、視覚的埋め込みとベクトルデータベースを使用して、パーソナライズされた服の提案を提供するレコメンダーを開発した。特徴抽出のためのPyTorchのオートエンコーダとリアルタイムのオブジェクト検出のためのYOLOv5を組み合わせ、ベクトルデータベースにおける近似最近傍探索の速度と精度を利用することで、彼女のシステムは迅速かつ正確なレコメンデーションを保証する。
Joanはまた、これらの機能を紹介し、リアルタイムでオーダーメイドのファッション・アドバイスを提供するユーザーフレンドリーなプラットフォームを提供するウェブ・デモ・アプリも披露した。このアプローチは、顧客のショッピング体験を向上させ、AI主導のパーソナライゼーションの新しい標準を設定し、ファッション小売業者の成長を促進する。
読み続けて
Zilliz Cloud Update: Smarter Autoscaling for Cost Savings, Stronger Compliance with Audit Logs, and More
Take a look at the latest release of Zilliz Cloud.
Vector Databases vs. Time Series Databases
Use a vector database for similarity search and semantic relationships; use a time series database for tracking value changes over time.
Empowering Innovation: Highlights from the Women in AI RAG Hackathon
Over the course of the day, teams built working RAG-powered applications using the Milvus vector database—many of them solving real-world problems in healthcare, legal access, sustainability, and more—all within just a few hours.