Beatoven.aiがPineconeからZilliz Cloudに移行し、AI主導の音楽生成を促進
6x
パフォーマンスを損なうことなくコスト削減
スムーズ
ダウンタイムを最小限に抑えたマイグレーション
2～3秒
Zillizクラウドへの移行による全体的な生成時間の改善
フレキシブル
データ管理、データセットの容易なアンロード
Zilliz is a very integral part of our workflow. If we just swapped Zilliz Cloud with something else, the kind of loops that we get might not make sense, which means the end composition might not sound very nice or might not be very accurate to the text prompt you had given.
Sangarshanan Veera
#Beatoven.aiについて
Beatoven.aiは、AIを活用した革新的な音楽生成プラットフォームで、クリエイターがコンテンツに合わせたロイヤリティフリーのオリジナルサウンドトラックを制作できるよう支援します。高度なAIと機械学習技術を活用することで、Beatoven.aiは、ユーザーがムード、ジャンル、テキストプロンプトに基づいて音楽を生成し、カスタマイズすることを可能にします。このプラットフォームは、音楽制作の複雑さやライセンスに関する懸念なしに、高品質でカスタマイズ可能なオーディオを必要とするコンテンツクリエイター、映画制作者、ポッドキャスター、ゲーム開発者にサービスを提供しています。
Beatoven.aiは、150万人のクリエイターと600万曲以上の楽曲生成という素晴らしい実績を持ち、AI音楽生成分野におけるリーディング・ソリューションとしての地位を確立しています。Beatoven.aiのプラットフォームは、シンプルなプロンプトを通じてパーソナライズされた音楽制作を提供することで、高価な音楽プロデューサーや限られたストック音楽ライブラリの必要性を排除します。
課題信頼性が高くスケーラブルなベクターデータベースの発見
Beatoven.aiの成長と機能拡張に伴い、チームはデータインフラに関する大きな課題に直面しました。当初は、音声マッチングの類似検索を処理するために、カスタム数式とアルゴリズムを使用し、データをディスクに直接保存していました。このアプローチでは、プラットフォームの規模が拡大するにつれ、すぐに限界が明らかになりました。
"私たちはもっと良いことができ、規模を拡大するにつれてすべてをディスクに保存することはできないと気づいたとき、私たちは代替案を検討し始めました。"とBeatoven.aiのシニア・ソフトウェア・エンジニアであるSangarshananは説明した。「似たような処理を行う関数をすべて削除し、シンプルなクエリに置き換えることで、コードベースをクリーンアップできるものが必要でした」。
適切なベクトルデータベース・ソリューションを探すBeatovenの旅には、複数のプラットフォームが関わっていた：
1.1. Chroma DB：彼らの最初の実験はChroma DBでした。しかし、Chromaはラピッドプロトタイピングや実験用に最適化された軽量のベクターデータベースです。本番ワークロードには全く適していなかった。
2.MongoDB**：彼らのデータはすでにMongoDBにあったので、MongoDBのベクトル検索エクステンションも彼らのワークロードに使ってみた。残念ながら、MongoDBのインデックス作成アルゴリズムは、彼らが期待するような質の高い結果を出すことはできなかった。
3.Pinecone**：Beatoven.aiは、当時優れた選択肢と考えられていたPineconeを試した。そこで、彼らはデータをPineconeに移した。Pineconeは当初、テストでは非常に良いパフォーマンスを示したが、本番ではいくつかの課題を提示した：
HTTPからgRPCへの切り替えを必要とするネットワークエラー
運用の拡大に伴う大幅なコスト増
「Beatovenの規模を拡大し、編集機能やよりきめ細かな機能を追加していくうちに、Pineconeへのクエリの頻度が高まるにつれ、コストが異常に膨れ上がっていくことに気づきました。「サンガルシャナン氏は言う。
Zilliz Cloudへの旅
こうした課題に直面したBeatoven.aiチームは、pgvectorやZilliz Cloudなど、他のベクターデータベースの選択肢を評価し始めた。pgvectorは低コストでしたが、そのパフォーマンスはPineconeと比較して、特に音声の類似性検索で正確な結果を返すことができませんでした。
彼らはZilliz Cloudを発見すると、ある特定のワークロードをこのプラットフォームに移行してA/Bテストを実施した。その結果は印象的でした。「Zilliz Cloudで非常に似たパフォーマンスが得られることがわかりました。Zilliz Cloudでは、非常によく似たパフォーマンスが得られることがわかりました。
この評価の成功後、Beatoven.aiはワークロード全体をZilliz Cloudに移行することを決定した。移行中にいくつかの初期課題はあったものの、チームは最小限のダウンタイムで迅速にエンベッディングをZilliz Cloudに移行することができました。
「移行は非常に簡単でした。「Zilliz Cloudの一部であるPythonクライアントを使い、エンベッディングを一度に5,000エンベッディングに分割し、Zilliz Cloudに一括挿入するだけでした。スクリプトを用意すれば、おそらく2、3時間ですべてのエンベッディングを挿入できました」。
なぜBeatoven.aiはZilliz Cloudを選んだのか？
BeatovenがZilliz Cloudを選択したのは、いくつかの重要な要素に基づいています：
1.パフォーマンスと精度：Beatoven.aiにとって「パフォーマンス」とは、主に検索結果の精度を意味します。ユーザーが "ambient soft piano "や "hard jazzy piano "のようなプロンプトを入力すると、システムはそれらの説明に正確に一致するループを返す必要があります。Zilliz Cloudは、Pineconeで経験した品質と同等かそれ以上の、「我々が望んでいたものにかなり近い」結果を提供した。各楽曲の世代ごとにクエリの数が非常に多かったため、Zilliz Cloudに切り替えた後、全体的に2～3秒の世代時間の改善が見られました。
2.妥協のない費用対効果の高いスケーリング：クエリ量が増えるにつれてコストが劇的に増加するPineconeとは異なり、Zilliz Cloudは高いパフォーマンスを維持しながら、わずか7分の1のコストでシームレスなスケーラビリティを提供しました。この効率性により、Beatoven.aiは作業量を大幅に増やすことができました：「今では、Pineconeを使ったときよりも多くのクエリをZilliz Cloudに送信しています。コンポジションをより多様にするために、より多くのループをフェッチしていますが、パフォーマンスが低下したり、コストが制御不能に陥ったりすることはありません。"Zilliz Cloudを利用することで、様々な負荷に対してより予測しやすい（柔軟な）価格設定が可能になりました。
3.直感的なAPI設計：Sangarshanan氏は、Zilliz CloudのAPIの直感的な設計を特に高く評価している：「PineconeのAPIは、一般的なデータベースのAPIの仕組みとは少し異なっていると感じました。Zilliz Cloudでは、非常にスムーズでした。ドキュメントを通して、どのようにロードされ、どのように動作するのかを完全に理解することができました。"
4.柔軟なデータ管理：データセットのアンロード、メンテナンス、エンベッディングの移行を最小限のダウンタイムで簡単に行うことができるプラットフォームの能力は、Beatovenのオペレーションにとって貴重なものでした。
Beatoven.aiのZillizクラウド利用方法
Zilliz Cloudは今やBeatovenのワークフローに不可欠な要素であり、音声生成プロセスにおいて重要な役割を果たしています：
1.ユーザーが音楽生成のためのテキストプロンプトを提供すると、それはまず、コード、メロディ、ベース、パーカッションなどの音楽要素を定義する構造化クエリに変換されます。これらのクエリは、Contrastive Language-Audio Pretraining (CLAP)モデルと、音声の汎用表現を学習するための自己教師付き事前学習アプローチであるCOLAの微調整版を用いて、高次元ベクトル埋め込みに変換される。
2.変換後、これらの埋め込みは類似検索のためにZilliz Cloudに送られる。Zilliz Cloudは、クエリの埋め込みとデータベースに保存されている埋め込みを比較することで、目的の楽器の役割に最もマッチするループを効率的に検索します。
3.コンポジションが進化するにつれ（特に長いトラックの場合）、Zilliz Cloudは、既存の構造に沿った、まとまりのある、文脈的に類似したループをフェッチし続け、ヴァース、コーラス、ブリッジのようなセクション間のスムーズな移行を保証します。これにより、Beatoven.aiは多様でありながら調和したコンポジションをスケールに応じて生成することができます。
「Zillizは私たちのワークフローに欠かせないものです」とSangarshanan氏は強調する。"もしZilliz Cloudを他の何かと入れ替えただけなら、得られるループの種類は意味をなさないかもしれない。つまり、最終的なコンポジションはあまりいい音ではないかもしれないし、与えられたテキスト・プロンプトにあまり正確ではないかもしれない。"
今後の予定
Beatoven.aiは、音楽生成のための基礎モデルを開発するという野心的な計画を持っている。
「私たちはMusical AIを使って基礎モデルを構築しているところです。"私たちがしたいことは、適切にライセンスされた曲、ループ、サンプル、サウンドの大規模なデータセットを作成し、私たちが所有し、モデルが作曲に使用され、商業的に使用できるように訓練することです。"
この新しい試みにおいてZilliz Cloudが果たす正確な役割はまだわからないが、Sangarshanan氏は、彼らが基礎モデルを構築する際に、Zilliz Cloudがトレーニングと推論の両方のプロセスに貢献する可能性を想定している。
結論
Beatoven.aiのZilliz Cloudへの旅は、AI駆動型アプリケーションに適したベクトルデータベースソリューションを見つけることの重要性を示している。PineconeからZilliz Cloudに切り替えたことで、Beatoven.aiは音楽生成システムの精度を向上させ、コスト効率よく運用を拡大し、AIが生成する音楽における将来のイノベーションの基礎を築くことができた。
ベクトル類似性検索を大規模に活用しようとしているAI企業にとって、Beatovenの経験は、パフォーマンス、信頼性、費用対効果を兼ね備えたZilliz Cloudのような専用に構築されたベクトルデータベースの利点に関する貴重な洞察を与えてくれる。