Dopple Labsが安全で高性能なベクトル検索にPineconeではなくZilliz Cloudを選んだ理由
松ぼっくりの代わり
きめ細かな制御、効果的なスケーリング、高いパフォーマンス
10億のスケール
ベクトルデータの保存と検索
オープンソース
MLとVectorDBのパフォーマンスを強化
I appreciated using the open standard evaluation benchmarks for machine learning in general; this is also true for vector databases. The ones that Zilliz often publicizes have been beneficial, and the fact that they are open is significant.
Sam Butler
ドップルAIについて
Dopple Labs Inc.は、人間とAIのインタラクションに革命をもたらす革新的なプラットフォーム、Dopple.AIを開発した先見的な企業です。iOSとAndroidで利用可能なDopple.AIは、ユーザーが本物そっくりのAIクローン、すなわち「ドップル」を作成することを可能にし、ビデオ、オーディオ、メッセージをシームレスに統合して没入感のある体験を提供します。
Dopple.AIの中核は、先進的なLlama2ベースのLLMテクノロジーを活用し、ユーザーは様々なデバイスでチャットスレッドを通じてDopplesと対話することができます。Dopple Labsが作成したものであれ、ユーザー自身が作成したものであれ、Dopplesはユーザーの入力やプロンプトに基づいて、本物そっくりの会話を行います。
最近、Dopple Labsは画像リアクションのような画期的な機能を導入し、感情豊かな画像がドップルとのユーザー・インタラクションを強化しました。さらに、音声キャプションとリアルタイム音声ストリーミングは、オーディオビジュアル体験をさらに高め、より深いエンゲージメントとつながりを育みます。
Dopple.AIは、AI主導のコンパニオンシップの限界を押し広げ続けており、パーソナライズされたAIクローンと個人が交流する方法を再定義する最前線にいる。
課題チャットボットとの会話に記憶をもたらす
ドップルAIのユーザーは、このプラットフォームのAIキャラクターを深く理解し、高度なテクニックを駆使して対話を形成している。メッセージの編集やリロールなどの機能を活用して会話を誘導し、対話のコントロールやパーソナライズされたやり取りの作成を披露している。基本的に、ユーザーは「プロンプトエンジニア,」としてAIキャラクターとの会話を巧みに構築する。戦略的なプロンプトと編集によって、自分の好みや目的に沿った対話に誘導し、ダイナミックなやりとりを実現する。
機械学習ディレクターのサム・バトラー率いるドップルAIのチームは、RAG（Retrieval Augmented Generation）テクニックを使用して、会話の要約を保存することで記憶保存システムを実装することで、この種の機能を構築することができる。これには、コンテキストのためにいくつかのメッセージを取り、記憶を保存したいメッセージはメインメッセージとする。そして、別のLLMを使って、それらのメッセージの要約を作成する。 出来上がった要約はベクトルデータベースに埋め込まれ、保存される。
ユーザがクエリを送信すると、そのクエリは埋め込みに変換され、ベクトルデータベースから類似の埋め込みを検索するのに使われる。これにより、LLMに与えられたプロンプトのコンテキストウィンドウを越えて、過去の会話にアクセスすることができる。LLMは、過去の会話から得られた埋め込みを活用することで、長期記憶能力を獲得する。例えば、ユーザが「私のペットの魚の名前は何ですか」と質問し、そのペットの魚についての会話が過去にあり、コンテキストウィンドウの外にあった場合、そのクエリをエンベッディングに変換し、ベクトルデータベースからその情報を取り出すことができる。
ロールプレイのストーリーラインを制御するための再ロール
ユーザーには直近のメッセージを編集する柔軟性があり、LLMとの会話を洗練させることができる。もし満足のいかない返答が返ってきた場合、前回のメッセージを変更することなく「リロール」を選択し、LLMに新しい返答を促し、別の選択肢を探ることができます。さらに、ユーザーは、LLMの返答に影響を与えるために、前回のメッセージを再検討し、修正することができる。このようなコントロールのレベルは、会話に明確な目的を持つ上級ユーザーに特に評価される。逆に、初心者や利用頻度の低いユーザーは、より受動的な役割を担い、会話が自然に展開するのを待つかもしれない。しかし、Dopple AIのコアユーザー層は通常、クエストに乗り出したり、ロールプレイング・シナリオに参加したりするような積極的な参加をしており、特定の結果に向けて会話を誘導する意図を反映している。
各会話要約はデータベースにユニークなアイテムとして保存され、ユーザー名に基づく効率的なフィルタリングを可能にする。要約は3～4通のメッセージを1つのまとまった要約に統合することで生成され、ベクターデータベースにシームレスに統合されます。このプロセスは無期限に続けられ、会話の記憶が継続的に蓄積される。ユーザーが明示的に会話のスレッドを削除しない限り、記憶は保持され、その場合、関連する記憶も削除される。しかし、会話が将来的に再訪問されたり、継続されることを意図している場合、記憶はベクトルデータベース内でアクセス可能なままである。
このRAGの実装の興味深い点は、これらのキャラクターやメディアリファレンスの多くは時代を超越しており、トレーニングデータに頻繁に登場するため、自動ファクトチェックの重要性が低くなることである。これは、ユーザーが事実の正確さよりも娯楽性を優先するためである。
ソリューション セキュアで高性能なベクトル検索のためのZillizクラウド
サム・バトラーはまた、MLチームと、アプリやウェブ・プラットフォームにデザインを実装するフロントエンド・チームとの間の調整も監督している。業界の多くと同様、彼らの最大の課題の1つは、モデルの最新の進歩に後れを取らないことだ。常に新しいモデルが登場し、最先端の技術も進化しているため、遅れを取らないためには多大な努力が必要だ。そこで、Zillizのようなマネージド・サービス・プロバイダーと提携することで、データベースの最適化に関するZillizの専門知識を活用しながら、コア製品に集中することができる。
同社は、大規模検索のニーズと、インデックス・サイズに対するツールのスケーラビリティを考慮し、PineconeからZilliz Cloud on GCPに移行した。Pineconeはマネージドサービスを提供していましたが、彼らが必要とするきめ細かなコントロールと真の効果的なスケーリングには欠けていました。インデックスの拡張に伴うコンピュート割り当てや一貫したリアルタイムのパフォーマンスなど、パフォーマンス指標に関する洞察やデータへのアクセスは非常に重要でした。ベクターインデックスに数億から数十億のデータポイントが含まれることが予想されるため、このようなスケーリング要件を効果的に処理できるソリューションを求めていた同社は、このユースケースに対応するためにZilliz Cloudを選択しました。
Pinecone](https://zilliz.com/comparison/pinecone-vs-zilliz-vs-milvus)で課題に遭遇した後、サムはさまざまなベクトルデータベースのベンチマークやleaderboardsを調査し、最終的にZilliz Cloudを発見した。ベンチマーク結果に特に関心のあるDopple AIのチームは、この発見に興奮し、その潜在的な利点をさらに探求することを熱望した。
ドップル・ラボの次なる目標は？
サムと彼のチームは最近、ビジュアル・オーディオ体験を導入することでサービスを強化した。彼らはまず画像反応を統合することから始め、各キャラクターに30の感情を描いた約800から900の多様な画像セットを提供し、それぞれいくつかの異なるバージョンを用意した。推論中、別のLMが反応のムードを決定し、対応する感情カテゴリーからランダムに画像を選択し、多様性を確保する。さらに、音声キャプションとストリーミングキャラクターをLM推論プロバイダーからElevenLabsに導入し、リアルタイムの音声ストリーミングを実現した。この同期されたオーディオビジュアル体験は、アプリに表示されるテキストと一緒に感情的な反応画像を表示する。 そして、これはほんの始まりに過ぎず、グライド音声通話、動画、ビデオを追加する予定だ。最終的には、ドップルズとFaceTime通話をしてリアルタイムで会話をすることができるようになる。