高速で信頼性の高いベクトル検索でCX Genieのグローバルな成長を支えるZilliz Cloudとは？

##CXジーニーについて

[CX Genie**]（https://cxgenie.ai/）は、カスタマーサポートチーム向けにチャットボットソリューションを提供する会話AIスタートアップ企業です。中小企業と大企業の両方向けに設計された同社のプラットフォームは、インテリジェントでパーソナライズされた拡張可能なAIインタラクションにより、顧客サービスの自動化を支援します。

ベトナムに本社を置きながら、主に国際的な顧客基盤にサービスを提供しており、米国やその他のグローバル市場でも強力な存在感を示しています。

技術的課題：パフォーマンスと信頼性を備えたRAGベースのAIチャットボットのスケーリング

CX Genieのオペレーションの中核は、Retrieval-Augmented Generation（RAG）技術に基づいて構築されており、ベクトル検索に依存して知識ベースから関連情報を引き出し、正確でリアルタイムの応答を生成します。しかし、ユーザーベースが拡大するにつれ、QdrantやChromaのようなオープンソースのベクトル検索ソリューションを使用する当初のセットアップでは、追いつくのに苦労しました。

CX GenieのAIエンジニアであるNguyễn Ngọc Hải Đăng氏は、「Zillizを導入する前は、ベクターデータベースのソリューションでほぼ毎日数分のダウンタイムを経験していました。24時間365日利用可能でなければならないカスタマーサポートのやり取りを扱っている場合、これは私たちのビジネスの成長にとって受け入れがたいことでした。"

エンジニアリング・チームは、いくつかの大きな課題に直面しました：

• データ量の増加に伴うクエリ実行時のレイテンシ**の増加

• 拡大する知識ベースに追いつけないインデックス作成時間の遅さ。

• 社内でインフラを管理することによる隠れたコストと複雑さ

• 信頼性と顧客体験に影響する毎日のシステムダウン時間。

*** エンジニアリングリソースが製品革新ではなくデータベース管理**に振り向けられる

これらの問題により、顧客が期待する高速で応答性の高いチャットボット体験を提供することがますます難しくなっていました。シームレスに拡張でき、運用負荷を軽減し、パフォーマンスを損なうことなく信頼性を向上できる、新しいベクターデータベースソリューションが必要でした。

Zilliz Cloudを選ぶ理由：パフォーマンス、シンプルさ、コスト効率

CX Genieが新しいベクターデータベースを探し始めたとき、彼らは単にスピードの向上だけを求めていたわけではありません。運用を複雑にすることなく、技術的な要求の高まりに対応できるプラットフォームを探していたのです。

彼らの評価は、6つの重要な基準を中心に行われた：

• クエリーのパフォーマンスとレイテンシ**、特に100万規模のベクターワークロードにおいて

• エンジニアリングリソースを解放するための低い運用オーバーヘッド**。

• セルフホスト・ソリューションと比較してコスト効率が高い

• ビジネスの成長をサポートする拡張性

• 既存のLangChainベースのアーキテクチャとの容易な統合

• メタデータのフィルタリングや高度なインデックス作成など、豊富な機能**セット

Zilliz Cloudは、すべての面で成果を上げている。ChromaとQdrantを使用したオープンソースのスタック（手作業による管理と頻繁なトラブルシューティングが必要）と比較して、Zilliz Cloudは完全に管理されたプラットフォームを提供し、インフラストラクチャのオーバーヘッドを取り除き、チームはコア製品の構築に集中することができました。

オンボーディングプロセスは驚くほどシンプルでした。詳細なドキュメントとよく設計されたAPIのおかげで、チームは数分以内にクエリを接続してテストすることができ、開発を加速し、移行と統合の両方の段階から摩擦を減らすことができました。

Zilliz CloudがCX GenieのRAGシステムをどのように強化したか

CX Genieの会話型AIプラットフォームの中核は、RAG（Retrieval-Augmented Generation：検索・拡張ジェネレーション）による2段階のパイプラインです。Zilliz Cloudは、両方のパフォーマンスとスケーラビリティを確保するために重要な役割を果たしています。

データ取り込みフェーズ

データ取り込みフェーズでは、HTMLページ、ドキュメント、FAQ、記事などの様々なビジネスナレッジソースが、まず管理可能なチャンクに分割されます。これらのチャンクは、埋め込みモデル（OpenAIのembedderなど）に通され、密なベクトル表現が生成される。こうして生成されたエンベッディングは、Zilliz Cloudに取り込まれ、効率的に保存、インデックス化される。

これにより、CX Genieは、豊富なメタデータサポートと、地域や製品タイプなどのビジネス属性に基づくパーティショニングにより、各顧客の進化するナレッジベースを反映した最新のベクトルデータベースを維持することができます。

検索フェーズ

ユーザが質問を投稿すると、同じエンベッダを使用して埋め込みに変換される。このクエリ埋め込みはZilliz Cloudに送られ、Zilliz Cloudは保存されたベクトル間でトップk類似検索を実行します。Zillizは最も関連性の高いチャンクを返し、それが大規模言語モデル（LLM）に入力され、より適切な応答が生成されます。

Zilliz Cloudの低レイテンシー検索、豊富なフィルタリング機能、スケーラブルなアーキテクチャのおかげで、CX Genieはミリ秒単位で最も関連性の高いコンテキストを取得することができ、チャットボットはトラフィック量が多い場合でも正確かつ迅速に応答することができます。

測定可能な結果：スピード、スケール、コスト削減

Zilliz Cloudに切り替えて以来、CX Genieは技術的にもビジネス的にも大きなメリットを得ています：

• 1M以上のエンベッディングのベクトル類似性検索で5-10msのレイテンシを実現。

• 以前のChroma実装と比較して、2倍速いクエリパフォーマンス

• セルフホストインフラと比較して、70%のコスト削減。

• 移行後のダウンタイムはゼロ（以前のソリューションでは毎日停止していた）。

• メタデータのフィルタリングとパーティショニング機能により、より正確な検索が可能になりました。

• 完全に管理されたインフラにより、エンジニアリングの負担が軽減された。

「Zilliz Cloudに移行することで、ベクターデータベースのインフラコストをセルフホストと比較して約70%削減することができました。これにより、データベース・インフラを管理するよりも、コアとなるAI機能を向上させることに再投資できるようになりました」とNguyễn Ngọc Hải Đăng氏は述べています。

これらの機能強化により、CX Genieはエンジニアリング・チームやクラウド予算を拡大することなく、より迅速で適切なカスタマー・インタラクションを実現し、最終的にエンドユーザーにより良い体験を提供できるようになりました。

開発者エクスペリエンスとシームレスな移行

CX Genieのエンジニアリングチームにとって、Zilliz Cloudへの移行は開発とシステム管理の両方を効率化しました。Python SDKとAPIリファレンスにより、オンボーディングプロセスはスムーズでした。以前は、セルフホスト型のセットアップを維持するために、複数のチームにまたがる継続的な労力が必要でした。Zilliz Cloudのマネージド・インフラストラクチャを利用することで、最小限の監視でコア・オペレーションを処理できるようになりました。マルチ条件フィルタリングやパーティションド・コレクションのような機能により、チームは地域やビジネスコンテキストごとにエンベッディングを整理し、取得することが容易になりました。

移行プロセスを手動で処理したにもかかわらず、チームはそれが非常に効率的であることに気づきました。彼らはREST APIと一括挿入機能を使い、メタデータとエンベッディングの構造を維持しながらPostgreSQLからデータを移行しました。コレクションとパーティションを内部ロジックに合わせることで、移行後もシステムが整理され、パフォーマンスが維持されるようにしました。

次の記事Zilliz Cloudによる機能拡張

CX GenieはAIチャットボットプラットフォームを進化させ続けており、Zilliz Cloudの利用を拡大したいと考えています。特に、OpenAIのようなプロバイダーからの大規模なエンベッディングを扱う際に重要なインターフェイスであるAPIプレイグラウンド周辺です。

より多くのグローバルな顧客にサービスを提供するために規模を拡大する中で、Zilliz Cloudとのパートナーシップは同社のインフラ戦略の要であり続けるだろう。

結論

CX Genieの旅は、戦略的なRAGアーキテクチャとパフォーマンスと信頼性の高いベクターデータベースを組み合わせることの力を強調している。Zilliz Cloudを利用することで、CX Genieはスタートアップの俊敏性を維持しながら、グローバル規模で事業を展開し、より速く、よりスマートで、より費用対効果の高いAI主導の顧客体験を世界中の企業に提供できるようになった。

技術的な課題（ベクトル検索のパフォーマンス、システムの信頼性）とビジネス上の課題（カスタマーサポートの効率化、コスト削減）の両方の解決に注力することで、CX Genieは、適切なインフラの選択がいかに顧客満足度とビジネスの成長に直結するかを例証しています。