Ivy.ai、ZillizクラウドでGenAIを活用したコミュニケーションをスケールアップ

#Ivy.aiについて

Ivy.aiは、高等教育、医療、その他の公共分野におけるコミュニケーション強化に専心するチームの発案です。2023年にリリースされた同社の主力製品IvyQuantum™は、単純なQ&Aを超えた高度なAIチャットボットです。その機能は以下の通り：

• オムニチャネル機能（ウェブ、SMS、音声、WhatsApp、ソーシャルメディア）

• ライブエージェントサポート

• AIが生成するEメール回答

• アカウント固有の情報へのアクセスとリード収集のためのシームレスな統合

豊富な機能だけでなく，Ivy.ai を際立たせているのは，データのセキュリティとプライバシーへの取り組みです。金融機関固有のデータソースを活用することで，Ivy.ai はそれぞれの実装を顧客固有のニーズに合わせて行うことができます。

課題：教育向けGenAIのスケーリング

Ivy.ai のチームは，検索ベースの Ivy 1.0 からより高度なジェネレーティブ AI を搭載した IvyQuantum™ へと移行する際に，いくつかのハードルに直面しました。チームは次のようなソリューションを必要としていました：

• 新製品のために数十億のベクトルを処理すること

• リアルタイムの AI 生成応答に対する高速クエリの提供

• データ量と要件が増大する中、信頼性の高いパフォーマンスを提供

• チームがインフラ管理よりもイノベーションに集中できるようにする

適切なテクノロジーを探し求める中で、Ivy.aiのこだわりは揺るぎなかった。彼らは当初、ベクトル・データベースとして Milvus を選んだ。Ivy.aiのシニア・データ・サイエンティストであるサウミル・パテルは、「さまざまなベクターデータベースをベンチマークしていたのですが、Milvusは市場に出回っている一般的な選択肢の中でトップにありました」と説明する。チームはMilvusの1秒あたりのクエリー、インサート、リコールのパフォーマンスに感銘を受けた。彼らは、ユーザーが質問したときに、ベクターデータベースからトップヒットを数秒以内に見つけるソリューションを必要としていた。

Milvusを選択したIvy.aiは、Google Cloud Platform上のKubernetesを使用してセルフホストを試みた。しかし、このアプローチは困難であることが判明した。Ivy.aiのCTOであるMichal Oglodek氏は、次のように語る。「データ負荷の増大と要件の増加により、本番環境でシステムが故障するという重大な問題が発生しました。より持続可能なソリューションの必要性を認識した私たちは、自社でのシステム管理に膨大な時間とリソースを割くことを避けるという戦略的な経営判断を下しました。その代わりに、より信頼性が高く、スケーラブルなアプローチを選択しました。」このような安定性の問題と、成長するビジネスにおける要求の増大が相まって、Ivy.aiは、運用に頭を悩ませることなくMilvusのパフォーマンスを提供できる、よりスケーラブルでマネージドなソリューションを求めるようになりました。

Zilliz Cloudの登場： スケーラブルなフルマネージドベクターデータベースソリューション

徹底的な評価の結果、Ivy.aiは当初選択したMilvusベクターデータベースのフルマネージド版であるZilliz Cloudを選択しました。この決定は、Ivy.aiのニーズと完全に一致するいくつかの重要な要素に基づいていました。Zilliz Cloudは、IvyQuantum™のRetrieval Augmented Generation (RAG)アプリケーションに不可欠な、数十億のベクトルを処理できる高性能でスケーラブルなソリューションを提供しました。Zilliz Cloudのフルマネージドサービスを選択することで、Ivy.aiは複雑なデータベース管理を行う必要がなくなり、コアビジネスに集中できるようになりました。

蔦.aiがZilliz Cloudを使ってチャットボットを動かす方法

Zilliz Cloudのソリューションのスケーラビリティは特に魅力的だった。オグロデック氏は、「私たちがやりたかったのは、簡単に拡張することでした。御社のソフトウェアとサービスなら、私たちのニーズに合わせて機能を拡張し続けることができます」と説明する。この柔軟性は、Ivy.aiのビジネス需要の拡大にとって極めて重要でした。さらに、Zilliz Cloudが提供するマネージド・サービスは、Ivy.aiがセルフホスト・ソリューションで経験していた安定性の問題を解決し、信頼性の高いパフォーマンスを保証します。

Patel氏は、モニタリングと分析機能を特に高く評価しており、「1秒あたりのクエリと、データベースの総容量が正確にわかります」と述べています。データベースのパフォーマンスに関するこのレベルの洞察は、運用の最適化と将来の成長計画にとって非常に貴重であることが証明されました。

その結果イノベーションの基盤

ベクトルデータベースソリューションとして Zilliz Cloud を導入したことで、Ivy.ai は大きなメリットを得ました：

• 信頼性の向上： ** Zilliz Cloud を採用して以来、Ivy.ai は障害や重大な問題を経験することなく、顧客に一貫したサービスを提供しています。

• 拡張性の向上: リソースを容易に拡張できるようになったことで、Ivy.ai の成長と、顧客獲得のための無料トライアルのアプローチがサポートされました。

• パフォーマンスの最適化：** Zilliz Cloud の高性能ベクトルデータベースにより、Ivy.ai は、Zilliz Cloud の利用開始以来、データが 200% 以上増加しても、迅速なレスポンスタイムを維持する心配から解放されました。

Oglodek氏は、彼らの経験を簡潔に要約した：「信頼性、スケーラビリティ、パフォーマンスは最高です。信頼性、拡張性、パフォーマンスも素晴らしいです。また、このような管理管理をすべてアウトソーシングでき、サーバーの故障を心配する必要がないため、製品開発やイノベーションにリソースを割くことができます。

将来を見据えて

Zillizクラウドが提供する安定したスケーラブルで高性能な基盤により、Ivy.aiはGenAIによって実現される将来の成長に向けて十分な態勢を整えている。Ivy.aiのマーケティング担当SVPであるSharon Harrison氏は、「イノベーションは当社の中核です」と強調し、Zilliz Cloudの継続的なサポートを必要とするいくつかのプロジェクトが控えていることを示唆している。

Zillizクラウドのベクトル・データベース・ソリューションが提供するIvy.aiは、GenAIが教育現場を変革し続ける中、最前線に位置し、教育機関や学生の進化するニーズに応える準備が整っている。