AIがMilvusと会話型インテリジェンスを拡張し、数百万人のアクティブユーザーを獲得。
20-50ミリ秒以下
月間数百万ユーザーの検索待ち時間
5倍スピードアップ
エージェント検索
ミリオン・スケール
アクティブ・テナント・サポート
ユーザー・エクスペリエンスの向上
リアクティブな検索からプロアクティブな検索へのシフトによって
We've got millions of monthly active users and all of the underlying data when we're trying to go find related conversations, find updates to an action item, find referenced documents...Milvus serves as the central repository and powers our information retrieval among billions of records.
Rob Williams
エグゼクティブ・サマリー
Read AIは、会議、チャット、電子メール、社内ナレッジベースなどの非構造化コミュニケーションソースからの企業規模の検索をサポートする高性能ベクトルデータベースを必要としていた。セマンティック検索インフラのバックボーンとしてMilvusを採用することで、Read AIはナラティブリッチなエンベッディングのインデックス化とクエリを大規模に行うことができ、何十億ものレコードを高速かつ正確に検索できるようになった。
数百万人の月間ユーザーに対して20-50ms以下の検索レイテンシを実現
数百万のアクティブテナントを処理する高いスケーラビリティ
開発者の生産性を大幅に向上
Milvusは中央リポジトリとして機能し、何十億ものレコードの中から情報を検索するのに役立っています。
リードAIについて
Read AIは、何百万人もの人々が最も重要な仕事にもっと時間を使えるように支援する生産性AIのリーディングカンパニーである。当初は会議疲れを軽減することに重点を置いていたが、現在では、カレンダー（Googleカレンダー、Outlook 365、Zoomカレンダー）、CRM（Salesforce、HubCalendar）等のツールとシームレスに統合し、次のステップの予測、エンタープライズサーチ、リアルタイムコーチングも提供するフルスタックインテリジェンスプラットフォームへと進化している、Outlook 365、Zoom Calendar）、CRM（Salesforce、HubSpot）、コラボレーション・プラットフォーム（Jira、Confluence、Notion）、メッセージング・アプリ（Slack、Microsoft Teams）、ノート作成ツール（Google Docs、OneNote）、電子メール（Gmail、Outlook）、ビデオ会議（Zoom、Google Meet、Microsoft Teams）などのツールとシームレスに統合される。これらのソースからデータを取り込み、文脈化することで、受動的なやり取りを構造化し、照会可能で、実行可能なナラティブに変換します。
コンシューマーファーストの考え方で構築されたRead AIは、セルフサービスモデルを介して数百万人のユーザーをサポートし、無数の企業で処理された数十億の会話イベントにより、真のインターネット規模で運用されている。
技術的課題
急速な成長のため、Read AIは、会議やチャットからCRMの更新、カレンダー、電子メールのスレッド、サポートチケットまで、幅広いソースにわたる非構造化コミュニケーションデータの整理と検索という根本的な課題に直面していました。各ソースは貴重なシグナルを持ちながら、サイロ化され、一貫した構造を持たず、効果的な検索が困難である。期待されているのは、あらゆるインタラクションから20分以内に、インテリジェントで文脈に沿ったアウトプットを提供することです。
そのためには、多様な形式のデータをほぼリアルタイムで取り込み、変換し、インデックス化する必要がありました。構造化された社内ミーティングから、Slack、Gmail、HubSpotのようなサードパーティの疎なプラットフォームまで。 利用が拡大するにつれ、Read AIは、数百万のテナントにわたる数十億のレコード、毎秒数千のクエリ、20～50ミリ秒以下のレイテンシーをサポートする必要がありました。社内で構築されたストアや、PineconeやFaissなどのベクターデータベースを含む初期のソリューションは、マルチテナントのサポートが不十分であったり、フィルタリング機能が限られていたり、コミュニティの対応が不十分であったりしたため、これらの要求を満たすことができませんでした。
Milvusによるソリューションアーキテクチャ
Read AIの新しいアーキテクチャは、Slack、Zoom、電子メール、Salesforceなどの多様なコミュニケーション・ソースを高スループット、低レイテンシーで検索できるように設計されている。これらの入力は、生データを構造化されたナラティブと感情を考慮した表現に変換するエンベッディングとナレーションのレイヤーを通過します。すべてがMilvusベクトルデータベースに保存され、事実上、情報の中央リポジトリとして機能する。
Milvusによるソリューション・アーキテクチャ](https://assets.zilliz.com/The_Solution_Architecture_with_Milvus_c14faa953c.png)
図：MivusがRead AIシステムをサポートする仕組み
Read AIは、ベクトルの類似性と構造化されたメタデータに基づくフィルタリングを組み合わせたフィルタリングされたベクトル検索を使用している。例えば、クエリを1対1のミーティング、特定の従業員、または時間ウィンドウにスコープすることで、"最もやる気のない営業電話 "や "1対1の肯定的なフィードバック "のようなニュアンスの検索が可能になる。Milvusの最適化されたメタデータフィルタリングは、このスケールで20-50ms以下のレイテンシを達成するために極めて重要である。
「Milvusは、単なるテキスト埋め込みではなく、文脈を考慮した検索を可能にする、物語を意識したストレージレイヤーを提供してくれます。- リードAIの共同設立者兼CTO、ロブ・ウィリアムズ氏
Milvusのネイティブなマルチテナント対応のおかげで、Read AIは単一のMilvusクラスタを展開し、数百万のテナントに効率的にサービスを提供している。クエリは、検索意図を分析し、リクエストをMilvusにルーティングする内部エージェントフレームワークを通じてオーケストレーションされ、チャットインターフェース、サマリー、アラートを通じて配信するために結果を後処理する。このアーキテクチャにより、Read AIは、リアルタイムの検索やレトロスペクティブな分析に不可欠なスピードと精度を維持しながら、異種のコンテンツを統合するスケーラビリティと柔軟性を実現している。
技術評価と決定プロセス
Milvusを採用する前に、Read AIチームはいくつかの選択肢を評価した。FAISSは、ビルトインのマルチテナンシーがなく、フィルタリング機能が限られていたため、除外された。Pineconeは、Read AIの検索パターンとスケールをサポートするために必要な柔軟性を提供しませんでした。完全にセルフホストされた社内ソリューションも検討されたが、彼らのユースケースのスケーラビリティと成熟度の要件を満たすことができなかった。Milvusは、いくつかの重要な要素に基づいて際立っていました：
数百万人のユーザーと数十億件のレコードに対応する拡張性
大規模なベクターコレクションで20-50ms以下の一貫したレイテンシ
ハイブリッド検索ワークフローのサポート
テナントレベルの分離
開発者の経験**も決め手となった。明確なドキュメント、迅速な対応をしてくれるメンテナ、そして特に概念実証の間の実践的なエンジニアリング・サポート。PoCフェーズでは、テストワークロードの迅速なターンアラウンドが実証され、Milvusチームによるリアルタイムのデバッグ支援が提供されました。
ミルバスを選択した結果と利点
Milvusを導入し、エンタープライズ検索ツールであるSearch Copilotを立ち上げて以来、Read AIは多様なデータソースにおけるエージェント検索において5倍のスピードアップを達成し、複雑なフィルタを含むクエリを処理する場合でも20-50ms程度の一貫した検索レイテンシ**を維持している。このプラットフォームは、何百万もの個々のユーザーアカウントを巨大なクラスタに混乱なくスムーズに組み込み、Milvusの分散アーキテクチャとマルチテナント機能の堅牢性を実証した。
Milvusは、会議、チャット、電子メール、CRMなど、すべてのコミュニケーションチャネルで統一された検索レイヤーを提供します。柔軟なスケーリングにより、企業のコホートやトラフィックの急増に対応するための運用が簡素化されます。一括インポートのような機能は、新しい企業がサービスにサインアップする際に大量の履歴データをオンボードする際のスムーズなエクスペリエンスにつながる。
さらに重要なことは、Milvusがリアクティブな検索からプロアクティブな検索へのシフトを促進することである。ダイナミックでマルチモーダルなコンテキストを低レイテンシーでベクトル検索することで、ユーザーが質問する前に、関連する洞察、アクションアイテム、リスクを提示する。この機能はユーザーエクスペリエンスを向上させるだけでなく、リードAIが予測レコメンデーションと次のステップにおける継続的な進歩でプラットフォームの拡大に注力し続けることで、新たなビジネスチャンスを引き出す。
私たちが望んでいたのは、ユーザーが尋ねる前にインテリジェンスをプッシュすることでした。それを可能にしたのがMilvusです。"-リードAIの共同設立者兼CTO、ロブ・ウィリアムズ氏。
このような技術的な勝利は、ビジネス価値に直結する。無料層のユーザーは、数分以内に有意義な洞察を得ることができ、リテンションを促進する。一方、企業顧客は、より深い知識検索と長期的なコンテキストの恩恵を受け、ユーザーの信頼を高め、プレミアムアップセルの機会をサポートする。
開発者とエンジニアリングの洞察
**実装からの教訓
構造化されたアノテーションにより、下流のLLM出力がよりリッチになる
ベクトル検索は、構造化されたメタデータのフィルタリングを使用しても、その速度を維持する必要がある。
コンシューマ・スケールでは、マルチテナントの分離とダイナミック・スケーリングは譲れない。
チームは継続的な実験を行い、クエリのパフォーマンス、ユーザーの満足度、行動メトリクスを追跡し、エージェントの検索、フィルタリング、結果のランク付けの方法を継続的に改良しています。
Read AIは、埋め込みモデルだけでなく、独自のナレーションレイヤーも使って会話データを処理する。このセマンティックな抽象化は、トランスクリプトを超えて、トーン、意図、取引の進行やエンゲージメントの低下などの重要なイベントを捉えます。その結果、ユーザーは、単にキーワードをマッチさせるのではなく、「デモの間、誰がやる気をなくしていたのか」といった自然言語のナレーションを検索することができる。
ロードマップ
今後、Read AIは、リアルタイムとオフラインのワークロードのバランスを改善することに注力しており、ライブストリーミングデータと長期ストレージの間でよりダイナミックなオーケストレーションを構築する計画だ。彼らは、Milvusの今後のVector Lakeの利用を模索しており、レイテンシーが緩やかなオフラインのクエリをオブジェクトストレージに支えられたウェアハウススタイルのレイヤーに移行することで、検索コストを削減する。
もうひとつの重要な開発分野は、ナレッジギャップの自動検出（重要な情報が欠けていたり、断絶している場合の特定）であり、ユーザーからの問い合わせがある前に、積極的にその洞察をユーザーに提示することだ。これらの機能強化はすべて、Read AIの長期的なビジョンである、企業向けの「アクションエンジン」の構築をサポートするものである。つまり、あらゆるコミュニケーションチャネルにおいて、ナレッジワーカーにインテリジェントに力を与える、コンテキストを意識した常時稼働のAI搭載プラットフォームである。
会話のコンテキストと過去の洞察をMilvusに保存することで、Read AIは組織的な知識の利用可能性を拡大し、元の参加者がオフラインであっても、会社にいなくても、重要な情報を表示します。
結論
Read AIが会議分析ツールから大衆向けの本格的なインテリジェンス・プラットフォームへと発展するには、大規模で異種混合のデータ、複雑なリアルタイムのクエリ要求に対応できるインフラが必要だった。Milvusは、その生のパフォーマンスとスケーラビリティだけでなく、注釈付き埋め込み、メタデータフィルタリング、マルチテナント分離をサポートする柔軟性からも、正しい選択であることが証明された。
Milvusをベクトル検索インフラの基盤として、Read AIは数百万人のユーザーに、高速で信頼性が高く、深い文脈に基づいた検索結果と推奨を提供している。企業向けの常時稼働のインテリジェントなアクションエンジンの構築に向けて拡大する中、Milvusはコスト効率、アーキテクチャの柔軟性、将来を見据えたスケールのニーズをサポートし続け、適切に設計されたベクトルデータベースが単なるストレージではなく、現代の情報理解のバックボーンであることを証明しています。
What we wanted was to push intelligence to the user before they even asked. Milvus is what made that viable.
Rob Williams