AIエージェントを大規模に構築：TankaはどのようにZillizクラウドを活用してインテリジェントなエンタープライズ・コミュニケーションを実現したか？

短歌について

Tankaは、あなたのAI共同創業者として機能するように設計されたエンタープライズエージェントプラットフォームです。現代のワークプレイス向けに開発されたTankaは、散らばったメッセージ、乱雑な成果物、繰り返されるタスクなど、混沌としたスタートアップチームをナビゲートします。独自の長期記憶により、TankaはSlack、Gmail、Notionなどのツールにまたがる会話をキャプチャしてつなげ、断片的なコミュニケーションを共有された組織の知識に変えます。

Tankaは、コンテキストを考慮した応答、会議の要約、タイムリーなタスクリマインダーの送信により、チームの生産性と意思決定を向上させます。2024年にベータ版を発表して以来、Tankaは1,000以上のチームに採用され、35,000以上のAIが生成した回答を提供してきました。

意味理解の課題：キーワード検索では不十分な場合

Tankaの急速な普及は、そのコアとなる価値提案、すなわち、単に応答するだけでなく、記憶し、学習し、長期にわたってビジネスコンテキストを理解するAIアシスタントを実現することを検証した。しかし、そのビジョンの拡大には技術的な課題がつきまとい、特にユーザーがプラットフォームにより多くのことを求めるようになった。

初期の頃、TankaチームはBM25キーワードベースの検索を使用していた。これは、基本的な検索ユースケースを素早く効果的にサポートするための実用的な選択だった。単純なクエリではうまく機能し、チームは機能的なMVPを迅速に出荷することができた。

しかし、Outlook、Gmail、Slack、Telegram、Notion、その他のツールをサポートするためにプラットフォームが拡大するにつれて、データモデルの複雑さとユーザーの期待値が大幅に増加した。チームはもはや孤立したキーワードを検索することはなくなった。メッセージ、会議、ドキュメント、アプリ間の関係性を理解する必要があるような、ニュアンスや文脈のある質問をするようになったのだ。

TankaのAIアーキテクトであるWu Junjie氏は言う。「しかし、ユーザーのニーズが進化するにつれて、文字列の一致だけでなく、意味的な答えを期待していることが明らかになりました」。

これは、ユーザーの意味とキーワードベースのシステムが提供できるものとの間のセマンティックなギャップを埋めるという、より深い課題の始まりだった。例えば、ユーザーは「製品発表後に変わったこと」や「先週の金曜日の営業会議のフォローアップ」の要約を求めるかもしれない。人間にとって、そのつながりは明らかだった。検索エンジンにとっては、それらは目に見えない。

その一方で、競争は激化していた。スピードとインテリジェンスが重要な差別化要因である競争の激しい分野で、Tankaの既存の検索インフラには負担がかかり始めていた。データ量が増えるにつれ、パフォーマンスは低下。検索の待ち時間は、特に明確なフィルタのない幅広いクエリで増加しました。しかし、より深刻な問題はスピードではなく、戦略的なズレでした。

エンジニアリング・チームは、ロードマップにある中核的なAI機能を構築する代わりに、脆弱な検索インフラを維持することに頭を悩ませていた。マルチソースのインサイト、インテリジェントな週次ダイジェスト、予測的なフォローアップのようなビジョナリーな機能は、手の届かないところにとどまっていた。

Tankaのチームは、キーワード検索で遠くまでは行けたが、まだ十分ではないことに気づいた。製品ビジョンの次の段階を切り開くには、時間、ツール、コンテキストを横断してユーザーの意図を真に理解できるシステムが必要だった。

解決策パフォーマンスと信頼性を備えたメモリの拡張

Tankaチームは、技術的および運用上の課題が山積する中、長期記憶機能を備えたAIアシスタントにユーザーが期待する信頼性を提供しながら、同社の野心的な製品ロードマップをサポートできるソリューションを見つけることに着手しました。

ベクトル検索オプションの評価

Tankaは、構造化された詳細な評価プロセスを開始し、潜在的なソリューションを探りました。初期の候補の中にはpgvectorとElasticsearchのプラグインを持つPostgreSQLがありました。しかし、性能テストはすぐに、特にメモリ集約型のワークロードでは限界があることを明らかにしました。

チームは、レスポンスタイム、スループット、CPU使用率、全体的なスケーラビリティといった主要な基準について、真っ向から比較を行った。ベクトル類似性アルゴリズムはほぼ標準化されているため、ほとんどのプラットフォームが同様の精度を提供する中、Milvusはその優れた速度とリソース効率で際立っていた。

TankaのAIアーキテクトであるWu Junjie氏は、「精度はプラットフォーム間で同等でしたが、スピードとリソース効率では明らかにMilvusが勝っていました」と語る。

評価中、チームは優先順位をつけた：

• リアルタイム・インテリジェンスであるかのように見せるためには、クエリー速度が重要でした；

• CPUの効率性：インフラ・コストをスケールアップしても維持できるようにするため；

• メモリ優先のアシスタントを信頼するために不可欠な動作信頼性。

• スケーラビリティ：急速に増加するデータ量とユーザーベースをサポートします。

セルフ・ホスティングからマネージド・サービスへ

Tankaは当初、セルフホスト型のMilvusを開発と初期の本番環境に導入しました。それは正しい選択であり、彼らの製品が必要とする低レイテンシのベクトル検索を提供しました。Milvusは、強力で効率的な類似検索を大規模に提供するという、その中核となる約束を果たしました。

しかし、プラットフォームが成熟し、利用が拡大するにつれて、インフラ管理の負担が気になり始めた。Milvusのクラスタを社内で運用・保守することは、エンジニアリングチームがスケーリングやフェイルオーバーから監視、リカバリまですべてを管理しなければならないことを意味しました。

Milvusエンジン自体の信頼性は維持されていましたが、ノードの故障やネットワークの問題など、インフラ関連のインシデントがリスクとダウンタイムを引き起こし、ユーザーエクスペリエンスに直接影響を与えました。

時間の経過とともに、トレードオフは明確になりました。チームは、データベース・インフラストラクチャのメンテナンスではなく、製品機能の構築に集中する必要があったのです。

Zillizクラウドへの移行

Milvusのフルマネージド・バージョンであるZilliz Cloudに移行するという選択は明確でした。自社でクラスタを管理するオーバーヘッドなしに、エンタープライズグレードの信頼性を備えた同じ高性能コアを提供できるからです。

Tankaのようなスリムで動きの速いチームにとって、運用の複雑さを軽減することは画期的なことでした：

• インフラの問題を解決する必要がなくなった

• メモリが重要なアプリケーションのアップタイムと一貫性の向上

• 技術革新とユーザー・エクスペリエンスに集中するための、より多くのエンジニアリング時間

Zillizのビルトイン移行サービスにより、移行はスムーズかつ低リスクで行われました。迅速な技術サポートとシームレスなS3統合により、Tankaチームは最小限の混乱でクラウドに移行しました。

##実装Zilliz Cloudで高度なAIメモリを強化

信頼性の高いインフラが整ったことで、Tankaはようやく、真に他社との差別化を図れるもの、つまり、単純な検索をはるかに超える、AIネイティブメッセージングプラットフォームのための高度なメモリ機能の構築に焦点を移すことができました。Zilliz Cloudを採用したTankaの実装は、リッチでコンテキストを意識したアプリケーションをサポートするように設計されており、組織のナレッジをスケールの大きな実用的なものにします。

基本的な検索を超える：規模に応じたセマンティックメモリ

Tankaのシステムの中核にあるのは、Slack、Gmail、Notionなどのワークプレイスツールに接続された関連情報へのアクセスを可能にする、検索拡張世代（RAG）パイプラインである。しかし、表面レベルの類似性に基づいて文書を検索する一般的なRAGシステムとは異なり、Tankaはさらに一歩進んでいる。

前処理として、Tankaは未加工のコンテンツからより高いレベルの概念を取得するために、エンティティとリレーションシップの抽出を行う。そして、それらをベクトル埋め込みに変換し、Zilliz Cloudに保存することで、発言内容だけでなく、異なる考えや人、行動がどのように結びついているかに基づいた検索を可能にする。

これにより、ユーザーは複雑で抽象的な質問、例えば「第3四半期の計画策定作業で重要なフォローアップは何か」を尋ねることができ、キーワードのマッチングではなく、構造化された知識に基づいた回答を得ることができる。

このアプローチは、Zilliz Cloudをストレージレイヤーからセマンティックメモリーエンジンに変え、アシスタントが組織全体のコンテキスト、履歴、パターンを理解するのを助ける。

リアルタイム処理と継続的な更新

Tankaのシステムは、接続されたプラットフォームからリアルタイムでデータを取り込み処理することで、AIアシスタントが常に最新の組織状態を反映することを保証します。チームがコミュニケーションやコラボレーションを行うことで、新しいベクトルが生成され、Zilliz Cloudにインデックスが作成されるため、人手を介することなくアシスタントを常に最新の状態に保つことができます。

パイプラインには以下が含まれる：

• メール、チャット、ドキュメントからのマルチソースインジェスト

• エンティティとリレーション抽出のための前処理

• Zilliz Cloudへのベクトル埋め込みとインデックス作成による高速なセマンティック検索

これにより、AIアシスタントはリビングメモリーレイヤーとして機能し、ユーザーの洞察の浮上、意思決定の想起、進化するチームダイナミクスの理解を支援します。

柔軟なマルチモデルAIスタック

このインフラを補完するために、Tankaは柔軟なマルチモデルLLM戦略を採用している。システムは推論と要約のために主にGemini 2 FlashとClaude 3.7 Sonnetに依存し、命令の多いタスクにはOpenAIモデルを選択的に適用します。レート制限を回避し、プロバイダー間で弾力性のあるパフォーマンスを確保するために、TankaはAPIアクセスとルーティングを管理するためにOpenRouterを使用しています。

メリットと結果変革的なビジネスインパクト

Zilliz Cloudとの提携は、Tankaの技術的なペインポイントを解決しただけでなく、会社の軌道を変えた。インフラストラクチャーが安定し、パフォーマンスが最適化されたことで、チームはようやく業務上の消火活動からAIイノベーションへと焦点を移すことができました。その恩恵は組織のあらゆるレイヤーに及び、新たなレベルのスピード、信頼性、スケールを実現した。

即時の運用緩和

最も直接的で劇的なインパクトは、インフラストラクチャの不安定性に関連する運用上の問題が解消されたことです。Zilliz Cloudに移行する以前は、データベース関連のインシデントによってサービスが中断され、ユーザーの信頼が損なわれることがありました。もはやそのようなことはありません。

Zilliz Cloudに移行した後、データベース障害に関連する本番環境での問題は基本的になくなりました」とTankaのAIアーキテクトであるWu Junjie氏は言う。「以前は時々、ユーザーに影響を与えるインシデントがありました。今では、そのような問題はなくなりました」。

この改善は、永続的な組織記憶の約束に基づいて構築されたプラットフォームにとって非常に重要だった。データベースの信頼性はもはや心配の種ではなく、ユーザーは蓄積された知識への高速で中断のないアクセスを、毎日毎日頼りにすることができる。

エンジニアリングをイノベーションに集中させる

インフラの心配がなくなったことで、Tankaのエンジニアリングチームは製品開発とイノベーションに時間を振り向けることができるようになりました。フェイルオーバー、バックアップ、アラートを処理する代わりに、エンジニアはTankaの競争力を定義する機能の構築に集中することができました。

Zillizのパフォーマンスと信頼性は、当社のRAG要件を完全に満たしています。Zillizのパフォーマンスと信頼性は、当社のRAG要件を完全に満たしています」と呉俊傑氏は言う。「そのおかげで、当社の真価が問われる差別化されたAIメモリ機能の構築に技術的な努力を集中することができます」。

このシフトにより、イテレーション・サイクルが短縮され、より野心的な機能の立ち上げが可能になり、エンジニアリングの努力とビジネス戦略との連携が強化されました。

大規模でも安定したパフォーマンス

Tankaのユーザーベースが大きくなるにつれ、バックエンドへの要求も大きくなりました。このシステムは現在、ピーク時には毎秒数千の同時ベクトル検索オペレーションを処理し、数百万のメッセージ、ドキュメント、イベントにわたる3年以上の組織データを利用しています。

このパフォーマンスの一貫性により、製品計画における要因としてのインフラストラクチャの制限がなくなりました。Tankaのチームは、バックエンドが追いついてくれるとわかっているので、躊躇することなく構築と拡張ができるようになりました。

結論

Tankaの旅は、初期のインフラストラクチャーの課題からZilliz Cloudによる本番稼働の成功に至るまで、強力な教訓を浮き彫りにしています：適切なベクターデータベースの基盤はパフォーマンスを向上させるだけでなく、イノベーションを解き放ちます。

Zilliz Cloudと提携することで、Tankaは生産インシデントを排除し、エンジニアリングの生産性を向上させ、スケールで一貫したパフォーマンスを実現しました。さらに重要なことは、このシフトによってTankaは、基本的な検索をはるかに超えるAIアシスタントのための次世代メモリ機能の構築というコアミッションに完全に集中できるようになったことです。

メモリ集約型アプリケーションを開発するAI企業にとって、Tankaの経験は、インフラの決定がいかにイノベーションの速度と製品の成功に直接影響するかを示している。パフォーマンス、信頼性、運用の簡素化は単なる技術的要件ではなく、戦略的イネーブラーなのです。

Tankaは、適切な基盤が整ったことで、その野心的なビジョンを市場をリードする現実に変えました。これは、インフラが制約を与えるのではなく、力を与えることで、画期的なAIが可能になるだけでなく、必然的に実現することを証明しています。