Letta (Previously MemGPT)

Letta（旧MemGPT）は、ステートフルな大規模言語モデル（LLMエージェントの開発とデプロイを簡素化するために設計されたオープンソースプロジェクトです。従来のオペレーティングシステムと同様のメモリ階層と制御フローを利用することで、MemGPTは異なるストレージ階層を自動的かつインテリジェントに管理し、LLMの限られたコンテキストウィンドウ内で拡張コンテキストを提供します。

MemGPTを使えば、以下のようなエージェントを構築できます：

• 長期メモリ/状態管理

• 外部データソース（RAG）への接続

• カスタムツール（関数）の定義と呼び出し

LLMは人工知能を著しく進化させたが、コンテキストウィンドウによって制限を受け、長時間の会話や文書分析などのタスクにおけるパフォーマンスに影響を及ぼしている。これらの制限に対処するため、Lettaはコンテキスト・ウィンドウを拡張する仮想コンテキスト管理技術を導入している。

MilvusとZilliz Cloud(管理型Milvus) は、億単位のベクトル保存と類似検索のために設計された高性能ベクトルデータベースシステムです。LettaとMilvus/Zillizを統合することで、外部データソースに接続する、より有能で効率的なAIエージェントを作成することが可能になり、本質的には、拡張されたコンテキストウィンドウを持つRetrieval Augmented Generation (RAG)エージェントを構築することができます。

RAGエージェントを構築するためのこの統合の主な利点は以下の通りです：

• 拡張コンテキスト・ウィンドウ：** LLMのコンテキスト・ウィンドウの限界を超え、より首尾一貫した、コンテキストを意識したインタラクションを可能にする。

• トークン消費量の削減**：エージェントのメモリを管理するためにMilvusまたはZillizクラウドベクタデータベースを使用することで、会話履歴やナレッジベース全体をプロンプトにダンプするのに比べ、トークンの消費を大幅に削減します。たとえLLMのコンテキストウィンドウが拡張された会話履歴を扱うことができたとしても、このアプローチはより効率的で、桁違いのリソースを節約します。

• データ検索の強化：*** 広範囲の外部データ・ソースに効率的に接続し、そこから情報を取得します。

• スケーラビリティ：**億単位のデータセットに対応するベクトル・ストレージと類似検索操作の管理と拡張。

• パフォーマンスの向上：** MilvusとZilliz Cloudの高いパフォーマンスを活用し、リアルタイムのデータ検索と処理を実現します。

全体として、LettaとMilvus/Zillizを統合することで、開発者は広範な情報を活用し、複雑なタスクを効率的に処理できるAIエージェントを作成することができます。

レッタ（旧）MemGPTとジリズクラウドの連携.png

• Milvusドキュメント**｜LettaとMilvusの統合

• GitHub｜Milvus; Letta

Discord｜AI開発者とMilvus Discordコミュニティに参加する

• Blog | Lettaの紹介とMilvusとの統合

• 論文**｜[2310.08560] MemGPT：オペレーティングシステムとしてのLLMに向けて