自律型AIに革命を起こす：自動GPTを強化するベクトルデータベースの活用
ChatGPT、すなわちChat Generative Pre-trained Transformerは、画期的な進歩を遂げ、AI技術のゲームチェンジャーとなっている。しかし、GPTのような大規模な言語モデル（LLM）やMidjourneyのような特殊なAIアプリケーションを使用しても、プロンプトには人間の入力が必要です。このような人間への依存は、疑問を投げかける：AIは人間の介入なしに独立して機能し、目標を達成できるのだろうか？Auto-GPTは、このニーズに対する一般的なソリューションとして登場しました。
自動GPTとは？
Auto-GPTは、GitHub上の実験的なオープンソースプロジェクトです。GPT言語モデルを他のツールと組み合わせることで、人間の入力が最小限、あるいはなくても、継続的かつ独立して作業できるAIシステムを構築する。
Auto-GPTには、LLMとコマンドセットという2つの中核部分がある。GPTのようなLLMは、Auto-GPTの「頭脳」として機能し、認知処理を処理します。そのため、Auto-GPTのプロンプトは、従来の人間による入力ではなく、LLMによって開発される。一方、コマンドセットは、ファイルの管理、ウェブ検索、ソーシャルネットワークへのアクセスなど、さまざまなタスクを自律的に実行する。これらの能力は、Auto-GPTの "手 "と "感覚 "に相当する。
さらに詳しく説明すると、Auto-GPTはGPT言語モデルと人間のフィードバックを使って、大きなタスクを分析し、小さなタスクに分解する。そして、これらの小さなタスクに特定のコマンドを割り当て、実行し、次の認知処理のための入力を受け取る。これらの手順は、Auto-GPTがタスクを完了するまで繰り返されます。
オートGPTの制限事項
Auto-GPTを理解したところで、その能力と制限を理解することが重要です。Auto-GPTはタスクを自動的に実行できますが、活用するGPTモデルにはトークン制限があるため、広範なコンテキスト情報を理解し保持するには限界があります。例えば、OpenAIのGPT-3は、コンテキストのために最大4,096トークンしか処理できません。つまり、会話がトークン制限を超えると、GPT-3は以前のディスカッションを忘れてしまう可能性があります。
さらに、複雑なタスクを完了するために、Auto-GPTは複数のステップを踏まなければならない。しかし、コンテキストが失われる可能性があるため、各ステップを別々にGPTモデルに送信することはできません。そのような損失は、アクションが正しいかどうかを判断し、効果的にゴールに近づくことを困難にします。しかし、ステップごとにGPTモデルに過去のメッセージをすべて送ると、GPTのトークン制限をより早く超えてしまいます。
この文脈上の問題に対処する1つの方法は、1つの会話のトークン制限を超えることなく、過去10メッセージや一定数のトークンなど、過去のメッセージのウィンドウにアクセスすることです。しかし、この方法では、Auto-GPTが以前の文脈情報にアクセスすることが制限され、Auto-GPTが目的を達成できない可能性があります。
ベクトルデータベースによるAuto-GPTのコンテクスト能力の強化
Auto-GPTとベクトルデータベースを統合することは、Auto-GPTの記憶と文脈理解を強化する、より効果的で効率的なソリューションです。統合の仕組みは以下の通りです：
統合は、Auto-GPTのコマンドと各ステップの実行結果をエンベッディングに変換し、ベクトルデータベースに格納します。
次のタスクを生成する際、履歴ウィンドウからメッセージを取得し、ベクトルデータベース検索の入力として保存します。
そして、より大きな時系列スパンでコンテキストを改善するために、
top-k個の履歴メッセージを検索する。
画像](https://assets.zilliz.com/diagram_autogpt_56320b8e53.png)
さらに、ベクトルデータベースの類似性検索機能のおかげで、システムは最後のアクションが現在のアクションと類似しているかどうか、そしてそれがタスクを完了させるのに役立っているかどうかを判断することができ、次のコマンドにより正確な情報を提供します。
Milvusで自動GPTを設定する方法
Milvusは、数百万、数十億、あるいは数兆のベクトルを含む膨大なデータセットを扱うことができる、最も人気のあるオープンソースのベクトルデータベースの1つです。以下のガイドに従って、MilvusとAuto-GPTを簡単に統合することができます。
1.1.MilvusのDockerイメージを取得し、Docker Composeを使用してインストールします：
https://github.com/milvus-io/milvus/releases/download/v2.2.8/milvus-standalone-docker-compose.yml
docker compose up -d
2.python 環境に pymilvus クライアントをインストールする：
pip install pymilvus==2.2.8
3..env` ファイルを更新する：
MEMORY_BACKEND=milvus
Milvus](https://milvus.io/)のデプロイやメンテナンスが難しい場合は、Zilliz Cloudの利用をご検討ください。Zilliz CloudはMilvusのフルマネージドクラウドネイティブサービスであり、Auto-GPTのメモリ管理を簡単に行うことができます。Zilliz Cloudは世界中に幅広いユーザーベースを持っており、GTC 2023でNvidia CEOのJensen Huang氏が推薦した。また、Zilliz CloudはOpenAIの指定ChatGPT検索プラグインプロバイダーです。
Zilliz CloudをAuto-GPTのメモリバックエンドとして使用する方法を紹介します：
1.Zilliz Cloudにサインインするか、アカウントをお持ちでない場合はサインアップしてください。
2.データベースを作成し、パブリッククラウドのエンドポイントを取得します。
3.pip install pymilvus==2.2.8を実行してpymilvusをインストールし、以下のコマンドで.env` ファイルを更新する：
MEMORY_BACKEND=milvus
MILVUS_ADDR=your-public-cloud-endpoint
MILVUS_USERNAME=your-db-username
MILVUS_PASSWORD=あなたのDBパスワード
Auto-GPTのメモリバックエンドとしてMilvusまたはZilliz Cloudを利用することで、Auto-GPTの能力を大幅に向上させ、真の自律性の実現に一歩近づくことができます。
ベクターデータベースとAuto-GPTを統合する際の制限事項
Auto-GPTとベクトルデータベースを統合することは、タスクを自動化し、ユーザーの目的に沿ったコマンドを生成するために非常に有益であり、必要です。にもかかわらず、まだいくつかの制限があります。
1.ベクトル・データベースからメッセージを取得する際、トップkの結果はフィルタリングされない。その結果、類似性の低い情報が存在する可能性があり、GPTモデルを惑わせ、最終的に望ましい結果を達成するための進捗を遅らせる可能性がある。
2.コンテキスト・データの追加とクエリのみ可能ですが、関連性がなくなったり、必 要でなくなったデータを削除することはできません。
3.現在のところ、埋め込みモデルをカスタマイズすることはできません。唯一の選択肢は、OpenAIが提供するエンベッディング・インターフェイスを利用することです。
自動GPTの説明
Auto-GPTは、AI技術の新たな発展であり、人間の入力を最低限あるいは全く必要とせず、完全な自律性を達成することを目的としています。まだ実験的ではありますが、Auto-GPTは、特にMilvusのようなベクトルデータベースと組み合わせた場合、計り知れない可能性を秘めています。
AI技術のためのインフラストラクチャー・ソフトウェアのプロバイダーとして、我々は、Auto-GPTのような新しいAI生成コンテンツ（AIGC）システムを開発し、エンパワーする上で、ベクターデータベースが重要な役割を果たすことに興奮しています。オープンソース・ベクターデータベース](https://zilliz.com/product/open-source-vector-database)やMilvus、またHNSW(Hierarchical Navigable Small Worlds)などの関連トピックについて詳しく知りたい方は、多くの情報提供記事をご覧ください。それでは、AIの限界を押し広げ、AIGCの明るい未来を創造し続けるために、一緒に頑張りましょう。
読み続けて
Zilliz Cloud Now Available in AWS Europe (Ireland)
Zilliz Cloud launches in AWS eu-west-1 (Ireland) — bringing low-latency vector search, EU data residency, and full GDPR-ready infrastructure to European AI teams. Now live across 30 regions on five cloud providers.
Data Deduplication at Trillion Scale: How to Solve the Biggest Bottleneck of LLM Training
Explore how MinHash LSH and Milvus handle data deduplication at the trillion-scale level, solving key bottlenecks in LLM training for improved AI model performance.
Proactive Monitoring for Vector Database: Zilliz Cloud Integrates with Datadog
we're excited to announce Zilliz Cloud's integration with Datadog, enabling comprehensive monitoring and observability for your vector database deployments with your favorite monitoring tool.