障壁を打ち破る：すべての人にベクターデータベースへのアクセスを民主化する

この記事は元々The New Stackに掲載されたもので、許可を得てここに再掲載している。

大規模言語モデル（LLM）とAI関連技術は、誰もが口を揃えて言う。LLMやAIアプリケーションの重要なインフラであるベクターデータベースは、アルゴリズムエンジニアからアプリケーションやバックエンド開発者まで、より幅広いユーザー層から注目を集めている。

ここでは、ベクターデータベースの利点、それを民主化することが重要な理由、そして誰もがアクセスできるようにする方法について説明します。また、プロジェクトに最適なベクターデータベースを選ぶためのベンチマークツールもご紹介します。

ベクターデータベースとは？

構造化された形式でデータを保存・整理する従来のリレーショナルデータベースやNoSQLデータベースとは異なり、ベクトルデータベースは、画像、音声、動画、テキストなどの非構造化データをエンベッディングと呼ばれる数値表現で保存・管理することを目的として構築されています。

ベクトルデータベースは、近似最近傍(ANN)アルゴリズムを使用して類似検索を実行するために重要である。このアルゴリズムは、与えられた集合の中で与えられた点に最も近い点を見つけることを可能にし、ベクトルデータベースを推薦システム、異常検出、質問応答システムなど様々なユースケースで価値あるものにしている。

ベクトルデータベースと従来のベクトル検索技術との比較

ベクトル検索は新しい概念ではない。特化したベクターデータベースが登場する前は、ベクター検索を行うための様々な技術スタックが利用可能だった。例えば、Facebook FAISS、Spotify Annoy、Google ScaNNのようなベクターライブラリや、pgvectorのようなベクター検索拡張機能などだ。Google、Microsoft、Netflixのような大企業は、推薦システムのようなタスクにこれらの技術を使用してきた。

従来のベクトル検索技術には、ベクトルの保存、インデックス付け、検索といった基本的な機能はあるが、限界がある。例えば、数百万から数十億の高次元ベクトルを含む大規模なデータセットを扱わなければならず、同時に迅速な応答と高い再現性が要求される場合、従来の検索システムでは期待に応えることは難しい。この場合、専用のベクトルデータベースが必要になります。

従来のベクトル検索スタックと比較して、専用に構築されたベクトルデータベースは、以下のような改善された様々な機能を提供します：

• 完全なCRUD（作成、読み込み、更新、削除）のサポート

• スカラーとベクトルのフィルタリング

• 複数のプログラミング言語のSDKとレストフルAPIのサポート

• 高可用性、スケーラビリティ、リソース・グループ、ロール・ベース・アクセス・コントロール（RBAC）、プロダクション・デプロイメントなどのエンタープライズ・レベルの機能

その他にも

ベクターデータベースは、ChatGPTの台頭、生成AIやLLMへの関心の高まりにより、ますます人気が高まり、不可欠なものとなっています。その結果、より多くの開発者や組織がデータベースへのアクセスを求めるようになっています。

なぜAI時代にベクトルデータベースが不可欠なのか？

ベクトル・データベースは、LLMや関連するAI技術スタックにとって不可欠なものとなっている。それらはLLMの長期記憶として機能し、LLMの知識と検索能力を拡張し、データやビジネスに関連するより正確な回答を可能にする。

ChatGPTは、限られた、あるいは古い事前トレーニングのオフライン知識により、幻覚のような回答を生成するかもしれません。さらに、ChatGPTのトークン制限により、ユーザが多くのコンテキストを提供することは困難です。この問題を解決するために、CVP stack (ChatGPT/LLM + a vector database + prompt as code)が人気を集めている。これは、検索用のLLMの外側に、ドメイン固有または独自の事実を保存するためのベクトルデータベースを使用する。この拡張はより正確な結果をもたらす。

LlamaIndex](https://zilliz.com/learn/getting-started-with-llamaindex)、AutoGPT、LangChainなどの人気のあるAIスタックは、長期的なベクトルストレージおよび/またはLLM知識の増強のためにベクトルデータベースを活用する例です。

ベクターデータベースの民主化

ベクトルデータベースは、現在のAI革命において極めて重要である。しかし、独占的な技術、複雑なアーキテクチャとデプロイメント、個人開発者や小規模チームにとっての高コスト、貧弱なユーザーエクスペリエンスなど、様々な障壁のために、一部の人しかこの技術に平等にアクセスできない。したがって、パイオニアやプロバイダーが率先してベクターデータベースを民主化し、進歩を遂げることが不可欠である。

ベクターデータベースを誰もが利用できるようにすることは、一朝一夕にはできません。すべてのデータベースがすぐにベクターを保存し検索できるようになることや、ベクターデータベースのプロバイダーが突然すべての人に技術を開放することを期待するのは非現実的です。しかし、ベクターデータベースの民主化を改善するための貴重なヒントがいくつかあります。

ベクターデータベースの知識、専門知識、技術を広める

ベクターデータベースを効果的に使用するためには、開発者はこの技術の利点、エコシステム、ユースケース、制限について熟知する必要がある。そのため、学術論文、ブログ記事、チュートリアル、講演など様々なコンテンツを通じて、ベクターデータベースの知識、専門性、技術に関する認知を広めることが重要です。Zillizでは、ベクトル検索技術の基礎（非構造化データ、階層型ナビゲーシブルスモールワールドなど）から、人気のAIスタック（LangChain、LlamaIndex、AutoGPTまでを網羅したコンテンツライブラリを構築しています。）また、このベクトルスタックに興味を持つ開発者にとって貴重なリソースとなる様々なオフラインイベントとウェビナーも提供しています。

すべての開発者にソースコードを公開

オープンソースは、ベクターデータベースの民主化を促進する重要な方法です。金銭的な障壁をなくすことで、オープンソースはあらゆる規模の開発者や組織がベクターデータベースにアクセスできるようにします。また、完全な透明性を提供することで、ユーザーがニーズに応じてソースコードを使用したり変更したりできるようになります。

オープンソースは、イノベーションと知識の共有を促進し、製品の改善と成長に貢献する活発なコミュニティを作り出します。このアプローチは、ベクター・データベースのプロバイダーを含め、関係者全員に利益をもたらします。

Milvusはこの分野の注目すべきパイオニアであり、340万以上のDockerプルと21,000以上のスターをGitHubに持つ。Linux Foundation AI & Data Foundation](https://lfaidata.foundation/)を卒業した人気プロジェクトでもある。オープンソースにすることで、Zillizはこのベクトルデータベース技術をあらゆる規模の開発者や企業が利用できるようにした。この決定は、Milvusのアップグレードと進化に貢献する熱心なイノベーターたちの活発なコミュニティを育んできた。そのようなコラボレーションの優れた例として、Milvus Liteがあります。Milvus Liteは、アクティブなコミュニティメンバーであるBin Jiによって貢献されたMilvusの軽量バージョンです。

ベクターデータベースのフルマネージドサービスの提供

ベクターデータベースを誰もが利用できるようにするには、セットアップ、使用、保守を容易にする必要があります。これらのデータベースをローカルシステムでホスティングすることには利点がありますが、時間とコストがかかります。Zilliz Cloud](https://zilliz.com/cloud)のようなフルマネージドベクターデータベースサービスは、ベクター検索アプリケーションのデプロイとスケーリングを簡素化することで、この問題を解決し、エンジニアをビジネスに集中させることができます。

個人開発者や小規模チームに無料のクラウドオプションを提供する。

フルマネージド・ベクターデータベースサービスは優れているが、個人開発者や小規模チームにとってはコストがかかる。ベクターデータベースをより利用しやすくするために、プロバイダーはこれらのグループに無料、あるいは少なくとも手頃なオプションを提供することを検討することができる。このアプローチは、ベクターデータベースを民主化し、ユーザーベースを増やすための重要な一歩となるでしょう。その見返りとして、ベクターデータベースの会社はより多くの注目と人気を得ることができるでしょう。

ユーザーのニーズを満たす優れたユーザー体験を提供する。

スムーズなユーザー体験を優先することも、ベクターデータベースの民主化には欠かせない。このアプローチは、ユーザーの問題を解決し、時間とお金を節約し、ユーザーの成功を支援する機能を提供することを意味する。主な機能には、ベクターの高速ストレージ、インデックス作成、クエリ、高いリコール率による低レイテンシー、チーム管理を容易にする組織とロールベースのアクセス、より良いデータハンドリングのためのJSONサポート、パーティションキーを使用した迅速なクエリフィルタリング機能などがあります。

プロジェクトに適したベクトルデータベースの選び方

プロジェクトに適したベクターデータベースを選ぶには、選択肢が多すぎて圧倒されてしまうかもしれません。幸いなことに、あるソリューションが、十分な情報に基づいた決定を下すのに役立ちます：VectorDBBenchは、オープンソースのベンチマークツールで、1秒あたりのクエリー数(QPS)、レイテンシ、スループット、容量などの重要な指標に基づいて、さまざまなベクターデータベースシステムを徹底的に評価・比較します。

結論

ベクターデータベースへのアクセスは、参入の容易さ、ユーザーフレンドリーな機能、手頃な価格設定のおかげで増加している。MilvusのようなオープンソースプロジェクトやZilliz Cloudのようなクラウドサービスがこのトレンドをリードしている。

民主化が進むにつれ、ベクターデータベースを利用した革新的なアプリケーションや発見の増加が期待できる。この民主化は、様々な産業の進歩につながり、データ駆動型イノベーションの未来を形作るだろう。