ベクターデータベースの民主化：アクセスと平等の強化

この記事はTheSequenceに掲載されたもので、許可を得てここに再掲載している。

21世紀はテクノロジーの民主化がすべてである。インターネット・ブームは大規模なコラボレーションを可能にし、オープンソースが典型的なソフトウェアの採用パターンとなった。技術革新のペースと規模が拡大するにつれ、我々はそれをより利用しやすくする努力をしなければならない。

ソフトウェア・エンジニアとして、テクノロジーの民主化とは、テクノロジーを可能な限り広く利用できるようにすることを意味する。それは、私が知っていることを利用して、他の人々が技術の進歩を創造し、採用し、理解することを容易にすることを意味する。ここZillizでは、オープンソースプロジェクトMilvusの採用を増やすことだけでなく、常にベクトルデータベースの採用を加速させることに取り組んできました。

この記事では、次のことを取り上げます：

• ベクター・データベースの民主化が開発者にもたらすもの

• テクノロジー民主化の柱

  • ベクターデータベースと関連ツールの教育

  • ベクターデータベースへのアクセシビリティの向上

  • 技術の伝道

• ベクターデータベースの民主化のまとめ

ベクターデータベースの民主化は開発者にとって何を意味するのか？

XYZテクノロジーを民主化する "という文脈で "民主化する "と聞くと、私はそのテクノロジーへのアクセスを拡大することを思い浮かべる。だから、ベクター・データベースに関して言えば、ベクター・データベースへのアクセスを拡大することだ。従来、ベクターデータベースは企業のソフトウェア開発者しか利用できませんでした。

Milvusは、オープンソース Linux Foundationのプロジェクトになったとき、ベクターデータベースを民主化するプロセスを始めました。オープンソースプロジェクトであることを通して、開発者が利用できる最初のベクターデータベースの1つでした。プロジェクトが成長するにつれて、より多くの開発者がベクターデータベースを使用し、学び、貢献することができるようになりました。

技術民主化の柱

技術の民主化には特有の課題が伴う。特にベクターデータベースのような複雑なツールの民主化だ。テクノロジーの民主化には3つの柱がある。それは、教育、アクセシビリティの向上、そして伝道である。

ベクターデータベースと関連ツールの教育

教育は、多くの企業が間違いがちな最も重要なテーマである。教育とは、特定の製品、技術全般、関連ツールについて教育することです。そのため、ZillizではMilvusだけでなく、様々なことに関するコンテンツを作成しています。

私たちが作成するコンテンツには、教育を通じてベクターデータベースの導入を加速させたいという私たちの思いが反映されています。そのため、HNSW(Hierarchical Navigable Small Worlds)、スカラーと積の量子化、ファイルインデックスの反転など、本質的な概念に関するコンテンツを用意しています。

ベクトルデータベースの背後にある概念を理解するためのリソースを提供するだけでなく、関連するツールのためのリソースも提供しなければならない。例えば、大規模言語モデル(LLM)の人気は、様々な新しいツールの到来を告げている。

LlamaIndex](https://zilliz.com/learn/getting-started-with-llamaindex)、Auto-GPT、LangChainなどです。さらに、コミュニティに教育リソースを提供するという私たちの目標に沿って、私たちのコンテンツの多くは、The Sequence、The New Stack、およびいくつかのMedium出版物のようなサードパーティに提供されています。

ベクターデータベースへのアクセシビリティの向上

テクノロジーに関する教育を提供することは素晴らしいことですが、それにアクセスする方法を提供しなければ役に立ちません。我々の場合、Milvusのオープンソース化は、ベクターデータベースへのアクセスを増やすための第一歩だった。単にオープンソースであるだけでなく、Milvusプロジェクトはアクセシビリティを向上させる他の手段も追求してきました。

Milvusは、Docker ComposeとHelm用のテンプレートを備えたDockerイメージでも利用可能です。さらに、最近私たちはMilvus Liteとしてpip installから利用できるようにしました。Milvusは350万以上のDockerダウンロード、18.8kのGitHubスター、212人のコントリビュータを獲得しています。

Milvusに加えて、Zilliz氏はアクセシビリティの向上にも取り組んできた。当初、Zillizは400ドルの無料クレジットを提供していたが、現在は50万ベクターまで利用可能なfree tierを提供している！これは、ほとんどすべての開発者にとって十分なものです。Zilliz Cloudの無料ティアでは、ほとんどすべての開発者が無料でベクターデータベースを始めることができます。

テクノロジーの伝道

テクノロジーの民主化で取り組むべき最後の柱は、テクノロジーの伝道である。テクノロジーを利用可能にし、それに関する教育を提供しても、それがなぜ有用なのかを人々に伝えなければ、何の意味があるのだろうか？普及を加速させるという点では、教育は「どのように」を説明し、アクセシビリティの向上は「何を」を説明する。

私たちは、主にベクター・データベースのパワーを示すコンテンツを通じてエバンジェリズムを行っています。上記でご紹介した教育資料の一部をご覧いただければおわかりになると思います。また、ベクターデータベースに関する講演も行っています。バーチャルなものもあれば、直接会って話すこともあります。最近シアトルで、LLMでデータ問題を解決するソリューションとしてのベクトルデータベースの利用について講演しました。

まとめ：ベクトルデータベースの民主化

ベクターデータベースは非構造化データにおける多くの問題を解決するため、ベクターデータベースの民主化は非常に重要である。ベクターデータベースは複雑で大規模なプロジェクトのため、以前は大企業の開発者しか利用できなかった。しかし、LLMの人気はベクターデータベースのアイデアを主流に押し上げ、以前にはなかった無数のユースケースを生み出した。このため、民主化はさらに重要になっている。

Zillizでは、教育、アクセシビリティ、エバンジェリズムという3つの柱で民主化に取り組みました。教育は、私たちにとってこれらの柱の中で最も重要な部分です。開発者向けには、ベクターデータベースとそれを補完するツールの "使い方 "を教材として提供します。

さらに、私たちは常にアクセシビリティの向上に努めてきましたし、これからもそうしていきます。ソフトウェアのオープンソース化はその第一歩でした。アクセシビリティを高めるための他のステップとしては、コンテナ化のためのテンプレートやイメージの提供などがあります。私たちは最近、Jupyterノートブックで直接実行できるベクターデータベース、Milvus Liteをリリースしました。

最後に、私たちはベクターデータベースの使い方とそのパワーを広めるために、技術的なエバンジェリズムに取り組んでいます。ウェビナーの提供、コミュニティイベントでの講演、ソーシャルメディアでの活動などを通じて、このような活動を行っています。

Zillizはベクターデータベースを民主化するための努力を続けています。ベクトル・データベースは、LLMのデータ問題を解決するために不可欠であり、逆画像検索、セマンティック・テキスト検索、商品レコメンデーションなど、既存のソリューションの中で最高のものです。個人的には、ベクター・データベースの分野の成長を支援するチームの一員であることに興奮しており、コミュニティのために、またコミュニティによって構築されるすべての素晴らしいものを楽しみにしています！