AIの進化と未来、そしてベクターデータベースへの影響：Zilliz社CEOチャールズの洞察
これは2部構成のブログシリーズの2回目です。
Zilliz](https://zilliz.com/)のCEOであるCharles Xieの洞察に導かれながら、人工知能(AI)、特に大規模言語モデル(LLMs )とベクトル・データベースとのダイナミックな相互作用を探求し続ける、2部構成のブログ・シリーズの2回目のエントリーへようこそ。
前編では、ベクターデータベースの本質と現状を探り、Milvusの開発について詳述し、ベクターデータベース技術の将来の軌跡について考察することで、基礎固めを行った。今回はこれらの土台をさらに発展させ、AI技術の進化に飛び込み、ファウンデーション・モデルの時代においてベクトル・データベースが果たす重要な役割について議論し、これらの絡み合った技術が将来どのように互いの進歩を形成していくかを予測する。
ベクターデータベースの先駆者：AIイノベーションにおけるZillizのLLM以前の旅
6年前、私たちZillizはMilvusベクトルデータベースの開発に着手し、大規模言語モデルが登場するはるか以前、ほとんど未知の領域に足を踏み入れた。当時から、ベクターデータベースは広範なAIアプリケーションに不可欠であり、広範なユースケースと市場機会を開くものだと考えていました。
当時、Google、DeepMind、OpenAIのようなハイテク大手がアルゴリズム開発で躍進し、NVIDIAやIntelが計算能力を強化する一方で、データ管理、特にすでに世界のデータの80％を占める非構造化データの重要な側面は、やや見過ごされていた。こうして、LLM以前のAI環境における差し迫った需要を満たすソリューションとして、ベクトル・データベースが登場した。ベクターデータベースは、言語処理、コンピュータビジョン、推薦システムを含む様々なドメインにおいて、非構造化データを効率的に管理するための強力なツールを提供した。この技術により、開発者はAIアプリ開発において非構造化データをより効果的に活用できるようになり、ベクトルデータベース領域における当社のパイオニア精神を示すことができました。
企業中心のベクターデータベースから、民主化された万人のためのAIへ ## Transitioning from Enterprise-Centric Vector Databases to Democratized AI for All
6年前にベンチャー企業を立ち上げたとき、私たちの主な目標は、企業ユーザーの複雑なニーズに応え、推薦システム、電子商取引、画像認識などの分野でアーリーアダプターと関わることでした。これらの分野では、信頼性が高く、スケーラブルで高性能なベクターデータベースシステムが本番環境で求められていました。
私たちの旅はまた、既存のAI企業、特に自然言語処理の膨大なデータセットを扱う企業と戦略的提携を結ぶことにもなりました。当時、AIを取り巻く環境は、主にハイパースケーラーや大手企業によって支配されており、AIアルゴリズムやアプリケーションの開発には多大なコストがかかっていた。このようなパートナーシップは非常に貴重であり、私たちにユニークな洞察をもたらしてくれました。
しかし、最新のAI技術の進歩と大規模な言語モデルの普及により、AIの状況は過去2年間で大きく変化した。独立したAI開発者の数は著しく増加しており、彼らは主に小規模なチームや個人の貢献者である。この変化は、企業中心のAI時代から、AIがより多くの参加者の手の届くところにある、より民主化されたAI環境への移行を意味します。このような状況の変化を受けて、私たちの目標は、ハイエンドの企業向けソリューションを提供するだけでなく、ベクトル検索サービスを個人の開発者や小規模チームにも利用しやすくすることへと進化してきました。
一方、伝統的な大企業は、最新のAI技術とLLMの可能性を認識する一方で、厳しいセキュリティ要件や最新のAI専門知識の不足といった課題に直面しています。私たちは、業界標準や要件を満たすためのAI能力と経験を活用することで、これらの企業がこのようなハードルを克服できるよう支援しています。
このシフトの典型的な例が、クラウド上のMilvusのフルマネージド・バージョンであるZilliz Cloudの創設です。このクラウドは、AIアプリケーション開発のプロトタイピングや実験に熱心な開発者と、スケーラビリティ、パフォーマンス、耐障害性を備えた最新のAI機能を求める企業の両方に合わせた、手頃な価格での提供と合理化された運用を提供します。この戦略的軸足は、AIを民主化し、最先端のベクターデータベース技術をあらゆるレベルのイノベーターが利用できるようにするという当社のコミットメントを反映したものです。
急速に進化するAIとLLMの時代におけるベクターデータベースの意義 ## The Signance of Vector Databases in the Rapid Evolution of AI and LLMs
ベクトルデータベースは、テキスト、画像、音声、動画、地理空間データ、行動パターン、遺伝学やタンパク質構造などの複雑な生物学的配列など、幅広い非構造化データ内の意味的類似性を検索するために設計されている。これらのデータベースは、知識獲得と意思決定のための洗練されたディープラーニングモデルとアルゴリズムを通じて、コンピュータと機械がこれらのデータを分析、理解、活用することを可能にします。
昨年は、ChatGPTのようなLLMの急速な進歩が拍車をかけ、ベクトルデータベース市場が劇的に増加した。ベクトル・データベースは、LLMの長期記憶と外部知識の貯蔵庫として機能し、"幻覚 "の問題を緩和する。
大規模な言語モデルに加えて、我々は今後数年間で、より広範なファウンデーション・モデルの台頭を目の当たりにすることになるであろう。それぞれのファウンデーション・モデルには、テキスト、画像、ユーザー・インタラクションを含む様々なデータタイプを扱うことができるセマンティック・ストレージ・システムが必要である。ベクターデータベースは、実用的でアクセスしやすく、経済的なデータ管理ソリューションを提供することで際立ち、異なるファウンデーションモデル間のセマンティックデータ検索を強化し、開発者に多大な利益をもたらします。
Milvus 3.0でRAG検索精度が80%向上する見込み
検索拡張世代（RAG）は、LLMとベクトルデータベースを組み込んだ最先端のAI技術です。その主な目的は、文脈情報を統合することによって、LLMにおける幻覚の問題に対処することである。典型的なRAGシステムは、ベクトルデータベース、LLM、コードとしてのプロンプトから構成される。ベクトルデータベースはこのシステムにおいて重要な役割を果たし、ドメイン固有またはプライベートな情報を格納し、LLMのコンテキストとして最も関連性の高い部分を検索する。このプロセスにより、LLMはより正確で質の高い回答を生成することができる。
過去1年間にRAG技術は大きく進歩したが、高い検索精度を達成することは依然として課題である。この問題に対処するため、Milvus 3.0ではハイブリッド検索機能を強化します。このキーワードベースの精密検索とベクトルベースの類似検索の組み合わせにより、RAGの想起率は従来の30％～40％から80％～90％へと向上し、より幅広いユースケースに対応することが期待されます。
80％の精度を達成するためには何が必要でしょうか？企業グレードのRAGアプリケーションを考えてみよう。60％の精度で、すでに企業の半分の従業員の分析スキルを上回っている。しかし、この精度を80%に高めることは、AIの出力品質が上級役員を含む従業員の80%から90%を上回ることを意味する。このように、精度のベンチマークが80%に達するということは、AIがより正確で質の高い結果を提供し、ユーザー・エクスペリエンスに革命をもたらし、AIを導入した製品の影響力を増幅できることを示している。
ChatGPT とベクトル・データベース：セマンティック検索における補完か競合か？
ChatGPTやベクトルデータベースのような大規模言語モデルは、非構造化データの意味的な意味を表現し理解するためにベクトル埋め込みを利用します。これらの埋め込みはユークリッドやコサインのような距離メトリックを使って比較され、データの意味的類似性に基づいた効率的なデータ分析やクエリを可能にします。この相乗効果により、ChatGPTは意味検索においてベクトルデータベースを凌駕する可能性がある。
機能が重複しているにもかかわらず、ChatGPTはベクトルデータベースの代替にはなりません。ChatGPTの強みは、正確な意味検索操作を行うデータベースとして機能することよりも、受け取った入力に基づいて首尾一貫した文脈に関連したテキストを理解し、生成することにあります。一方、ベクトルデータベースは、ベクトルの埋め込みを保存・検索し、効率的な意味的類似性検索を容易にするように作られています。
さらに、意味検索の実施にかかるコストは、ベクトルデータベースとLLMでは大きく異なる。ベクトルデータベースシステムで意味検索を実行すると、大規模な言語モデル内でこれらの操作を実行するよりも約100倍もコスト効率が高いことが証明されている。この大幅なコスト差により、OpenAIを含む多くの大手AI企業は、AIアプリケーションで意味検索やk-最近傍検索にベクトルデータベースを使用することを推奨している。
LLMとベクトル・データベースの区別は、今後5年間でより明確になるでしょう。LLMは、従来のコンピューティング・インフラストラクチャの上に載る洗練されたセマンティック・プロセッサとして登場する準備が整っている。同時に、ベクトル・データベースは、ディスク、テープ、クラウド・ストレージ、ファイル・システムなどの標準的なストレージ媒体上でインテリジェントなデータ検索を実現する、洗練されたセマンティック・ストレージ・ソリューションとして進化している。
AIの未来：5年以内に手頃な価格の一般知能が台頭する
これから半世紀、機械学習アルゴリズムの進化に伴い、AIは指数関数的に賢くなり、現在の100倍以上になる可能性があると予測されている。しかし、重要な課題は、この高度なAIを利用しやすく、手頃な価格にすることにある。AIの実装に関連する費用は減少傾向にあるものの、ハードウェアの取得、大規模な言語モデルの活用、継続的な運用保守を含む累積コストは依然としてかなり高い。例えば、AIアシスタントの利用料を月額20～30円から3～5円に引き下げることで、利用者層を大幅に広げることができます。このように、今後5年間のビジョンは、手頃な一般知能（AGI）の出現であり、AIソリューションをすべての個人や企業が経済的に利用できるようにすることで、AI技術の民主化を実現することを目指している。
ベクトルデータベースプロバイダーとして、データ管理の効率化とコスト削減を実現し、AI技術への幅広いアクセスを可能にすることで、この未来に貢献することをお約束します。
Charles XieCharles Xie is the founder and CEO of Zilliz, focusing on building next-generation databases and search technologies for AI and LLMs applications. At Zilliz, he also invented Milvus, the world's most popular open-source vector database for production-ready AI. He is currently a board member of LF AI & Data Foundation and served as the board's chairperson in 2020 and 2021. Charles previously worked at Oracle as a founding engineer of the Oracle 12c cloud database project. Charles holds a master’s degree in computer science from the University of Wisconsin-Madison.
読み続けて
Storage Cost Isn’t the Whole Story: Why We Disagree with Turbopuffer’s Trade-offs
A real-world benchmark comparing Turbopuffer and Zilliz Cloud on cost, latency, recall, and consistency for production-scale vector search workloads.
Why and How to Migrate from Self-Hosted Milvus to Zilliz Cloud
A simple, step-by-step guide to migrating from Milvus to Zilliz Cloud. Learn both endpoint and backup methods for a smooth, scalable vector database migration.
Data Deduplication at Trillion Scale: How to Solve the Biggest Bottleneck of LLM Training
Explore how MinHash LSH and Milvus handle data deduplication at the trillion-scale level, solving key bottlenecks in LLM training for improved AI model performance.