ジリズがVLDBワークショップ2021に参加

2021年、データベース業界の主なブレークスルーは？

今年8月、ZillizはVLDB Workshop 2021に招待され、ハーバード大学、カーネギーメロン大学、清華大学、マイクロソフトなど多くの組織と共同で、機械学習手法のデータベースシステムへの応用に関する最新の研究進展と成果を紹介した。ZillizのシニアリサーチャーであるXiaomeng Yi博士は、オープンソースベクトルデータベースであるMilvusの開発背景、設計アイデア、課題、技術革新について紹介しました。

VLDB、SIGMOD、ICDEはデータベース分野で最も権威のある3つの学会として知られている。最近では、Zilliz研究チームによる研究成果であるMilvus: A Purpose Built Vector Data Management Systemが、Milvusの優れた基本機能とビジネスシナリオへの完璧な応用により、SIGMODによって選出され、今年の21の論文の1つに含まれました。

毎日、世界は膨大な量のデータを生み出しているが、そのうちの80％以上は、処理が困難な非構造化データである。従来のデータベースが構造化されたデータしか保存できないのに対し、Milvusのエンジニアチームは、データの種類に関係なく、すべてのデータを意味レベルのベクトルで統一的に表現できるという仮説を提案した。李博士は、AIニューラルネットワークモデルを使ってデータのセマンティクスを抽出し、ベクトルとして統一的に表現すれば、多くのデータの処理ロジックをベクトルレベルで直接実行することができると述べた。

Milvusは、膨大な特徴ベクトルの解析と検索に特化して設計されている。ベクトルデータ](https://zilliz.com/learn/vector-similarity-search)の更新、索引付け、類似検索のための完全なフレームワークを提供し、ストリーミングデータに対してリアルタイムに実行できるだけでなく、実際のビジネスシーンにおける多様な検索要件にも対応します。これまでMilvusは2つのバージョンをリリースしてきた：1.0と2.0である。MilvusのソースコードはGitHubで完全にオープンソース化されており、人工知能のフロンティア分野で広く利用されています。世界中の1,000人のユーザーによってテストされ、その性能は同業他社製品を大きく上回っています。

VLDB](https://assets.zilliz.com/VLDB_2_8d1a8074ad.png)

Milvus2.0の設計コンセプトは、クラウドネイティブ、ログ・アズ・データ、バッチ処理とストリーム処理の統合である。Milvus2.0は、その前身であるMilvus2.0をベースに、インテリジェントで安定したスムーズな検索体験をユーザーに提供する。

データベース開発におけるインデックス選択とデータチューニングという2つの大きな課題に直面している李博士は、AIが最適なソリューションへの扉を開くことができると考えている。例えば、新しいコンフィギュレーションは、まず小規模なデータセットでテスト・評価し、その後大規模なデータセットに移行することができる。機械学習を使って既存のデータセットを分析し、新しいデータセットの構成を導くことで、現在のBOHBアルゴリズムよりも優れたパフォーマンスを達成することができる。

Dr. Xiaomeng Yi (Ph.D. of Computer Architecture, Huazhong University of Science and Technology) 上級研究員兼Zilliz研究チームリーダー。高次元データ管理、大規模情報検索、分散システムにおけるリソース割り当ての研究に従事。李博士の研究成果は、IEEE Network Magazine、IEEE/ACM TON、ACM SIGMOD、IEEE ICDCS、ACM TOMPECSなどの主要ジャーナルや国際会議で発表されている。