オープンソースのベクトルデータベースMilvusで金融のAIを加速する
銀行やその他の金融機関は、ビッグデータ処理や分析のためのオープンソースソフトウェアを早くから採用してきた。2010年、モルガン・スタンレーは小規模な実験の一環として、オープンソースのApache Hadoopフレームワークを使い始めた。同社は、従来のデータベースを、同社のサイエンティストが活用したいと考える大量のデータにうまく対応させることに苦戦していたため、別のソリューションを模索することにした。Hadoopは今やモルガン・スタンレーの定番であり、CRMデータの管理からポートフォリオ分析まで、あらゆる業務に役立っている。MySQL、MongoDB、PostgreSQLといったオープンソースのリレーショナル・データベース・ソフトウェアも、金融業界におけるビッグデータの活用に欠かせないツールとなっている。
金融サービス業界に競争力を与えているのはテクノロジーであり、人工知能（AI）は、銀行、資産運用、保険の各分野において、ビッグデータから価値ある洞察を引き出し、リアルタイムで活動を分析するための標準的なアプローチとして急速に普及している。AIアルゴリズムを使って、画像、音声、動画などの非構造化データを機械可読の数値データ形式であるベクトルに変換することで、100万、10億、あるいは1兆という膨大なベクトルデータセットに対して類似検索を実行することが可能になる。ベクトルデータは高次元空間に格納され、類似ベクトルは類似性検索を使用して発見されるが、これにはベクトルデータベースと呼ばれる専用のインフラが必要である。
オープンソース・ビッグデータ技術の開発](https://assets.zilliz.com/01_1_cb99f15886.jpg)
Milvusは、ベクトルデータの管理に特化して構築されたオープンソースのベクトルデータベースであり、エンジニアやデータサイエンティストは、基盤となるデータインフラではなく、AIアプリケーションの構築や分析に集中することができる。このプラットフォームは、AIアプリケーション開発ワークフローを中心に構築され、機械学習オペレーション（MLOps）を合理化するために最適化されている。Milvusとその基盤技術の詳細については、ブログをご覧ください。
金融サービス業界におけるAIの一般的なアプリケーションには、アルゴリズム取引、ポートフォリオ構成と最適化、モデル検証、バックテスト、ロボアドバイス、バーチャル顧客アシスタント、マーケットインパクト分析、規制遵守、ストレステストなどがある。この記事では、ベクトルデータが銀行や金融企業にとって最も価値のある資産の1つとして活用されている3つの具体的な分野を取り上げる：
1.銀行チャットボットによる顧客体験の向上 2.レコメンダー・システムによる金融サービスの販売促進など 3.セマンティック・テキスト・マイニングによる決算報告書やその他の非構造化金融データの分析
銀行チャットボットによる顧客体験の向上
バンキングチャットボットは、消費者が投資、銀行商品、保険契約を選択するのを支援することで、顧客体験を向上させることができます。コロナウイルスの流行によって加速した傾向もあり、デジタルサービスの人気は急速に高まっています。チャットボットは、自然言語処理（NLP）を使用して、ユーザーが送信した質問を意味ベクトルに変換し、一致する回答を検索することで機能します。最新の銀行チャットボットは、ユーザーにパーソナライズされた自然な体験を提供し、会話調で話します。Milvusは、リアルタイムのベクトル類似検索を使用してチャットボットを作成するのに適したデータファブリックを提供します。
詳しくは、Milvusを使ったチャットボットを構築するデモをご覧ください。
デモ](https://assets.zilliz.com/02_1_8c298c45e5.jpg)
レコメンダー・システムで金融サービスの売上などを向上させる：
プライベート・バンキング分野では、レコメンダー・システムを活用し、顧客プロフィールに基づいたパーソナライズされたレコメンデーションにより、金融商品の売上を伸ばしている。レコメンダー・システムは、金融リサーチ、ビジネスニュース、銘柄選択、取引支援システムなどにも活用できる。深層学習モデルのおかげで、すべてのユーザーとアイテムは埋め込みベクトルとして記述される。ベクトル・データベースは、ユーザーとアイテムの間の類似性を計算できる埋め込み空間を提供する。
Milvusを使ったグラフベースのレコメンデーションシステムについては、demoをご覧ください。
セマンティックテキストマイニングによる決算報告書やその他の非構造化財務データの分析：
テキストマイニング技術は金融業界に大きな影響を与えた。金融データが指数関数的に増大するにつれ、テキストマイニングは金融領域における重要な研究分野として浮上してきた。
ディープラーニングモデルは現在、多くの意味的側面を捉えることができる単語ベクトルによって金融レポートを表現するために適用されている。Milvusのようなベクトル・データベースは、何百万ものレポートから膨大な意味的単語ベクトルを保存し、それに対してミリ秒単位で類似性検索を行うことができる。
deepsetのHaystackをMilvusで使う](https://medium.com/deepset-ai/semantic-search-with-milvus-knowledge-graph-qa-web-crawlers-and-more-837451eae9fa)方法の詳細はこちら。
他人になるな
- GitHub](https://github.com/milvus-io/milvus/)でMilvusを見つけるか、貢献する。
- Slack](https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ)でコミュニティと交流しましょう。
- Twitter](https://twitter.com/milvusio)でつながりましょう。
読み続けて
We spent 8 years making vector databases faster. Then we stopped.
Rarely queried embeddings still need to stay searchable. See how Vector Lakebase enables on-demand vector search without always-on compute costs.
How to Improve Retrieval Quality for Japanese Text with Sudachi, Milvus/Zilliz, and AWS Bedrock
Learn how Sudachi normalization and Milvus/Zilliz hybrid search improve Japanese RAG accuracy with BM25 + vector fusion, AWS Bedrock embeddings, and practical code examples.
Milvus/Zilliz + Surveillance: How Vector Databases Transform Multi-Camera Tracking
See how Milvus vector database enhances multi-camera tracking with similarity-based matching for better surveillance in retail, warehouses and transport hubs.