ジアン・チェン：私がZillizに入った理由

新たな挑戦

過去10年間、私はアクセス制御、データプライバシー、NoSQLデータベース、そして最近ではウェブスケールのデータインデックス作成など、データインフラの様々な側面を専門としてきました。ウェブとモバイルの時代には、ビッグデータが重要なインフラ革新として登場し、MapReduce、分散コンピューティング、構造化データストレージなどのテクノロジーがその先導役を果たした。AI時代には、特に大規模言語モデルの人気の高まりとともに、異なる技術スタックが必要となる。エンベッディングとベクトルストアが舞台の中心にあり、これはZillizの焦点でもある。

Zillizに入社する直前は、Googleで検索インデックス作成に注力していました。公共ウェブ上の何十億もの画像や動画を理解し、さまざまなマルチメディアデータを含むウェブページの構造化ラベルを生成し、検索可能なインデックスに変換するための超柔軟なインフラの構築に取り組んでいました。これらの技術は、ショートビデオ検索のような、ユーザー向けの製品イノベーションの基礎を築いた。しかし、テキスト、画像、動画のような非構造化データを理解する従来の方法では、複数の機械学習モデルを用いて多くのラベルを生成する必要があった。このプロセスは、MLモデルの推論、ビジネスロジックのオーケストレーション、検索アルゴリズムを含む複雑なインフラに依存しており、大きな課題となっていた。

さらに、検索コンテンツの検索も、従来のルールベースのシステム（転置インデックスによるキーワードのマッチング）では限界があった。エンベッディングに基づく検索は、検索結果の関連性を強力に改善することが明らかになった。エンベッディングは検索にとって新しいものではなく、従来のウェブ検索でも何年も使われてきたが、数多くの新しい検索製品にエンベッディング・ベースの検索、あるいはハイブリッド・アプローチを採用することは、Googleにとっても大きな挑戦であった。

Zillizの製品責任者であるRobertと初めて会ったとき、エンベッディングとベクトル検索技術の民主化という野心に感銘を受けた。私もこの素晴らしいAIの波に参加したいという意欲が湧いてきました。

非構造化データの可能性を解き放つために、開発者に力を与える。

エンベッディングの可能性を認識しているにもかかわらず、多くの開発者や企業は、非構造化データをベクトルエンベッディングとして効果的に整理するために、より多くのインフラを必要としています。しかし、現代のAI時代においては、AIネイティブ・インフラがビジネスの未来の鍵を握っていると私は確信している。これらのインフラは、大規模なニューラルネットワーク・モデル、ベクトル・ストレージ、そしてそれ専用に設計された特殊な計算システムを利用する。このようなインフラの運用を世界規模で観察してきた私は、この非常に複雑なインフラを民主化し、リソースの限られた新興企業がAI技術を活用し、人類を前進させる画期的なアプリケーションを創造できるようにすることに熱意を注いでいる。

素晴らしい人々

私は以前、スタートアップの世界にいたことがある。新しいプロジェクトを立ち上げ、プロダクトと市場のフィットがうまくいかず燃え尽き、次の資金調達のために奔走するというジェットコースターのような経験をしたことで、不確実な状況で複雑な問題に取り組むとき、最も重要なことは、信頼できる素晴らしい人々とチームを組んで仕事をすることだと、私は確信している。

チャールズ](https://www.linkedin.com/in/chaoxie/)、ロバート、ジェームスの優れたチームに会ってすぐに、彼らはベテランの起業家であり、起業の不確実性を十分に認識し、それでもなお起業に専念しようとしていることがわかった。私は、彼らが一緒に仕事をするのに最適なグループであることを知っていたので、迷うことなくこの注目すべきチームに参加することを決めた。

これこそが、私がZillizに入社した理由である。不確実性を乗り越えるためには、重要な使命と、一緒に働く知的でたくましい人々の集団の両方が必要であり、Zillizにはそれが揃っている。

私がZillizで最もワクワクすること

今、私が最も興奮しているのは、開発者のために非構造化データを簡素化する、ユーザビリティの高い実用的な製品を構築するという挑戦です。これは複雑な問題で、万能な解決策はなく、将来のロードマップを見つける必要があります。Zillizでは、スタートアップで働くことの特典として、正しいことは何でも自由に行うことができます。この問題を解決するには、強力なエンジニアリングのバックグラウンド、製品への深い洞察、開発者への共感が必要です。私の日課は以下の通りです：

• 営業やソリューションアーキテクトとのディスカッション。

• 製品の詳細を定義する。

• 技術設計の指示

• コードレビュー

この仕事スタイルはとても楽しく、毎日新しいことを学んでいます。

AIインフラのフロンティアで一緒に働きませんか？

ここZillizでは、非構造化データの情報検索プロセスを容易にする一連のツールとサービスを構築しています。オールインワンの非構造化データETL・埋め込みソリューションであるTowhee、Retrieval Augmented Generationのオープンソース実装であるAkcio、ベクトル埋め込みを効率的に保存・検索するベクトルデータベースがあります。

ここで紹介したことに興味を持たれた方は、ぜひご一報ください！当社では、エンジニア職をさまざまに募集しています。非構造化データを効果的に管理・活用するためのインフラを構築することに興奮を覚えるのであれば、当社で働くチャンスを逃すべきではありません。また、マーケティングやプロダクトの募集も行っています。詳しくは採用情報ページをご覧ください。