Фрэнк Лю: Почему я присоединился к компании, занимающейся векторными базами данных
«Модели машинного обучения похожи на язык для компьютеров, а эмбеддинги — это слова». Я часто использую эту аналогию, чтобы описать модели машинного обучения (ML) и соответствующие им эмбеддинги — будь то в беседе один на один или во время ключевого выступления. Я работаю в сфере машинного обучения и рядом с ней (в основном в подполе компьютерного зрения) почти десять лет с момента окончания университета. Эта аналогия — лаконичный способ объяснить важность эмбеддингов более широкой аудитории.
Подобно тому как в человеческом мозге есть специальная область для воспоминаний и эмоций (гиппокамп), машинам также нужно постоянное решение для хранения и индексации машинных слов и мыслей. Именно здесь на сцену выходит векторная база данных — это гиппокамп для машин. Именно это мы и создаем в Zilliz.
Миссия Zilliz не нашла бы во мне отклика, если бы я не понимал силу эмбеддингов. В этой записи блога я расскажу вам о своем пути в этой области и покажу, как в итоге оказался в Zilliz.
Краткое введение в эмбеддинги
На протяжении десятилетий мы пытались «научить» компьютеры понимать мир так же, как мы. Ранние попытки создания чатботов, например, были сосредоточены на распознавании ключевых слов и фраз, создавая иллюзию общего понимания. До недавнего времени мы добились невероятного прогресса на пути к чатботу общего назначения с помощью LLM, таких как Claude, Bard и ChatGPT, что открыло возможность появления интеллектуальных «агентов», способных планировать и выполнять сложные задачи. В своей основе эти чатботы являются специализированными нейронными сетями — ML-моделями, обученными с использованием одного из множества вариантов стохастического градиентного спуска. Если вы не знакомы с нейронными сетями, можете думать о них как о больших компьютерных моделях, которые используют последовательные «слои» для построения мощных представлений, невозможных при использовании алгоритмов, созданных вручную.
В основе всех ML-моделей лежат концепции, известные как эмбеддинги, которые представляют собой высокоразмерные векторы. Они дают абстрактный, но убедительный способ представления входных данных в модели. У этих эмбеддингов есть уникальные свойства, но я не буду рассматривать их в этой записи. Если вам интересно узнать больше, вы можете прочитать мой пост о векторном поиске, в котором изложена большая часть основ.
Мои (многочисленные) столкновения с векторным поиском
Мое первое знакомство с потенциалом эмбеддингов произошло в 2014 году, когда я начал работать с нейронными сетями в Yahoo. В то время машинное обучение все еще было «диким западом», и инструментов для нейронных сетей не существовало. Платформы оркестрации на основе контейнеров только начинали набирать популярность (первая версия Docker была выпущена в 2013 году). Это было невероятно захватывающее время для участия в компьютерном зрении и машинном обучении.
В рамках наших усилий по расширению платформ и сервисов Yahoo возможностями машинного обучения мы стали одними из первых пользователей векторного поиска. Это решение вылилось в проект длиной в несколько месяцев по внедрению крупномасштабного семантического поиска во Flickr, продукт, который в то время принадлежал Yahoo. Хотя я не был напрямую вовлечен в этот проект, я внимательно за ним следил. Ранняя итерация этого векторного поиска была включена в Vespa, еще одного игрока в сфере векторных баз данных.
Примерно в то же время многие крупные корпорации начали осознавать потенциал векторного поиска, особенно для приложений в компьютерном зрении, таких как распознавание изображений. Хотя я ценил мощь нейронных сетей и представлений на основе эмбеддингов, мне хотелось больше работать с аппаратным обеспечением, поскольку в колледже я изучал электротехнику. В результате я покинул эту область и основал в Шанхае компанию, занимающуюся indoor localization. В течение следующих 2-3 лет я усвоил важный урок — создать hardware-компанию непросто.
В 2019 году мы переключились на использование машинного обучения и потоковых данных с инерциальных измерительных блоков (IMU). Эмбеддинги сыграли решающую роль в нашем успехе, и мы заключили контракты на внедрение нашего решения для различных клиентов, включая многие компании из списка Fortune 500. Я продолжал работать над стартапом еще два года, пока мы наконец не вышли на самоокупаемость. В этот момент я решил, что пришло время для нового приключения.
Перенесемся в 2021 год: у меня появилась возможность встретиться с Charles (нашим CEO) и Robert (Head of Product). За эти годы эмбеддинги и векторный поиск стали центральной частью моей профессиональной идентичности и успеха в более широкой сфере ML. Поэтому миссия Zilliz сразу нашла во мне отклик. Изучив более широкое пространство векторных баз данных, я был удивлен тем, что на рынке отсутствует доступное и масштабируемое решение для векторного поиска, несмотря на то что это хорошо известный и мощный инструмент. Возможность векторных баз данных стать фактическим решением для хранения данных в эпоху AI/ML была для меня очевидна. Поэтому я решился на этот шаг.
Демократизация корпоративной AI-инфраструктуры
В Zilliz мы столкнулись с некоторыми трудностями при внедрении масштабируемых, облачно-нативных векторных баз данных. Какими бы мощными ни были эмбеддинги, ML-инженеры (и я в том числе) часто недооценивают важность инфраструктуры и инструментов. В душе мы создатели и почти всегда предпочитаем тратить время на работу с обучающими данными или совершенствование архитектуры модели, а не беспокоиться о том, как развернуть приложение в production. В области эмбеддингов Zilliz твердо находится в центре более широких усилий по демократизации корпоративной AI-инфраструктуры.
Присоединяйтесь к нам!
Если это сообщение вам близко, пожалуйста, дайте нам знать! У нас открыты разные вакансии в GTM, product и engineering. Если вы также увлечены рекомендательными системами, семантическим поиском и тем, как в целом сделать компьютеры более «человечными», смело загляните на нашу страницу вакансий.
Читать далее
How to Improve Retrieval Quality for Japanese Text with Sudachi, Milvus/Zilliz, and AWS Bedrock
Learn how Sudachi normalization and Milvus/Zilliz hybrid search improve Japanese RAG accuracy with BM25 + vector fusion, AWS Bedrock embeddings, and practical code examples.
Introducing Zilliz Cloud Global Cluster: Region-Level Resilience for Mission-Critical AI
Zilliz Cloud Global Cluster delivers multi-region resilience, automatic failover, and fast global AI search with built-in security and compliance.
Zilliz Cloud Launches in AWS Australia, Expanding Global Reach to Australia and Neighboring Markets
We're thrilled to announce that Zilliz Cloud is now available in the AWS Sydney, Australia region (ap-southeast-2).