Фрэнк Лю: Почему я присоединился к компании, занимающейся векторными базами данных
«Модели машинного обучения похожи на язык для компьютеров, а эмбеддинги — это слова». Я часто использую эту аналогию, чтобы описать модели машинного обучения (ML) и соответствующие им эмбеддинги — будь то в беседе один на один или во время ключевого выступления. Я работаю в сфере машинного обучения и рядом с ней (в основном в подполе компьютерного зрения) почти десять лет с момента окончания университета. Эта аналогия — лаконичный способ объяснить важность эмбеддингов более широкой аудитории.
Подобно тому как в человеческом мозге есть специальная область для воспоминаний и эмоций (гиппокамп), машинам также нужно постоянное решение для хранения и индексации машинных слов и мыслей. Именно здесь на сцену выходит векторная база данных — это гиппокамп для машин. Именно это мы и создаем в Zilliz.
Миссия Zilliz не нашла бы во мне отклика, если бы я не понимал силу эмбеддингов. В этой записи блога я расскажу вам о своем пути в этой области и покажу, как в итоге оказался в Zilliz.
Краткое введение в эмбеддинги
На протяжении десятилетий мы пытались «научить» компьютеры понимать мир так же, как мы. Ранние попытки создания чатботов, например, были сосредоточены на распознавании ключевых слов и фраз, создавая иллюзию общего понимания. До недавнего времени мы добились невероятного прогресса на пути к чатботу общего назначения с помощью LLM, таких как Claude, Bard и ChatGPT, что открыло возможность появления интеллектуальных «агентов», способных планировать и выполнять сложные задачи. В своей основе эти чатботы являются специализированными нейронными сетями — ML-моделями, обученными с использованием одного из множества вариантов стохастического градиентного спуска. Если вы не знакомы с нейронными сетями, можете думать о них как о больших компьютерных моделях, которые используют последовательные «слои» для построения мощных представлений, невозможных при использовании алгоритмов, созданных вручную.
В основе всех ML-моделей лежат концепции, известные как эмбеддинги, которые представляют собой высокоразмерные векторы. Они дают абстрактный, но убедительный способ представления входных данных в модели. У этих эмбеддингов есть уникальные свойства, но я не буду рассматривать их в этой записи. Если вам интересно узнать больше, вы можете прочитать мой пост о векторном поиске, в котором изложена большая часть основ.
Мои (многочисленные) столкновения с векторным поиском
Мое первое знакомство с потенциалом эмбеддингов произошло в 2014 году, когда я начал работать с нейронными сетями в Yahoo. В то время машинное обучение все еще было «диким западом», и инструментов для нейронных сетей не существовало. Платформы оркестрации на основе контейнеров только начинали набирать популярность (первая версия Docker была выпущена в 2013 году). Это было невероятно захватывающее время для участия в компьютерном зрении и машинном обучении.
В рамках наших усилий по расширению платформ и сервисов Yahoo возможностями машинного обучения мы стали одними из первых пользователей векторного поиска. Это решение вылилось в проект длиной в несколько месяцев по внедрению крупномасштабного семантического поиска во Flickr, продукт, который в то время принадлежал Yahoo. Хотя я не был напрямую вовлечен в этот проект, я внимательно за ним следил. Ранняя итерация этого векторного поиска была включена в Vespa, еще одного игрока в сфере векторных баз данных.
Примерно в то же время многие крупные корпорации начали осознавать потенциал векторного поиска, особенно для приложений в компьютерном зрении, таких как распознавание изображений. Хотя я ценил мощь нейронных сетей и представлений на основе эмбеддингов, мне хотелось больше работать с аппаратным обеспечением, поскольку в колледже я изучал электротехнику. В результате я покинул эту область и основал в Шанхае компанию, занимающуюся indoor localization. В течение следующих 2-3 лет я усвоил важный урок — создать hardware-компанию непросто.
В 2019 году мы переключились на использование машинного обучения и потоковых данных с инерциальных измерительных блоков (IMU). Эмбеддинги сыграли решающую роль в нашем успехе, и мы заключили контракты на внедрение нашего решения для различных клиентов, включая многие компании из списка Fortune 500. Я продолжал работать над стартапом еще два года, пока мы наконец не вышли на самоокупаемость. В этот момент я решил, что пришло время для нового приключения.
Перенесемся в 2021 год: у меня появилась возможность встретиться с Charles (нашим CEO) и Robert (Head of Product). За эти годы эмбеддинги и векторный поиск стали центральной частью моей профессиональной идентичности и успеха в более широкой сфере ML. Поэтому миссия Zilliz сразу нашла во мне отклик. Изучив более широкое пространство векторных баз данных, я был удивлен тем, что на рынке отсутствует доступное и масштабируемое решение для векторного поиска, несмотря на то что это хорошо известный и мощный инструмент. Возможность векторных баз данных стать фактическим решением для хранения данных в эпоху AI/ML была для меня очевидна. Поэтому я решился на этот шаг.
Демократизация корпоративной AI-инфраструктуры
В Zilliz мы столкнулись с некоторыми трудностями при внедрении масштабируемых, облачно-нативных векторных баз данных. Какими бы мощными ни были эмбеддинги, ML-инженеры (и я в том числе) часто недооценивают важность инфраструктуры и инструментов. В душе мы создатели и почти всегда предпочитаем тратить время на работу с обучающими данными или совершенствование архитектуры модели, а не беспокоиться о том, как развернуть приложение в production. В области эмбеддингов Zilliz твердо находится в центре более широких усилий по демократизации корпоративной AI-инфраструктуры.
Присоединяйтесь к нам!
Если это сообщение вам близко, пожалуйста, дайте нам знать! У нас открыты разные вакансии в GTM, product и engineering. Если вы также увлечены рекомендательными системами, семантическим поиском и тем, как в целом сделать компьютеры более «человечными», смело загляните на нашу страницу вакансий.
Читать далее
Introducing Functions and Model Inference on Zilliz Cloud: Automatic Embedding and Reranking with Hosted Models
Zilliz Cloud Functions auto-generate embeddings via OpenAI, Voyage AI, Cohere, or Zilliz Hosted Models. Built-in reranking — just insert text and search.
Why I’m Against Claude Code’s Grep-Only Retrieval? It Just Burns Too Many Tokens
Learn how vector-based code retrieval cuts Claude Code token consumption by 40%. Open-source solution with easy MCP integration. Try claude-context today.
The Real Bottlenecks in Autonomous Driving — And How AI Infrastructure Can Solve Them
Autonomous driving faces a data bottleneck. Learn how AI-native vector databases like Zilliz solve scale, cost, and insight challenges across AV pipelines.