Цзян Чэнь: почему я присоединился к Zilliz
Новые вызовы
За последнее десятилетие я специализировался на различных аспектах инфраструктуры данных, включая контроль доступа, конфиденциальность данных, NoSQL-базы данных и, совсем недавно, индексацию данных веб-масштаба. В эпоху веба и мобильных устройств большие данные стали значимой инфраструктурной инновацией, а такие технологии, как MapReduce, распределённые вычисления и структурированное хранение данных, оказались на переднем крае. Эпоха ИИ требует иных технологических стеков, особенно с ростом популярности Large Language Models. Эмбеддинги и векторные хранилища находятся в центре внимания, и именно они также являются фокусом Zilliz.
Непосредственно перед переходом в Zilliz я занимался поисковой индексацией в Google. Я работал над созданием ультрагибких инфраструктур для понимания миллиардов изображений и видео в общедоступном вебе, генерации структурированных меток для веб-страниц, охватывающих различные мультимедийные данные, и преобразования их в поисковые индексы. Эти технологии заложили основу для продуктовых инноваций, ориентированных на пользователей, таких как поиск коротких видео. Однако традиционные методы понимания неструктурированных данных, таких как текст, изображения и видео, требовали генерации множества меток с использованием нескольких моделей машинного обучения. Этот процесс опирался на сложную инфраструктуру, включающую инференс ML-моделей, оркестрацию бизнес-логики и алгоритмы извлечения данных, что создавало значительные трудности.
Кроме того, извлечение поискового контента также сталкивалось с ограничениями традиционных систем на основе правил (сопоставление ключевых слов с инвертированными индексами). Стало очевидно, что извлечение на основе эмбеддингов обеспечивает существенное повышение релевантности результатов поиска. Хотя эмбеддинги не являются чем-то новым для поиска и уже много лет используются в традиционном веб-поиске, внедрение извлечения на основе эмбеддингов или гибридного подхода для многочисленных новых поисковых продуктов оказалось значительным вызовом даже для Google.
Когда я впервые встретился с Robert, руководителем продукта в Zilliz, меня впечатлила амбиция демократизировать технологии эмбеддингов и векторного поиска. Меня также мотивирует возможность участвовать в этой потрясающей волне ИИ.
Предоставляя разработчикам возможности раскрыть потенциал неструктурированных данных
Несмотря на осознание потенциала эмбеддингов, многим разработчикам и компаниям требуется более развитая инфраструктура, чтобы эффективно организовывать неструктурированные данные в виде векторных эмбеддингов. Однако в современную эпоху ИИ я твёрдо убеждён, что AI-native инфраструктура является ключом к будущему бизнеса. Такие инфраструктуры используют большие нейросетевые модели, векторное хранение и специализированные вычислительные системы, разработанные специально для них. Наблюдая за работой такой инфраструктуры в глобальном масштабе, я с энтузиазмом отношусь к демократизации этой чрезвычайно сложной инфраструктуры, позволяющей стартапам с ограниченными ресурсами использовать технологии ИИ и создавать прорывные приложения, которые продвигают человечество вперёд.
Потрясающие люди
Я уже был в мире стартапов. Пережив американские горки запуска нового проекта, выгорание из-за поиска слабого соответствия продукта рынку и охоту за следующим раундом финансирования, я твёрдо знаю, что при решении сложных задач в условиях неопределённости самое важное — работать с командой замечательных людей, которым можно доверять.
Познакомившись с исключительной командой Charles, Robert и James, я сразу понял, что они опытные предприниматели, полностью осознающие неопределённость предпринимательства и всё же готовые посвятить себя ему. Я понял, что это идеальная группа для совместной работы, поэтому без колебаний решил присоединиться к этой выдающейся команде.
Именно поэтому я в итоге присоединился к Zilliz – чтобы пройти через неопределенность; для этого нужны и жизненно важная миссия, и группа умных и стойких людей, с которыми можно работать, — всё это есть в Zilliz, и многое другое, к чему мы будем стремиться вместе.
Что больше всего вдохновляет меня здесь, в Zilliz
Что больше всего вдохновляет меня сейчас — это задача создания максимально удобных и практичных продуктов, которые упрощают работу разработчиков с неструктурированными данными. Это сложная проблема, для которой не существует универсального решения; она требует от нас определить дорожную карту на будущее. В Zilliz мы свободны делать всё, что правильно, — это преимущество работы в стартапе. Решение этой проблемы требует сильного инженерного бэкграунда, глубокого продуктового понимания и эмпатии к разработчикам. Моя ежедневная рутина включает:
Участие в обсуждениях с командами продаж и архитекторами решений.
Определение деталей продукта.
Руководство техническим проектированием.
Проведение код-ревью.
Мне нравится такой стиль работы, и я каждый день узнаю что-то новое.
Присоединяйтесь к нам на переднем крае инфраструктур AI
Здесь, в Zilliz, мы создаем набор инструментов и сервисов, которые упрощают процесс извлечения информации из неструктурированных данных. У нас есть Towhee — универсальное решение для ETL неструктурированных данных и создания embedding; Akcio — open-source реализация Retrieval Augmented Generation; и векторная база данных, которая эффективно хранит и ищет vector embeddings.
Если то, что я здесь описал, вам интересно, пожалуйста, дайте нам знать! У нас есть различные открытые позиции в инженерных ролях. Если создание инфраструктур для эффективного управления и использования неструктурированных данных — это то, что вас вдохновляет, вам не стоит упускать шанс поработать с нами. У нас также есть открытые позиции в маркетинге и продукте; не стесняйтесь посетить нашу страницу вакансий, чтобы узнать больше.
Читать далее
Our Journey to 35K+ GitHub Stars: The Real Story of Building Milvus from Scratch
Join us in celebrating Milvus, the vector database that hit 35.5K stars on GitHub. Discover our story and how we’re making AI solutions easier for developers.
Build for the Boom: Why AI Agent Startups Should Build Scalable Infrastructure Early
Explore strategies for developing AI agents that can handle rapid growth. Don't let inadequate systems undermine your success during critical breakthrough moments.
Vector Databases vs. Key-Value Databases
Use a vector database for AI-powered similarity search; use a key-value database for high-throughput, low-latency simple data lookups.