Как Zilliz Cloud способствует глобальному росту CX Genie с помощью быстрого и надежного векторного поиска
В 2 раза быстрее
производительность запросов по сравнению с их предыдущим решением
Задержка 5-10 мс
для поиска векторного сходства по 1 млн+ эмбеддингов
Снижение затрат на 70%
по сравнению с самостоятельно размещаемой инфраструктурой
Нулевое время простоя
после миграции, по сравнению с ежедневными сбоями в их предыдущем решении
With Zilliz Cloud, we've achieved query latencies as low as 5-10ms across our million-vector database. This represents performance that's twice as fast as our previous solution, which directly translates to more responsive chatbots for our customers.
Nguyễn Ngọc Hải Đăng_ Nguyễn Nhật Khoa
О CX Genie
CX Genie — это стартап в сфере разговорного ИИ, предоставляющий чатбот-решения для команд поддержки клиентов. Их платформа, разработанная как для МСП, так и для крупных предприятий, помогает компаниям автоматизировать клиентский сервис с помощью интеллектуальных, персонализированных и масштабируемых AI-взаимодействий.
Штаб-квартира компании находится во Вьетнаме, но она обслуживает преимущественно международную клиентскую базу — с сильным присутствием в США и на других глобальных рынках. CX Genie поддерживает более 100 000 пользователей, закрепляя за собой статус быстрорастущего игрока в сфере клиентского опыта на базе ИИ.
Техническая задача: масштабирование AI-чатбота на основе RAG с высокой производительностью и надежностью
Основа работы CX Genie построена на технике Retrieval-Augmented Generation (RAG), которая использует векторный поиск для извлечения релевантной информации из баз знаний и генерации точных ответов в реальном времени. Однако по мере роста пользовательской базы их первоначальная конфигурация — с использованием open-source решений для векторного поиска, таких как Qdrant и Chroma, — перестала справляться с нагрузкой.
Nguyễn Ngọc Hải Đăng, AI Engineer в CX Genie, отметил: "До Zilliz у нас почти ежедневно случались простои по несколько минут с нашим предыдущим решением для векторной базы данных. Когда вы обрабатываете обращения в поддержку клиентов, которые должны быть доступны 24/7, это было просто неприемлемо для роста нашего бизнеса."
Инженерная команда столкнулась с несколькими серьезными проблемами:
Рост задержки во время выполнения запросов по мере увеличения объемов данных
Медленное время индексации, которое не успевало за расширяющимися базами знаний
Скрытые затраты и сложность управления инфраструктурой собственными силами
Ежедневные простои системы, влияющие на надежность и клиентский опыт
Инженерные ресурсы, отвлеченные на управление базой данных вместо продуктовых инноваций
Эти проблемы все больше затрудняли предоставление быстрого и отзывчивого опыта взаимодействия с чатботом, которого ожидали их клиенты. Требовалось новое решение для векторной базы данных — такое, которое могло бы бесшовно масштабироваться, снижать операционную нагрузку и повышать надежность без ущерба для производительности.
Почему выбрали Zilliz Cloud: производительность, простота и экономическая эффективность
Когда CX Genie начала искать новую векторную базу данных, им была нужна не просто более высокая скорость — они искали платформу, способную соответствовать их растущим техническим требованиям без увеличения операционной сложности.
Их оценка была сосредоточена на шести ключевых критериях:
Производительность запросов и задержка, особенно при векторных нагрузках миллионного масштаба
Низкие операционные издержки, чтобы освободить инженерные ресурсы
Экономическая эффективность по сравнению с self-hosted решениями
Масштабируемость для поддержки роста бизнеса
Простая интеграция с их существующей архитектурой на базе LangChain
Богатый набор функций, включая фильтрацию по метаданным и продвинутую индексацию
Zilliz Cloud полностью соответствовал всем требованиям. По сравнению с их open-source стеком с Chroma и Qdrant, который требовал ручного управления и частого устранения неполадок, Zilliz Cloud предложил полностью управляемую платформу, устранившую инфраструктурную нагрузку и позволившую команде сосредоточиться на создании своего основного продукта.
Процесс онбординга оказался на удивление простым. Благодаря подробной документации и хорошо спроектированным API команда смогла подключиться и протестировать запросы за считанные минуты, ускорив разработку и снизив трение как на этапах миграции, так и интеграции.
Как Zilliz Cloud обеспечивает работу RAG-системы CX Genie
В основе разговорной AI-платформы CX Genie лежит двухэтапный конвейер на базе Retrieval-Augmented Generation (RAG): этап загрузки данных и этап извлечения. Zilliz Cloud играет критически важную роль в обеспечении производительности и масштабируемости обоих этапов.
Этап загрузки данных
На этапе приема данных различные источники бизнес-знаний — включая HTML-страницы, документы, FAQ и статьи — сначала разбиваются на управляемые фрагменты. Эти фрагменты пропускаются через модель эмбеддингов (например, embedder OpenAI) для генерации плотных векторных представлений. Полученные эмбеддинги затем загружаются в Zilliz Cloud, где они эффективно хранятся и индексируются.
Это позволяет CX Genie поддерживать актуальную векторную базу данных, отражающую развивающуюся базу знаний каждого клиента, с богатой поддержкой метаданных и партиционированием на основе бизнес-атрибутов, таких как регион или тип продукта.
Этап извлечения
Когда пользователь отправляет вопрос, он также преобразуется в эмбеддинг с использованием того же embedder. Этот эмбеддинг запроса отправляется в Zilliz Cloud, который выполняет top-k поиск по сходству среди сохраненных векторов. Zilliz возвращает наиболее релевантные фрагменты, которые затем передаются в большую языковую модель (LLM) для генерации более адекватного ответа.
Благодаря низколатентному поиску Zilliz Cloud, широким возможностям фильтрации и масштабируемой архитектуре CX Genie может извлекать наиболее релевантный контекст за миллисекунды, позволяя чатботам отвечать точно и быстро даже при высоких объемах трафика.
Измеримые результаты: скорость, масштаб и экономия затрат
После перехода на Zilliz Cloud CX Genie получила значительные технические и бизнес-преимущества:
задержка 5-10 мс для поисков векторного сходства по 1M+ эмбеддингов
в 2 раза более высокая производительность запросов по сравнению с их предыдущей реализацией Chroma
70% экономии затрат по сравнению с самостоятельно размещаемой инфраструктурой
Нулевое время простоя с момента миграции, по сравнению с ежедневными сбоями в их предыдущем решении
Более точное извлечение с использованием возможностей фильтрации по метаданным и партиционирования
Сниженная нагрузка на инженеров благодаря полностью управляемой инфраструктуре
"Перейдя на Zilliz Cloud, мы сократили затраты на инфраструктуру нашей векторной базы данных примерно на 70% по сравнению с нашей самостоятельно размещаемой конфигурацией. Это позволяет нам реинвестировать сэкономленные средства в улучшение наших ключевых AI-возможностей, а не в управление инфраструктурой баз данных," — сказал Nguyễn Ngọc Hải Đăng.
Эти улучшения помогли CX Genie обеспечить более быстрые и релевантные взаимодействия с клиентами — без чрезмерной нагрузки на инженерную команду или облачный бюджет — в конечном итоге создавая лучший опыт для их конечных пользователей.
Опыт разработчиков и бесшовная миграция
Для инженерной команды CX Genie переход на Zilliz Cloud упростил как разработку, так и управление системой. Процесс онбординга прошел гладко: Python SDK и справочные материалы API позволили быстро и просто приступить к работе. Ранее поддержка их самостоятельно размещаемой конфигурации требовала постоянных усилий со стороны нескольких команд. Благодаря управляемой инфраструктуре Zilliz Cloud основные операции теперь выполняются с минимальным контролем. Такие функции, как фильтрация по нескольким условиям и партиционированные коллекции, упростили для команды организацию и извлечение эмбеддингов по региону или бизнес-контексту.
Несмотря на то что процесс миграции выполнялся вручную, команда сочла его очень эффективным. Они использовали REST API и возможности bulk insert для переноса данных из PostgreSQL, сохраняя при этом структуру своих метаданных и эмбеддингов. Согласовав коллекции и партиции со своей внутренней логикой, они обеспечили организованность и высокую производительность системы после миграции.
Что дальше: расширение возможностей с Zilliz Cloud
CX Genie продолжает развивать свою платформу AI-чатботов и стремится расширить использование Zilliz Cloud. Они планируют изучить улучшения в управлении индексированием и ожидают улучшений UI — особенно в части API playground, который является критически важным интерфейсом при работе с крупномасштабными эмбеддингами от таких провайдеров, как OpenAI.
По мере масштабирования для обслуживания большего числа глобальных клиентов партнерство с Zilliz Cloud останется краеугольным камнем их инфраструктурной стратегии.
Заключение
Путь CX Genie подчеркивает силу сочетания стратегической RAG-архитектуры с производительной и надежной векторной базой данных. Благодаря Zilliz Cloud они смогли сохранить гибкость стартапа, работая при этом в глобальном масштабе, — предоставляя компаниям по всему миру более быстрый, умный и экономически эффективный клиентский опыт на базе ИИ.
Сосредоточившись на решении как технических задач (производительность векторного поиска, надежность системы), так и бизнес-задач (эффективность клиентской поддержки, сокращение затрат), CX Genie демонстрирует, как правильный выбор инфраструктуры может напрямую влиять на удовлетворенность клиентов и рост бизнеса.
- О CX Genie
- Техническая задача: масштабирование AI-чатбота на основе RAG с высокой производительностью и надежностью
- Почему выбрали Zilliz Cloud: производительность, простота и экономическая эффективность
- Как Zilliz Cloud обеспечивает работу RAG-системы CX Genie
- Измеримые результаты: скорость, масштаб и экономия затрат
- Опыт разработчиков и бесшовная миграция
- Что дальше: расширение возможностей с Zilliz Cloud
- Заключение
Контент
Пример использования
Отрасль
Интернет-услуги
Thanks to the well-designed Python SDK and REST API, we were able to integrate Zilliz Cloud with our LangChain-based architecture in a matter of days. The schema-based collections perfectly aligned with how we structure our data, making the transition nearly seamless.
Nguyễn Ngọc Hải Đăng_ Nguyễn Nhật Khoa