Как VerbaFlo революционизирует взаимодействие с клиентами в сфере недвижимости с помощью разговорных AI-агентов и Zilliz Cloud
До 50%
Сокращение затрат по сравнению с инфраструктурой MongoDB
Менее 10 миллисекунд
Прорыв в производительности
60+ QPS
производственные нагрузки с запасом для роста
Превосходные мультитенантные данные
изоляция и разделение
It has saved us cost by at least 25 to 30% on what we were earlier incurring on the vector database, with potential savings reaching up to 40-50% during peak traffic periods.
Rachit Jindal
О VerbaFlo
VerbaFlo — одна из самых адаптивных в мире платформ разговорного ИИ, меняющая подход специалистов по недвижимости к управлению операциями и взаимодействию с клиентами. Их платформа на базе ИИ объединяет голосовую связь, чат, текстовые сообщения и электронную почту в единый интеллектуальный движок, который обеспечивает почти человеческое общение 24/7. Благодаря таким продвинутым функциям, как подбор клиентов на основе ИИ, динамические механизмы ценообразования и автоматизированное управление недвижимостью, VerbaFlo обеспечивает последовательность, прозрачность и измеримую эффективность в каждом взаимодействии с клиентом. Планируя расширение в автомобильную отрасль, VerbaFlo позиционируется как лидер индустрии в области коммуникационных решений на базе ИИ.
Задача: масштабирование за пределы ограничений инфраструктуры
По мере того как AI-платформа VerbaFlo набирала популярность среди клиентов в сфере недвижимости, их первоначальная инфраструктура MongoDB Atlas начала демонстрировать критические ограничения, угрожавшие как клиентскому опыту, так и росту бизнеса. Компания работала с производственными нагрузками запросов, превышавшими 50–60 QPS, выводя систему за пределы того, что MongoDB могла надежно обрабатывать.
Задержки запросов были слишком высокими для разговорного ИИ в реальном времени, где пользователи ожидают мгновенных ответов, особенно во время голосовых звонков, когда задержки сразу становятся заметными. Команда экспериментировала с различными векторными базами данных, включая Qdrant и Pinecone, но ни одна из них не смогла масштабироваться так, чтобы соответствовать их высоким требованиям к производительности.
«Мы оказались в довольно сложной ситуации, когда в нашей производственной среде QPS превышал 50 или 60, и большинство существующих баз данных не могли масштабироваться до такого уровня. Даже MongoDB Atlas M30 или M40 не могли масштабироваться до этой отметки», — объясняет Рачит Джиндал, старший AI-инженер в VerbaFlo.
Проблемы выходили за рамки производительности. VerbaFlo столкнулась с четырьмя основными проблемами: неэффективность затрат из-за того, что кластеры MongoDB M40 были слишком дорогими для их требований, недостаточная поддержка высокой конкурентности, плохое время выполнения запросов и ограниченные возможности партиционирования. Команде требовалась сложная изоляция данных для их мультитенантной архитектуры; однако MongoDB не могла обеспечить надлежащую изоляцию пространств имен для различных коллекций и сред.
Эти инфраструктурные ограничения напрямую влияли на способность VerbaFlo обеспечивать бесшовную автоматизацию управления недвижимостью в реальном времени. С учетом агрессивных прогнозов роста и планов увеличить количество сущностей в 10–20 раз в течение нескольких кварталов компании требовалось решение, которое могло бы расти вместе с их амбициями.
Путь к Zilliz Cloud
Осознав, что архитектура базы данных стала критическим бизнес-ограничением, инженерная команда VerbaFlo провела комплексную оценку альтернативных векторных баз данных, включая Zilliz Cloud (управляемый сервис open-source Milvus), Pinecone, Qdrant, PostgreSQL с векторными расширениями и самостоятельно размещенный Milvus на AWS.
Zilliz Cloud оказался явным победителем по нескольким убедительным причинам. У Рачита был предыдущий опыт размещения Milvus on-premises, что дало ему уверенность в его возможностях горизонтального и вертикального масштабирования, а также во внутренней архитектуре. «Исходя из моего предыдущего опыта с Milvus, его внутренней архитектуры в части масштабируемости, горизонтального и вертикального масштабирования, это определенно тот вариант, который нашей команде стоит рассматривать как одну из потенциальных баз данных», — отмечает он.
Оценка показала, что Zilliz Cloud предлагает развитые возможности партиционирования и изоляции, которые идеально соответствуют требованиям VerbaFlo к мультитенантности. В отличие от MongoDB, где у них были «очень ограниченные возможности для создания индекса в конкретной коллекции» и они не могли «определить корректное пространство имён в корректной базе данных при создании коллекции», Zilliz Cloud обеспечил полноценную изоляцию баз данных и пространств имён для чёткого разделения между production-средами, staging-системами и их клиентской AI playground.
Ещё одним решающим фактором стали встроенные алгоритмы повторного ранжирования Zilliz Cloud. Вместо разработки собственных алгоритмов VerbaFlo смогла использовать взвешенное повторное ранжирование и системы RRF (Reciprocal Rank Fusion) «из коробки». «В Zilliz Cloud были определённые внутренние алгоритмы, которые хорошо подходят для нашего сценария использования, такие как системы weighted re-ranking и RRF re-ranking. Это помогло нам напрямую использовать их SDK, а также выполнять вычисления на лету, чтобы сократить время выполнения запросов», — объясняет Рачит.
Нативная поддержка гибридного поиска в Zilliz Cloud — объединяющего семантические и keyword-based запросы — идеально соответствует pipeline расширения запросов VerbaFlo. Что особенно важно, Zilliz Cloud мог обеспечить задержку менее 10 миллисекунд, необходимую их real-time приложениям, одновременно предлагая более качественные managed services по сравнению с другими альтернативами.
Как Zilliz Cloud обеспечивает работу real-time conversational AI agents в масштабе
Предыдущая архитектура VerbaFlo на базе MongoDB с трудом справлялась с production-нагрузками свыше 50-60 QPS, что приводило к узким местам, мешавшим ответам в реальном времени. Используя Zilliz Cloud в качестве основы, они построили сложную платформу conversational AI, которая в настоящее время обрабатывает более 40 000-50 000 сущностей с бесперебойной производительностью.
Новая архитектура агентов с Zilliz Cloud
В основе системы VerbaFlo лежит интеллектуальный механизм маршрутизации, который классифицирует намерения пользователей и направляет запросы в специализированные processing nodes. Zilliz Cloud обеспечивает работу критически важного RAG (Retrieval-Augmented Generation) node, который извлекает релевантный контекст из данных о недвижимости, историй клиентов и рыночной информации, чтобы генерировать точные персонализированные ответы.
Одной из самых ценных возможностей Zilliz Cloud для VerbaFlo является его продвинутая система партиционирования, которая обеспечивает два критически важных типа изоляции данных:
Разделение сред: Чёткая изоляция между их AI playground/labs средой и production collections, позволяющая клиентам тестировать и экспериментировать, не влияя на live operations
Оптимизация производительности: Данные сегментированы на более мелкие партиции на основе конкретных сценариев, что позволяет выполнять целевые запросы к ограниченным секциям, а не ко всем коллекциям целиком
Этот подход к партиционированию напрямую решает ограничения пространства имён, с которыми они столкнулись в MongoDB, где у них были «очень ограниченные возможности для создания индекса в конкретной коллекции» и они не могли «определить корректное пространство имён в корректной базе данных при создании коллекции».
Обеспечение работы Hybrid Search Pipeline с Zilliz Cloud
Система VerbaFlo не полагается на простые семантические поиски. Вместо этого их pipeline расширения запросов создаёт как семантические, так и keyword queries для каждого пользовательского запроса. Нативные возможности hybrid search в Zilliz Cloud и встроенные алгоритмы повторного ранжирования (weighted re-ranking и RRF) устраняют необходимость в собственной разработке, обеспечивая при этом лучшие результаты.
«В Zilliz Cloud были определённые внутренние алгоритмы, которые хорошо подходят для нашего сценария использования, такие как системы weighted re-ranking и RRF re-ranking. Это помогло нам напрямую использовать их SDK, а также выполнять вычисления на лету, чтобы сократить время выполнения запросов», — отмечает Рачит.
Бесшовная миграция: от ограничений MongoDB к производительности Zilliz Cloud
Переход с MongoDB Atlas на Zilliz Cloud продемонстрировал, как хорошо спланированная миграция базы данных может устранить критические узкие места в производительности без нарушения бизнес-операций.
Инженерная команда VerbaFlo подошла к миграции системно, используя обширную документацию Zilliz Cloud и ресурсы SDK. Миграция включала перенос существующих векторных эмбеддингов и метаданных с одновременным внедрением новых стратегий партиционирования, которые MongoDB не могла поддерживать.
«Документация по Zilliz Cloud, а также Milvus была довольно подробной и исчерпывающей. С учетом такой документации и всех документов по SDK мигрировать было, в общем-то, легко», — вспоминает Rachit.
Результаты и преимущества
Эффект от перехода на Zilliz Cloud был мгновенным и значительным по нескольким направлениям.
Снижение затрат до 50%: VerbaFlo сразу добилась экономии затрат на 25-30% по сравнению со своей инфраструктурой MongoDB Atlas. В периоды пиковой нагрузки потенциальная экономия могла достигать 40-50% благодаря эффективным возможностям авто-масштабирования Zilliz Cloud и оптимальным конфигурациям кластеров для production-ready сред.
Прорыв в производительности: менее 10 миллисекунд: Задержки запросов снизились с 15-20 миллисекунд до стабильного уровня менее 10 миллисекунд — существенное улучшение, которое клиенты заметили сразу. Такая производительность на уровне менее 10 миллисекунд обеспечивает по-настоящему разговорный опыт взаимодействия с AI в голосовых звонках, чат-виджетах и платформах обмена сообщениями.
Повышенная масштабируемость: Благодаря способности обрабатывать текущую нагрузку в 50-60 QPS со значительным запасом для роста VerbaFlo теперь имеет инфраструктурную основу для поддержки своих амбициозных планов масштабирования без снижения производительности.
Более эффективная изоляция данных и партиционирование: Расширенные возможности партиционирования Zilliz Cloud решили сложные требования VerbaFlo к мультитенантности, с которыми MongoDB не справлялась, значительно повысив как безопасность, так и производительность их мультитенантной архитектуры.
Соответствие требованиям и безопасность: Соответствие Zilliz Cloud требованиям GDPR и сертификаты безопасности позволяют VerbaFlo уверенно обслуживать клиентов в регионах Великобритании и ЕС, поддерживая планы международной экспансии.
Повышенная надежность системы: Благодаря uptime 99,5%+ Zilliz Cloud поддерживает обязательства VerbaFlo по круглосуточному обслуживанию, что критически важно для приложений в сфере недвижимости, где запросы клиентов не ограничиваются рабочим временем.
Бесшовная интеграция с экосистемой: Нативная совместимость Zilliz Cloud с поставщиками облачной инфраструктуры позволяет VerbaFlo использовать сервисы AWS, включая ECS, EKS и S3 buckets для хостинга и развертываний, одновременно поддерживая их мультиоблачную стратегию, охватывающую Google Cloud и различных поставщиков AI-сервисов.
Планы на будущее: расширение AI-инноваций в разных отраслях
После решения инфраструктурных проблем VerbaFlo реализует амбициозные планы расширения по нескольким направлениям. Компания прогнозирует значительный рост числа сущностей, ожидая масштабирования в 10-20 раз в течение следующих нескольких кварталов по мере увеличения трафика и подключения большего числа клиентов к их функции AI playground.
«Команда находится в постоянной фазе разработки, оптимизации наших существующих потоков и внедрения новых потоков внутри системы», — объясняет Rachit. «Мы определенно хотим в будущем использовать Zilliz Cloud для некоторых сценариев применения, которые планируем».
Что еще важнее, надежная основа, предоставленная Zilliz Cloud, позволила изучать совершенно новые отраслевые вертикали. VerbaFlo активно разрабатывает архитектуры AI-агентов для автомобильной и фармацевтической отраслей, используя те же возможности разговорного AI, которые доказали свою эффективность в секторе недвижимости.
Технические возможности, делающие такое расширение возможным, включают международные стандарты соответствия Zilliz Cloud и надежную производительность в масштабе, что дает VerbaFlo уверенность для выхода за пределы текущего рынка и построения глобального роста в нескольких секторах.
Заключение
Партнерство VerbaFlo с Zilliz Cloud демонстрирует, как правильный выбор инфраструктуры может превратить технические ограничения в конкурентные преимущества. Добившись экономии затрат на 25–30%, производительности запросов менее 10 миллисекунд и надежной масштабируемости с Zilliz Cloud, VerbaFlo заняла позицию для агрессивного роста в нескольких отраслях.
Поскольку VerbaFlo продолжает внедрять инновации в f и выходить на новые рынки, Zilliz Cloud предоставляет масштабируемую основу, необходимую им для преобразования того, как компании взаимодействуют со своими клиентами.
«Задержка менее 10 миллисекунд для запросов — это весьма показательный ориентир в отрасли векторных баз данных», — заключает Рачит. «В сочетании с экономией затрат и надежностью Zilliz Cloud стал стратегическим фактором реализации нашего более широкого видения трансформации разговорного ИИ в разных отраслях.»
- О VerbaFlo
- Задача: масштабирование за пределы ограничений инфраструктуры
- Путь к Zilliz Cloud
- Как Zilliz Cloud обеспечивает работу real-time conversational AI agents в масштабе
- Бесшовная миграция: от ограничений MongoDB к производительности Zilliz Cloud
- Результаты и преимущества
- Планы на будущее: расширение AI-инноваций в разных отраслях
- Заключение
Контент
Пример использования
Отрасль
Недвижимость
The sub-10 millisecond latency for queries is quite the benchmark in the industry for vector databases. Combined with the cost savings and reliability, Zilliz Cloud has become a strategic enabler for our broader vision of transforming conversational AI across industries.
Rachit Jindal