Ivy.ai масштабирует коммуникацию на базе GenAI с помощью Zilliz Cloud
Повышенная надежность
С момента внедрения Zilliz Cloud компания Ivy.ai не сталкивалась с перебоями в работе или значительными проблемами, обеспечивая стабильное обслуживание своих клиентов.
Расширенная масштабируемость
Возможность легко масштабировать ресурсы поддержала рост Ivy.ai и ее подход с бесплатной пробной версией для привлечения клиентов.
Оптимизированная производительность
Высокопроизводительная векторная база данных Zilliz Cloud позволила Ivy.ai сохранять быстрое время отклика, даже несмотря на то, что их данные выросли более чем на 200% с тех пор, как они начали использовать Zilliz Cloud.
I was benchmarking different vector databases, and Milvus was at the top among all the popular options on the market.
Saumil Patel
Об Ivy.ai
Ivy.ai — детище команды, стремящейся улучшить коммуникацию в высшем образовании, здравоохранении и других общественных секторах. Их флагманский продукт, IvyQuantum™, выпущенный в 2023 году, представляет собой продвинутый AI-чатбот, выходящий за рамки простых вопросов и ответов. Он предлагает:
Омниканальные возможности (web, SMS, voice, WhatsApp, social media)
Поддержку живого агента
Ответы на email, сгенерированные AI
Бесшовные интеграции для доступа к информации, связанной с конкретными аккаунтами, и сбора лидов
Помимо богатых возможностей, Ivy.ai также выделяется своей приверженностью безопасности и конфиденциальности данных — ключевому фактору для учреждений, работающих с чувствительной информацией. Используя источники данных, специфичные для конкретного учреждения, Ivy.ai гарантирует, что каждая реализация адаптирована к уникальным потребностям его клиентов.
Задача: масштабирование GenAI для образования
Команда Ivy.ai столкнулась с несколькими препятствиями при переходе от своей основанной на поиске Ivy 1.0 к более продвинутой IvyQuantum™, работающей на генеративном AI. Команде требовалось решение, которое могло бы:
Обрабатывать миллиарды векторов для их нового продукта
Обеспечивать высокоскоростные запросы для ответов, генерируемых AI в реальном времени
Обеспечивать надежную производительность по мере роста объема данных и требований
Позволять команде сосредоточиться на инновациях, а не на управлении инфраструктурой
В поисках подходящей технологии приверженность Ivy.ai была непоколебимой. Изначально они выбрали Milvus в качестве своей векторной базы данных. Саумил Патель, старший специалист по данным в Ivy.ai, объясняет: «Я проводил бенчмаркинг различных векторных баз данных, и Milvus был на первом месте среди всех популярных вариантов на рынке». Команда была впечатлена производительностью Milvus по количеству запросов в секунду, вставкам и полноте поиска — ключевым метрикам для их коммуникационной платформы на базе GenAI. Им требовалось решение, способное находить лучшие совпадения в векторной базе данных за доли секунды, когда пользователи задавали вопросы.
Выбрав Milvus, Ivy.ai попыталась самостоятельно разместить его с использованием Kubernetes на Google Cloud Platform. Однако этот подход оказался сложным. Михал Оглодек, CTO Ivy.ai, рассказывает: «Мы столкнулись с серьезными проблемами, когда система отказывала в продакшене из-за растущей нагрузки данных и увеличивающихся требований. Осознав необходимость более устойчивого решения, мы приняли стратегическое бизнес-решение не тратить значительное время и ресурсы на самостоятельное управление системой. Вместо этого мы выбрали более надежный и масштабируемый подход». Эти проблемы со стабильностью, в сочетании с возрастающими требованиями их растущего бизнеса, побудили Ivy.ai искать более масштабируемое управляемое решение, которое могло бы обеспечить производительность Milvus без операционных трудностей.
На сцену выходит Zilliz Cloud: полностью управляемое решение векторной базы данных в масштабе
После тщательной оценки Ivy.ai выбрала Zilliz Cloud, полностью управляемую версию векторной базы данных Milvus, которую они выбрали изначально. Это решение было основано на нескольких ключевых факторах, идеально соответствовавших потребностям Ivy.ai. Zilliz Cloud предоставил высокопроизводительное масштабируемое решение, способное обрабатывать миллиарды векторов, что было критически важно для приложений Retrieval Augmented Generation (RAG) в IvyQuantum™. Выбрав полностью управляемый сервис Zilliz Cloud, Ivy.ai избавилась от необходимости заниматься сложным администрированием базы данных, что позволило им сосредоточиться на своем основном бизнесе.
Как lvy.ai использует Zilliz Cloud для работы своего чатбота
Масштабируемость решения Zilliz Cloud была особенно привлекательной. Оглодек объясняет: «Мы хотели легко масштабироваться, и с вашим программным обеспечением и сервисом мы могли продолжать наращивать наши возможности в соответствии с нашими потребностями». Эта гибкость была крайне важна для растущих бизнес-потребностей Ivy.ai. Кроме того, управляемый сервис, предоставляемый Zilliz Cloud, решил проблемы со стабильностью, с которыми Ivy.ai сталкивалась при использовании самостоятельно размещаемых решений, обеспечив надежную производительность.
Патель особенно оценил возможности мониторинга и аналитики, заявив: «Я могу точно видеть количество запросов в секунду и общую емкость нашей базы данных». Такой уровень понимания производительности их базы данных оказался бесценным для оптимизации операций и планирования будущего роста.
Результаты: основа для инноваций
Внедрение Zilliz Cloud в качестве решения для векторной базы данных принесло Ivy.ai значительные преимущества:
Повышенная надежность: С момента перехода на Zilliz Cloud у Ivy.ai не было простоев или значительных проблем, что обеспечивает стабильный сервис для ее клиентов.
Улучшенная масштабируемость: Возможность легко масштабировать ресурсы поддержала рост Ivy.ai и ее подход с бесплатной пробной версией для привлечения клиентов.
Оптимизированная производительность: Высокопроизводительная векторная база данных Zilliz Cloud освободила Ivy.ai от беспокойства о поддержании быстрого времени отклика, даже несмотря на то, что объем их данных вырос более чем на 200% с тех пор, как они начали использовать Zilliz Cloud.
Оглодек кратко резюмировал их опыт: «Надежность, масштабируемость и производительность великолепны. А тот факт, что мы можем передать все это администрирование на аутсорсинг и не беспокоиться о поломках серверов, помогает нам направлять ресурсы на разработку продукта и инновации, что действительно отличает наш бизнес».
Взгляд в будущее
Благодаря стабильной, масштабируемой и высокопроизводительной основе, предоставляемой Zilliz Cloud, Ivy.ai имеет хорошие позиции для будущего роста, обеспечиваемого GenAI. Шэрон Харрисон, SVP of Marketing из Ivy.ai, подчеркивает, что «инновации лежат в основе нашей компании», намекая на несколько проектов на горизонте, которые потребуют дальнейшей поддержки со стороны Zilliz Cloud.
Поскольку GenAI продолжает трансформировать сферу образования, Ivy.ai, работающая на базе решения Zilliz Cloud для векторных баз данных, находится на переднем крае и готова удовлетворять меняющиеся потребности как учебных заведений, так и студентов.
Reliability, scalability, and performance are great. The fact that we can outsource all this kind of administration management and don't have to worry about servers breaking helps us put resources into product development and innovation, which truly differentiates our business.
Michal Oglodek