Как Solvely.ai масштабирует обучение с ИИ по всему миру с помощью молниеносного векторного поиска на Zilliz Cloud
На 70% ниже задержка
Поиск векторов менее чем за 100 мс даже при пиковой нагрузке
Ответы в 4–5 раз быстрее
Мгновенное сопоставление с решениями, проверенными экспертами, для более эффективного обучения
~60% ниже затраты на инфраструктуру
Экономически эффективное масштабирование до сотен миллионов вопросов
Нулевое время простоя
Стабильная и надежная производительность при глобальных рабочих нагрузках с высокой параллельностью
From a performance standpoint, Zilliz Cloud's retrieval speed far exceeds our existing system. We achieved approximately 70% reduction in retrieval latency, which translates to a 4-5x improvement in overall problem-solving time when we successfully match original questions. Whether measured by speed, cost, or overall value, Zilliz Cloud perfectly met our expectations.
Dr. Nick Yuan
О Solvely
Solvely.ai — это обучающая платформа на базе ИИ, обслуживающая почти 10 миллионов студентов, преподавателей и специалистов — от K–12 и высшего образования до тех, кто учится на протяжении всей жизни. Известная своими сильными возможностями в математике, бизнесе, медицине и науках о жизни, а также STEM-дисциплинах, Solvely превращает учебные материалы в мгновенные объяснения, персонализированную практику и мультимодальные учебные руководства.
Solvely выделяется своим гибридным подходом: модели ИИ генерируют интеллектуальные решения, одновременно сверяясь с огромной библиотекой контента, проверенного экспертами, что делает платформу надежным инструментом для учащихся, которым важна точность. Но по мере того как этот банк вопросов вырос до сотен миллионов, а пользовательская база продолжала быстро масштабироваться, предоставление быстрых и надежных ответов стало серьезной инженерной задачей. В конечном итоге это давление привело команду к внедрению векторной базы данных Zilliz Cloud в качестве движка для их векторного поиска.
С Zilliz Cloud Solvely теперь обеспечивает более быстрые ответы, меньшую задержку и более плавный процесс обучения, помогая миллионам учащихся получать необходимую поддержку именно тогда, когда она им нужна. По мере того как Solvely продолжает расширять свои продуктовые предложения и глобальный охват, Zilliz Cloud предоставляет масштабируемую и экономически эффективную векторную основу, которая поддерживает максимальную производительность платформы, приближая видение Solvely о доступном и качественном обучении еще на один шаг к реальности.
Болезни роста устаревшей системы
Одна из ключевых функций Solvely основана на быстром сопоставлении задач, отправленных студентами, с курируемой базой проверенных высококачественных вопросов и ответов. Такой подход сочетает надежность структурированного банка вопросов с гибкостью и способностями к рассуждению больших языковых моделей.
Чтобы сделать это возможным, Solvely с самого начала использовала поиск по векторному сходству. Традиционные системы на основе ключевых слов и шаблонов могли сопоставлять текст только буквально, пропуская похожие вопросы, сформулированные немного иначе или представленные разными способами. Благодаря векторному поиску Solvely могла встраивать математический или научный вопрос студента и находить концептуально похожие задачи, поддерживая как точные курируемые решения, так и улучшенное рассуждение ИИ за счет поиска на основе примеров. Для этого от их векторной инфраструктуры требовались две ключевые возможности: крупномасштабная офлайн-кластеризация для группировки миллионов вопросов по концепциям и быстрый, надежный онлайн-поиск для поддержки рабочих процессов выполнения домашних заданий в реальном времени.
На ранних этапах существующие сервисы хорошо справлялись с этими потребностями. При меньшем наборе данных и более низком объеме трафика задержка запросов и затраты были управляемыми, а простой API системы помогал команде быстро двигаться вперед. Но масштаб приносит сложность. С сотнями миллионов вопросов в библиотеке и миллионами пользователей, полагающихся на платформу, производительность и стоимость начали отходить от того, что требовалось платформе. Задержка, которая когда-то составляла несколько сотен миллисекунд, в часы пик превышала одну секунду, когда многие студенты одновременно отправляли запросы. Эти задержки напрямую влияли на опыт студентов.
Затраты также стали проблемой. Поддержание приемлемой производительности требовало перехода на значительно более дорогие тарифные уровни, а модель ценообразования существующей системы приводила к тому, что расходы на хранение и поиск росли быстрее, чем фактическое использование Solvely. В итоге команда достигла точки, когда устаревшая система больше не была устойчивой. Solvely требовались меньшая задержка, более предсказуемое масштабирование и структура затрат, подходящая для быстро растущей глобальной образовательной платформы. Совокупное давление производительности и стоимости подтолкнуло их к оценке альтернативных векторных баз данных, лучше подходящих для высоконагруженных и чувствительных к стоимости ИИ-приложений.
Почему Zilliz Cloud
Когда Solvely начала оценивать альтернативные векторные базы данных, Zilliz Cloud быстро стала одним из главных претендентов. Команда уже имела обширный опыт работы с Milvus — широко используемой open-source векторной базой данных, созданной командой Zilliz, — на ранних этапах разработки. Это знакомство придало Solvely уверенности как в самой технологии, так и в более широкой экосистеме, когда они рассматривали переход на полностью управляемое решение.
Их оценка была сосредоточена на трех практических критериях:
Скорость поиска при высокой конкуренции
Экономическая эффективность при масштабировании
Операционная простота
Чтобы получить точное сравнение, Solvely перенесла репрезентативную часть своих данных в Zilliz Cloud и провела benchmark-тесты напрямую в сравнении со своим существующим развертыванием. Результаты были очевидны:
Zilliz Cloud обеспечила в 2–3 раза более высокую скорость поиска при идентичной нагрузке.
Задержка снизилась с более чем 1 секунды до менее чем 100 мс, даже во время пиковой конкуренции.
Затраты на инфраструктуру сократились примерно на 60% благодаря более эффективному использованию ресурсов Zilliz Cloud и выгодной модели ценообразования.
Операционная простота оказалась столь же важной, как и чистая производительность. По мере расширения их банка вопросов до сотен миллионов Solvely нуждалась в сервисе, который масштабировался бы плавно, не требуя дополнительных инженерных затрат. Zilliz Cloud удовлетворила эту потребность, позволив команде сосредоточиться на улучшении опыта обучения студентов, а не на поддержке backend-инфраструктуры.
«Нам нужно было что-то, что позволило бы нам быстро выйти в production прямо из коробки», — сказал доктор Ник Юань, CTO Solvely.
Помимо скорости и стоимости, набор функций Zilliz Cloud обеспечил гибкость, необходимую Solvely по мере дальнейшего роста платформы. Управление партициями и кластерами позволило организовать их огромную базу вопросов по предметам и типам контента. Auto-scaling — как динамическое масштабирование на основе нагрузки в реальном времени, так и запланированное масштабирование для предсказуемых всплесков трафика — обеспечил стабильно высокую производительность в пиковые часы выполнения домашних заданий.
Решение: обеспечение работы AI-системы обучения Solvely с помощью Zilliz Cloud
Система Solvely работает как единый сквозной Retrieval-Augmented Generation (RAG) pipeline, оптимизированный для решения учебных задач. На высоком уровне pipeline состоит из двух тесно связанных этапов:
Заблаговременная подготовка большого, высококачественного банка вопросов
Выполнение низколатентного семантического поиска в реальном времени, когда студенты отправляют вопросы.
Zilliz Cloud служит уровнем векторного поиска на протяжении всего pipeline, поддерживая как крупномасштабную offline-индексацию, так и online-поиск с высокой конкуренцией.
Подготовка банка вопросов
Прежде чем обрабатывать какие-либо live-запросы, Solvely обрабатывает и организует сотни миллионов вопросов из нескольких источников, включая фотографии домашних заданий, загруженные студентами, и наборы данных, подготовленные экспертами. Поскольку эти входные данные сильно различаются по структуре и качеству, их необходимо нормализовать и обогатить, прежде чем по ним можно будет надежно выполнять поиск в масштабе.
Загрузка контента: Изображения домашних заданий и вручную составленные вопросы поступают в систему в разных форматах. Solvely очищает, дедуплицирует и стандартизирует этот контент, чтобы его можно было единообразно обрабатывать и последовательно индексировать в Zilliz Cloud.
Нормализация с учетом предметной области: Каждый вопрос обрабатывается в рамках своей академической дисциплины, чтобы сохранить предметно-специфическую структуру и смысл, а не сводить его к универсальному тексту. Например:
Химия: молекулярные формулы, символы элементов и реакции сохраняются без изменений
Геометрия: сохраняются пространственные отношения и информация, связанная с диаграммами
Гуманитарные науки: сохраняются повествовательная структура и контекстуальный смысл
Генерация embeddings: Solvely генерирует embeddings для всего корпуса вопросов с использованием моделей Google или OpenAI. Эти векторы заранее сохраняются и индексируются в Zilliz Cloud, формируя основу для низколатентного семантического поиска во время запроса.
Прямая интеграция с Zilliz Cloud: Сгенерированные векторы и метаданные записываются напрямую в Zilliz Cloud. Сохраняя pipeline легковесным и избегая сложных инструментов оркестрации, Solvely поддерживает лучший контроль производительности и может тонко настраивать систему для разных предметов.
Поиск в реальном времени во время рабочих процессов учащихся
Когда учащийся отправляет вопрос по домашнему заданию, та же подготовленная инфраструктура активируется в реальном времени. Этот онлайн-процесс должен быть быстрым, надежным и способным обрабатывать сложные академические входные данные при высокой параллельной нагрузке.
Предобработка вопроса:
Если вопрос отправлен в виде изображения, OCR сначала извлекает текст. Затем система выявляет формулы, символы и подсказки, связанные с диаграммами, и преобразует входные данные в чистое, стандартизированное представление, подходящее для embedding.
Векторный поиск с Zilliz Cloud:
Обработанный вопрос преобразуется в вектор размерностью 1000+ с использованием embedding-моделей Google или OpenAI и отправляется в Zilliz Cloud для поиска по сходству. Этот процесс позволяет системе искать по смыслу, а не по точному совпадению формулировок.
Затем Solvely выполняет два типа взаимодополняющего поиска:
Поиск фоновых знаний: Подтягивает предметно-специфическую фоновую информацию, такую как химические константы, математические тождества или соответствующие справочные материалы. Такое обоснование помогает LLM рассуждать точнее и снижает количество неподтвержденных или галлюцинированных ответов.
Поиск похожих вопросов:: Находит ранее решенные, проверенные людьми вопросы из базы данных Solvely. Эти кандидаты повторно ранжируются LLM, чтобы уловить тонкие сходства, которые один только векторный поиск может пропустить, обеспечивая использование наиболее релевантных примеров.
Предметно-ориентированное использование извлеченного контента:
Solvely применяет разные правила в зависимости от предмета. Для математики и естественных наук извлеченные примеры помогают AI понять метод решения без копирования точных чисел или ответов. Для гуманитарных дисциплин извлеченный материал предоставляет фон и контекст для поддержки объяснения и интерпретации, а не дает фиксированный ответ.
Переформулирование запроса для повышения качества ответа:
Наконец, система может перефразировать исходный вопрос, чтобы уловить его более широкий замысел — например, сосредоточившись на базовой концепции, а не на точной формулировке. Это помогает извлекать полезный контекст, который может не совпадать с текстом напрямую, но необходим для правильного решения задачи.
Процесс миграции оказался удивительно гладким
Одной из главных проблем Solvely при смене баз данных была сама миграция. В существующей системе у них хранились сотни миллионов вопросов — сколько времени займет перенос всех этих данных? Требует ли это написания сложных скриптов миграции? Будет ли простой, влияющий на пользователей?
На практике миграция прошла исключительно гладко. Zilliz Cloud предоставил встроенные инструменты миграции, которые напрямую подключаются к их предыдущей системе. По сути, процесс выполнялся в один клик — настроить подключение, указать, что нужно перенести, и запустить pipeline. Инструменты взяли на себя основную работу по переносу векторов, управлению метаданными и сохранению структуры. Команде не нужно было писать какой-либо пользовательский код или оркестрировать сложный data pipeline.
Результаты и влияние
После миграции на Zilliz Cloud Solvely отметила измеримые улучшения по нескольким направлениям:
Снижение задержки на 70%: Задержка на этапе retrieval снизилась примерно на 70% по сравнению с предыдущим развертыванием. В периоды пиковой нагрузки запросы, которые раньше занимали более секунды, теперь выполняются за десятки или малые сотни миллисекунд.
Снижение инфраструктурных затрат примерно на 60%: Ежемесячные инфраструктурные затраты на vector search снизились примерно на 60% сразу после миграции при обработке эквивалентных или более высоких объемов запросов.
Более высокая точность поиска: Для предметов, с которыми LLM традиционно справляются с трудом, таких как химия, геометрия и математический анализ, подход на основе RAG значительно повысил точность решений. Учитывая, что производительность базовой модели уже высока, этот дополнительный прирост является значительным.
Нулевое время простоя, высокая доступность: С момента миграции у них не было простоев, а проблемы с производительностью были минимальными. Система плавно справляется с изменяющимися условиями нагрузки. Когда у них возникают вопросы или они хотят что-то оптимизировать, они получают быстрые ответы от команды поддержки, возглавляемой техническими экспертами, которые хорошо понимают их сценарий использования.
Помимо улучшения производительности, инженерная команда Solvely также увидела очевидные операционные преимущества. Документация и примеры Zilliz Cloud упростили начало работы, а команда поддержки быстро реагировала при возникновении проблем. Такие функции, как автоматическое и запланированное масштабирование, сократили повседневную работу по управлению инфраструктурой, поэтому команда смогла больше сосредоточиться на создании продукта.
Извлеченные уроки
Опыт Solvely подчеркивает несколько практических выводов для команд, создающих похожие системы поиска на базе ИИ:
Похожие вопросы так же важны, как и точные совпадения. Изначально команда ожидала, что будет в значительной степени полагаться на точные совпадения вопросов. На практике похожие вопросы с небольшими вариациями (например, с измененными числовыми значениями) оказались не менее ценными. Предоставление их LLM в качестве контекста улучшило качество ответов даже при отсутствии точного совпадения.
Переформулирование запросов помогает находить более релевантные результаты. Вместо того чтобы встраивать исходный вопрос пользователя как есть, его переформулирование, чтобы он лучше соответствовал тому, как данные хранятся в векторной базе данных, привело к более качественным результатам поиска.
Повторное ранжирование результатов после извлечения повышает точность. Использование LLM для оценки и ранжирования извлеченных кандидатов перед генерацией финального ответа помогло вывести на первый план наиболее релевантные совпадения, особенно для вопросов, включающих визуальные элементы, такие как диаграммы или формулы.
Текстовый поиск по-прежнему хорошо работает. Хотя мультимодальные эмбеддинги являются активно развивающейся областью интереса, команда обнаружила, что OCR с последующим текстовым эмбеддингом дает более надежные результаты, чем текущие подходы к эмбеддингам изображений для их образовательного сценария использования.
Управляемые сервисы ускоряют итерации. Выбор полностью управляемой векторной базы данных позволил команде сосредоточить инженерные усилия на своем основном продукте, а не на операциях с инфраструктурой.
Заглядывая вперед, Solvely планирует протестировать гибридный поиск, который сочетает семантический поиск с поиском по ключевым словам — что особенно полезно для учебных материалов, где важны точные термины. Они также следят за улучшениями в мультимодальных эмбеддингах, которые в конечном итоге могут позволить прямой поиск «изображение к изображению» для предметов с большим количеством диаграмм.
Заключение
Когда Solvely.ai в 2023 году поставила перед собой цель демократизировать образование с помощью искусственного интеллекта, они знали, что техническая инфраструктура будет критически важна для их миссии. Чего они не ожидали, так это того, насколько быстро они перерастут свое первоначальное решение для векторной базы данных. По мере того как их база вопросов выросла до сотен миллионов записей, а пользовательская база увеличилась до 10 миллионов студентов по всему миру, задержка запросов стала узким местом, угрожавшим тому самому пользовательскому опыту, который они стремились довести до совершенства.
Миграция в Zilliz Cloud преобразила их техническую основу. Задержка запросов сократилась на 70%, расходы на инфраструктуру снизились на 60%, и, что самое важное, студенты смогли получать помощь с домашними заданиями в 4–5 раз быстрее, когда система сопоставляла вопросы с их курируемой базой данных. Но помимо цифр, Zilliz Cloud дала Solvely нечто более ценное: свободу сосредоточиться на создании инновационных образовательных продуктов, а не на борьбе с операциями с базами данных.
Поскольку Solvely.ai продолжает расширять свои продуктовые предложения и пользовательскую базу, Zilliz Cloud предоставляет масштабируемую и экономически эффективную основу векторной базы данных, необходимую для обслуживания миллионов студентов по всему миру, приближая видение образовательного равенства к реальности.
The migration was incredibly smooth. Using the built-in tools, we were able to import our data from Pinecone with essentially one click. The technical support has also been excellent — our questions get resolved almost instantly, and the documentation, demos, and examples are thorough and easy to work with.
Technical Team