Формируя завтрашний день: как Milvus помогает реализовать мультимедийные амбиции Shopee
В мире электронной коммерции, чтобы оставаться впереди конкурентов, требуется нечто большее, чем просто удобный интерфейс и широкий ассортимент товаров. Shopee, ведущая платформа в Юго-Восточной Азии и Латинской Америке, поняла, как меняется рынок, и отправилась в новаторский путь, чтобы изменить свой бизнес Multimedia Understanding (MMU). Чтобы конкурировать с гигантами коротких видео, такими как TikTok, и защитить свою долю рынка электронной коммерции, Shopee вышла в сферу сервисов коротких видео. В этом блоге мы рассмотрим проблемы, с которыми столкнулась Shoppee в ходе этого процесса, и то, как Milvus помог мультимедийному бизнесу Shopee.
Дилемма Shopee с данными
По мере того как Shopee погружалась в мир мультимедиа, она столкнулась с серьезной проблемой — обработкой огромных объемов неструктурированных данных, включая видео, изображения, аудио и текст. Реляционные базы данных, которые Shopee использовала ранее, с трудом справлялись со сложностью всех неструктурированных данных, что побудило команду исследовать надежный технологический стек, способный эффективно хранить, обрабатывать, искать и максимально эффективно использовать такие данные. векторная база данных — одна из самых важных частей их исследования.
Дополнительную сложность создавали внутренние системы Shopee — поиск релевантных видео, дедупликация видео и рекомендации видео, — каждая из которых была создана с использованием разных технологий и в значительной степени полагалась на возможности векторного поиска. Shopee требовалось решение, бесшовно интегрированное с этими системами и различными технологическими стеками.
Milvus оказывается идеальным вариантом
После тщательного изучения доступных вариантов Milvus выделился своей способностью обрабатывать миллиарды векторов, масштабируемостью и бесшовной интеграцией с внутренней экосистемой Shopee. Milvus предложил облачно-нативную архитектуру, благодаря которой стало легко создавать системы векторного поиска с нуля.
Команде Shopee также понравился богатый набор возможностей Milvus, включая распределенную обработку, поддержку GPU, инкрементальные обновления и поддержку скалярных данных, что сделало его идеальным выбором для создания высокомасштабируемой и производительной поисковой системы на основе векторов.
Миграция с Milvus 1.x на Milvus 2.x
Путь Shopee с Milvus включал миграцию с версии 1.x на 2.x. Изначально эффективная версия 1.x столкнулась с проблемами по мере масштабирования бизнеса Shopee. Возникли проблемы с задержками из-за неравномерного распределения сегментов между узлами только для чтения. Миграция на Milvus 2.x стала поворотным моментом.
Повышенная стабильность, масштабируемость и возможности работы с несколькими репликами в версиях Milvus 2.x привели к созданию сервисов поиска с низкой задержкой и высокой доступностью. Облачно-нативная архитектура версий Milvus 2.x представила экономичные функции ведения журналов и мониторинга, оптимизировав операции Shopee.
Использование Milvus также подняло возможности поиска Shopee в реальном времени на беспрецедентный уровень. Яркий пример этого улучшения можно увидеть в системе поиска релевантных видео. Milvus бесшовно интегрирует мгновенный поиск релевантных видео в системы рекомендаций видео Shopee, способствуя улучшению пользовательского опыта для миллионов людей по всему миру. Кроме того, Milvus значительно оптимизировал офлайн-извлечение данных — критически важный аспект для сопоставления видео с точки зрения авторских прав и процессов дедупликации видео. Его роль в распознавании оригинального контента и выявлении дублирующихся видео гарантирует, что контент сохраняет свою свежесть и подлинность, в конечном итоге повышая удовлетворенность пользователей.
Сейчас Shopee использует Milvus 2.2 в продакшене и рассматривает возможность обновления до последних версий для повышения производительности и получения более богатых возможностей, таких как Mmap, индексирование GPU и поиск по диапазону.
Формируя будущее электронной коммерции с Milvus
Оснащённая Milvus, Shopee представляет будущее, в котором понимание мультимедиа бесшовно интегрируется с пользовательским опытом, прокладывая новые пути в электронной коммерции. По мере того как Shopee продолжает развиваться, Milvus остаётся близким партнёром, готовым удовлетворять всё более сложные потребности в области ИИ.
Читать далее
Migrating Self-Managed Milvus to Zilliz Cloud for >99% Latency Reduction
Step-by-step guide to migrating 50M vectors from self-managed Milvus to Zilliz Cloud using milvus-backup. Achieve >99% query latency reduction with zero data loss.
Introducing Zilliz CLI and Agent Skills for Zilliz Cloud
Manage your vector database from your terminal or AI coding agent. Zilliz CLI and Agent Skills work with Claude Code, Cursor, Codex, and Copilot.
Zilliz Cloud Enterprise Vector Search Powers High-Performance AI on AWS
Zilliz Cloud on AWS powers secure, scalable, ultra-fast vector search for enterprise AI apps, with BYOC, sub-10ms latency, and zero-DevOps simplicity.