Формируя завтрашний день: как Milvus помогает реализовать мультимедийные амбиции Shopee
В мире электронной коммерции, чтобы оставаться впереди конкурентов, требуется нечто большее, чем просто удобный интерфейс и широкий ассортимент товаров. Shopee, ведущая платформа в Юго-Восточной Азии и Латинской Америке, поняла, как меняется рынок, и отправилась в новаторский путь, чтобы изменить свой бизнес Multimedia Understanding (MMU). Чтобы конкурировать с гигантами коротких видео, такими как TikTok, и защитить свою долю рынка электронной коммерции, Shopee вышла в сферу сервисов коротких видео. В этом блоге мы рассмотрим проблемы, с которыми столкнулась Shoppee в ходе этого процесса, и то, как Milvus помог мультимедийному бизнесу Shopee.
Дилемма Shopee с данными
По мере того как Shopee погружалась в мир мультимедиа, она столкнулась с серьезной проблемой — обработкой огромных объемов неструктурированных данных, включая видео, изображения, аудио и текст. Реляционные базы данных, которые Shopee использовала ранее, с трудом справлялись со сложностью всех неструктурированных данных, что побудило команду исследовать надежный технологический стек, способный эффективно хранить, обрабатывать, искать и максимально эффективно использовать такие данные. векторная база данных — одна из самых важных частей их исследования.
Дополнительную сложность создавали внутренние системы Shopee — поиск релевантных видео, дедупликация видео и рекомендации видео, — каждая из которых была создана с использованием разных технологий и в значительной степени полагалась на возможности векторного поиска. Shopee требовалось решение, бесшовно интегрированное с этими системами и различными технологическими стеками.
Milvus оказывается идеальным вариантом
После тщательного изучения доступных вариантов Milvus выделился своей способностью обрабатывать миллиарды векторов, масштабируемостью и бесшовной интеграцией с внутренней экосистемой Shopee. Milvus предложил облачно-нативную архитектуру, благодаря которой стало легко создавать системы векторного поиска с нуля.
Команде Shopee также понравился богатый набор возможностей Milvus, включая распределенную обработку, поддержку GPU, инкрементальные обновления и поддержку скалярных данных, что сделало его идеальным выбором для создания высокомасштабируемой и производительной поисковой системы на основе векторов.
Миграция с Milvus 1.x на Milvus 2.x
Путь Shopee с Milvus включал миграцию с версии 1.x на 2.x. Изначально эффективная версия 1.x столкнулась с проблемами по мере масштабирования бизнеса Shopee. Возникли проблемы с задержками из-за неравномерного распределения сегментов между узлами только для чтения. Миграция на Milvus 2.x стала поворотным моментом.
Повышенная стабильность, масштабируемость и возможности работы с несколькими репликами в версиях Milvus 2.x привели к созданию сервисов поиска с низкой задержкой и высокой доступностью. Облачно-нативная архитектура версий Milvus 2.x представила экономичные функции ведения журналов и мониторинга, оптимизировав операции Shopee.
Использование Milvus также подняло возможности поиска Shopee в реальном времени на беспрецедентный уровень. Яркий пример этого улучшения можно увидеть в системе поиска релевантных видео. Milvus бесшовно интегрирует мгновенный поиск релевантных видео в системы рекомендаций видео Shopee, способствуя улучшению пользовательского опыта для миллионов людей по всему миру. Кроме того, Milvus значительно оптимизировал офлайн-извлечение данных — критически важный аспект для сопоставления видео с точки зрения авторских прав и процессов дедупликации видео. Его роль в распознавании оригинального контента и выявлении дублирующихся видео гарантирует, что контент сохраняет свою свежесть и подлинность, в конечном итоге повышая удовлетворенность пользователей.
Сейчас Shopee использует Milvus 2.2 в продакшене и рассматривает возможность обновления до последних версий для повышения производительности и получения более богатых возможностей, таких как Mmap, индексирование GPU и поиск по диапазону.
Формируя будущее электронной коммерции с Milvus
Оснащённая Milvus, Shopee представляет будущее, в котором понимание мультимедиа бесшовно интегрируется с пользовательским опытом, прокладывая новые пути в электронной коммерции. По мере того как Shopee продолжает развиваться, Milvus остаётся близким партнёром, готовым удовлетворять всё более сложные потребности в области ИИ.
Читать далее
What Is a Vector Lakebase?
A Vector Lakebase is a unified, lake-native data architecture for AI that combines vector-database-grade serving with open lake storage, reusable lake-level indexes, and a shared semantic layer.
The Real Bottlenecks in Autonomous Driving — And How AI Infrastructure Can Solve Them
Autonomous driving faces a data bottleneck. Learn how AI-native vector databases like Zilliz solve scale, cost, and insight challenges across AV pipelines.
Balancing Precision and Performance: How Zilliz Cloud's New Parameters Help You Optimize Vector Search
Optimize vector search with Zilliz Cloud’s level and recall features to tune accuracy, balance performance, and power AI applications.