Формируя завтрашний день: как Milvus помогает реализовать мультимедийные амбиции Shopee
В мире электронной коммерции, чтобы оставаться впереди конкурентов, требуется нечто большее, чем просто удобный интерфейс и широкий ассортимент товаров. Shopee, ведущая платформа в Юго-Восточной Азии и Латинской Америке, поняла, как меняется рынок, и отправилась в новаторский путь, чтобы изменить свой бизнес Multimedia Understanding (MMU). Чтобы конкурировать с гигантами коротких видео, такими как TikTok, и защитить свою долю рынка электронной коммерции, Shopee вышла в сферу сервисов коротких видео. В этом блоге мы рассмотрим проблемы, с которыми столкнулась Shoppee в ходе этого процесса, и то, как Milvus помог мультимедийному бизнесу Shopee.
Дилемма Shopee с данными
По мере того как Shopee погружалась в мир мультимедиа, она столкнулась с серьезной проблемой — обработкой огромных объемов неструктурированных данных, включая видео, изображения, аудио и текст. Реляционные базы данных, которые Shopee использовала ранее, с трудом справлялись со сложностью всех неструктурированных данных, что побудило команду исследовать надежный технологический стек, способный эффективно хранить, обрабатывать, искать и максимально эффективно использовать такие данные. векторная база данных — одна из самых важных частей их исследования.
Дополнительную сложность создавали внутренние системы Shopee — поиск релевантных видео, дедупликация видео и рекомендации видео, — каждая из которых была создана с использованием разных технологий и в значительной степени полагалась на возможности векторного поиска. Shopee требовалось решение, бесшовно интегрированное с этими системами и различными технологическими стеками.
Milvus оказывается идеальным вариантом
После тщательного изучения доступных вариантов Milvus выделился своей способностью обрабатывать миллиарды векторов, масштабируемостью и бесшовной интеграцией с внутренней экосистемой Shopee. Milvus предложил облачно-нативную архитектуру, благодаря которой стало легко создавать системы векторного поиска с нуля.
Команде Shopee также понравился богатый набор возможностей Milvus, включая распределенную обработку, поддержку GPU, инкрементальные обновления и поддержку скалярных данных, что сделало его идеальным выбором для создания высокомасштабируемой и производительной поисковой системы на основе векторов.
Миграция с Milvus 1.x на Milvus 2.x
Путь Shopee с Milvus включал миграцию с версии 1.x на 2.x. Изначально эффективная версия 1.x столкнулась с проблемами по мере масштабирования бизнеса Shopee. Возникли проблемы с задержками из-за неравномерного распределения сегментов между узлами только для чтения. Миграция на Milvus 2.x стала поворотным моментом.
Повышенная стабильность, масштабируемость и возможности работы с несколькими репликами в версиях Milvus 2.x привели к созданию сервисов поиска с низкой задержкой и высокой доступностью. Облачно-нативная архитектура версий Milvus 2.x представила экономичные функции ведения журналов и мониторинга, оптимизировав операции Shopee.
Использование Milvus также подняло возможности поиска Shopee в реальном времени на беспрецедентный уровень. Яркий пример этого улучшения можно увидеть в системе поиска релевантных видео. Milvus бесшовно интегрирует мгновенный поиск релевантных видео в системы рекомендаций видео Shopee, способствуя улучшению пользовательского опыта для миллионов людей по всему миру. Кроме того, Milvus значительно оптимизировал офлайн-извлечение данных — критически важный аспект для сопоставления видео с точки зрения авторских прав и процессов дедупликации видео. Его роль в распознавании оригинального контента и выявлении дублирующихся видео гарантирует, что контент сохраняет свою свежесть и подлинность, в конечном итоге повышая удовлетворенность пользователей.
Сейчас Shopee использует Milvus 2.2 в продакшене и рассматривает возможность обновления до последних версий для повышения производительности и получения более богатых возможностей, таких как Mmap, индексирование GPU и поиск по диапазону.
Формируя будущее электронной коммерции с Milvus
Оснащённая Milvus, Shopee представляет будущее, в котором понимание мультимедиа бесшовно интегрируется с пользовательским опытом, прокладывая новые пути в электронной коммерции. По мере того как Shopee продолжает развиваться, Milvus остаётся близким партнёром, готовым удовлетворять всё более сложные потребности в области ИИ.
Читать далее
Zilliz Cloud Update: Tiered Storage, Business Critical Plan, Cross-Region Backup, and Pricing Changes
This release offers a rebuilt tiered storage with lower costs, a new Business Critical plan for enhanced security, and pricing updates, among other features.
How to Build an Enterprise-Ready RAG Pipeline on AWS with Bedrock, Zilliz Cloud, and LangChain
Build production-ready enterprise RAG with AWS Bedrock, Nova models, Zilliz Cloud, and LangChain. Complete tutorial with deployable code.
DeepSeek vs. OpenAI: A Battle of Innovation in Modern AI
Compare OpenAI's o1 and o3-mini with DeepSeek R1's open-source alternative. Discover which AI model offers the best balance of reasoning capabilities and cost efficiency.