Shopee революционизирует свой мультимедийный бизнес с помощью Milvus
> 100M
хранение и поиск векторов встраивания
Бесшовная интеграция
Работа с различными внутренними системами и технологическими стеками
Улучшенный поиск данных в режиме реального времени
с уменьшенной задержкой и повышенной доступностью системы
Milvus has dramatically facilitated the MMU team in building various business systems and effectively supports our rapid business growth. Thanks to the Milvus team for developing such a fantastic vector database with stable vector search capabilities and rich functionalities.
The MMU team
О Shopee
Shopee - ведущая платформа электронной коммерции в Юго-Восточной Азии и Латинской Америке, преодолевающая разрыв между покупателями и продавцами различных товаров. Благодаря удобному интерфейсу, безопасным способам оплаты и широкому ассортименту товаров Shopee обеспечивает миллионам региональных пользователей беспрепятственный онлайн-шопинг, что делает его лучшим выбором.
Shopee запустил бизнес по созданию мультимедийных сервисов (MMU), чтобы конкурировать с такими гигантами коротких видеороликов, как TikTok, и не дать им откусить долю рынка электронной коммерции. В рамках бизнеса MMU Shopee развернула свои услуги по просмотру коротких видео, включая функцию, подобную TikTok, под названием Shopee video и приложение для просмотра коротких видео.
Проблема: Отсутствие надежного векторного поискового механизма для огромных объемов неструктурированных данных
В развивающемся мультимедийном предприятии Shopee приток огромных объемов неструктурированных данных, включающих видео, изображения, аудио и текст, представлял собой серьезную проблему и оказался сложным для традиционных баз данных. Для эффективного извлечения полезной информации из этих данных команда Shopee использовала инструменты встраивания для преобразования неструктурированных данных в векторы встраивания, но при этом остро нуждалась в надежной системе векторных баз данных для хранения этих векторов и быстрого поиска по ним.
Различные внутренние системы Shopee, включая системы отзыва видео, дедупликации видео и видеорекомендаций, еще больше усложняли сценарий. Эти системы были тщательно разработаны для управления и развития мультимедийного бизнеса Shopee. Эти внутренние системы были созданы на основе различных технологий и в значительной степени зависели от возможностей векторного поиска. Поэтому Shopee требовалась надежная система векторного поиска, которая бы легко вписывалась в эти системы и различные технологические стеки.
Решение: Создание векторной поисковой системы с помощью Milvus
Команда MMU тщательно изучила различные векторные поисковые системы с открытым исходным кодом в поисках надежного решения. После обширных исследований Milvus оказался идеальным вариантом. Milvus может обрабатывать миллиарды векторов и быстро масштабироваться при увеличении объема данных. Облачная архитектура Milvus легко интегрировалась с внутренней экосистемой Shopee, что позволило быстро создать векторную поисковую систему с нуля. Многофункциональные предложения Milvus, включая распределенную обработку, поддержку GPU, инкрементные обновления и поддержку скаляров, полностью отвечали многогранным требованиям Shopee. После тщательного рассмотрения команда выбрала Milvus в качестве основы для векторного поискового движка, чтобы построить свои системы векторного поиска с нуля.
Поисковая система, построенная на базе Milvus 1.x: Эффективная, но с высокой задержкой при увеличении объема данных
Изначально команда MUU Shopee внедрила Milvus 1.x, используя распределенное решение с использованием Milvus 1.1 и Mishards. Это эффективное решение могло решить проблемы Shopee, связанные с хранением и поиском огромного количества векторов. Однако по мере роста бизнеса Shopee с быстро увеличивающимся объемом данных и запросов возникли проблемы. Стандартная стратегия чередования Mishards иногда приводила к неравномерному распределению сегментов между узлами, доступными только для чтения, что вызывало задержки. Решение было найдено путем развертывания нескольких кластеров Mishards, совместного использования баз данных и ведер S3.
Milvus 2.x: Перемена к лучшему, обеспечивающая улучшенную масштабируемость и сниженную задержку
Хотя поисковая система, созданная в Milvus 1.x, была эффективной, такой подход требовал значительных затрат на развертывание и обслуживание, что побудило команду исследовать более эффективные методы развертывания.
С внедрением Milvus 2.x системы Shopee претерпели кардинальные изменения. Повышенная стабильность, масштабируемость и возможность многократного повторения в Milvus 2.x оказались революционными. Эти улучшения укрепили службы поиска в режиме реального времени, обеспечив низкую задержку и высокую доступность. Облачная архитектура Milvus 2.x позволила внедрить недорогие функции ведения журналов и мониторинга, открыв эру удобных и более эффективных решений для Shopee.
Архитектура Milvus 2.x
Milvus расширяет возможности различных бизнес-систем
Возможности поиска в реальном времени Shopee достигли новых высот благодаря интеграции Milvus. Система видеоотзывов - яркий пример этого улучшения. Milvus легко интегрировал систему мгновенного поиска видео в систему видеорекомендаций Shopee, что улучшило пользовательский опыт миллионов людей по всему миру. Milvus также сделал поиск данных в автономном режиме, что очень важно для авторского подбора видео и дедупликации видео, гораздо более эффективным. Milvus играет важную роль в распознавании оригинального контента и выявлении дубликатов видео, обеспечивая сохранение свежести и оригинальности контента и повышая удовлетворенность пользователей.
Система видеорекомендаций: Улучшение видеорекомендаций
Система видеоотзывов Shopee использует Milvus в качестве краеугольного камня в процессе рекомендации видео. Когда пользователь ищет видео, компания запрашивает доступ к Milvus для получения наиболее похожих кандидатов Top-K. Эти результаты проходят доработку с помощью алгоритмов пост-ранжирования, после чего возвращаются пользователю.
Архитектура системы видеопоиска с использованием Milvus 1.x
Изначально Shopee использовал версию Milvus 1.x для создания системы видеопоиска. Однако по мере масштабирования системы она столкнулась с проблемами задержки. Чтобы решить эту проблему, Shopee внедрила механизм кэширования для хранения обновлений Top-K и бэкэнда. Обновление до Milvus 2.x упростило архитектуру системы и ее работу, обеспечив возможность прямого вызова Top-K через надежные распределенные интерфейсы Milvus и повысив производительность системы.
Архитектура системы видеовоспроизведения с использованием Milvus 2.x
Система подбора авторских прав: Улучшенный пользовательский опыт и целостность системы
Сервисы коротких видеороликов Shopee становятся все более популярными, что приводит к созданию и загрузке на платформу большого количества видеороликов. Чтобы обеспечить превосходный пользовательский опыт и защитить авторские права создателей видео, Shopee внедрила систему сопоставления авторских прав с помощью Milvus. Все характеристики видео преобразуются в векторы и хранятся в Milvus, а каждое вновь загруженное видео сопоставляется с видео, хранящимся в Milvus, с помощью поиска по сходству.
Архитектура системы сопоставления авторских прав
Метод состоит из четырех основных модулей: предварительной обработки, извлечения признаков, сортировки результатов и повторного сканирования. Эти модули работают вместе для точного выявления дубликатов или украденного контента, обеспечивая целостность и надежность системы.
Система дедупликации видео: Повышение ценности для пользователей
Система дедупликации видео предназначена для удаления избыточного контента с видеоплатформы Shopee. Как и система сопоставления авторских прав Shopee, система дедупликации использует Milvus для хранения векторов встраивания, преобразованных из характеристик видео. Система эффективно выявляет и удаляет дубликаты видео путем поиска в Milvus результатов Top-K, которые наиболее похожи на определенную часть. Помимо поиска сходства по Top-K, система использует и другие методы обработки, такие как пакетный поиск данных, пост-ранжирование, кластеризация и присвоение отпечатков пальцев. В итоге Milvus сохраняет все эти результаты, предоставляя ценные сведения различным подразделениям.
Архитектура системы дедупликации видео
Дорога вперед
Сотрудничество Shopee с Milvus - это свидетельство силы инноваций в формировании будущего электронной коммерции. Milvus расширил возможности мультимедийного бизнеса Shopee, снабдив его инструментами, необходимыми для разгадки сложностей понимания мультимедиа. Заглядывая в будущее, Shopee предполагает, что Milvus будет развиваться, чтобы отвечать все более сложным требованиям искусственного интеллекта. С Milvus в качестве надежного партнера Shopee ожидает будущее, в котором понимание мультимедиа легко интегрируется с пользовательским опытом, прокладывая новые пути в электронной коммерции.
Это сообщение написано командой Shopee MMU и отредактировано и опубликовано здесь с разрешения.
- О Shopee
- Проблема: Отсутствие надежного векторного поискового механизма для огромных объемов неструктурированных данных
- Решение: Создание векторной поисковой системы с помощью Milvus
- Поисковая система, построенная на базе Milvus 1.x: Эффективная, но с высокой задержкой при увеличении объема данных
- Milvus 2.x: Перемена к лучшему, обеспечивающая улучшенную масштабируемость и сниженную задержку
- Milvus расширяет возможности различных бизнес-систем
- Дорога вперед
Контент
Пример использования
Отрасль
Электронная коммерция