Оптимизация пользовательского опыта: BIGO использует Milvus для удаления дублирующихся видео
Платформы для обмена короткими видео стали неотъемлемой частью нашей повседневной жизни. Likee, глобальная платформа коротких видео, принадлежащая BIGO, ежедневно получает миллионы загрузок коротких видео. Однако при таком огромном количестве новых видео каждый день проблема дублирующихся видео представляет угрозу для качества контента и общего пользовательского опыта. Чтобы решить эту проблему, BIGO использовала Milvus, векторную базу данных с открытым исходным кодом, для трансформации своей системы дедупликации видео.
В этой публикации мы обсудим конкретные проблемы, с которыми столкнулась BIGO, почему компания выбрала векторную базу данных Milvus для работы своей системы дедупликации видео и как Milvus пришел на помощь.
Всплеск дублирующихся видео приводит к плохому пользовательскому опыту
Обладая впечатляющей пользовательской базой, превышающей 400 миллионов, Likee ежедневно наблюдает миллионы новых загрузок видео. Однако распространение нового контента сопровождается собственным набором проблем, особенно в виде дублирующихся видео. Этот всплеск ставит под угрозу поддержание высококачественных рекомендаций контента и удобного пользовательского опыта, а также вызывает опасения по поводу возможных нарушений прав интеллектуальной собственности других авторов.
В прошлом Likee решала эту проблему, используя FAISS, библиотеку для поиска сходства и кластеризации. Хотя поначалу она была эффективной, FAISS выявила ограничения при столкновении с масштабной задачей управления и хранения огромных векторов. Это ограничение приводило к медленным ответам на запросы и ограниченной пропускной способности. Поэтому команда Likee начала поиск более эффективной технологии, способной быстро выявлять и устранять растущее число дублирующихся видео.
Milvus: катализатор изменений
Likee обратилась к Milvus, векторной базе данных с открытым исходным кодом, предназначенной для хранения, индексирования и выполнения запросов к embedding-векторам миллиардного масштаба, в поисках более эффективного решения. Эффект оказался поистине революционным. Milvus внедрил молниеносные возможности поиска сходства в систему дедупликации Likee, выполняя поиск дублирующихся видео менее чем за 200 миллисекунд при сохранении высокого показателя recall. Likee также получила преимущества от масштабируемости Milvus, что привело к улучшению пропускной способности векторных запросов и повышению эффективности работы.
Борьба с дублирующимися видео Likee с помощью Milvus
Трансформация системы дедупликации Likee впечатляет. Недавно загруженные видео проходят тщательное преобразование: они нарезаются на кадры, преобразуются в векторы признаков, а затем тщательно сопоставляются с обширной базой данных, содержащей более 700 миллионов векторов, соответствующих уже существующему контенту. Этот сложный процесс представляет собой хореографию передовых технологий, включающую хранение видео в Kafka, преобразование видео в векторные embeddings с помощью моделей глубокого обучения, индексирование embeddings с помощью Milvus и хранение отозванных результатов в Ceph. Для более точного сопоставления видео идентификаторы видео, соответствующие векторным embeddings, управляются в TiDB или Pika, двух реляционных базах данных.
Архитектура системы дедупликации Likee
Расширение возможностей Likee в поиске сходства с помощью Milvus
Milvus выводит процесс поиска сходства Likee на новый уровень эффективности. Milvus отбирает топ-100 векторов, похожих на каждый вектор признаков из нового видео, выполняя пакетный поиск. Затем система выявляет и удаляет дублирующиеся видео, сравнивая идентификаторы видео, извлекая векторы признаков оставшихся видео и оценивая сходство между извлеченными векторами признаков и векторами признаков видео из запроса.
Как Milvus помогает поиску сходства Likee
На пути к совместному горизонту
Успех Milvus в совершенствовании системы дедупликации видео Likee закладывает основу для более широкого сотрудничества между BIGO и Milvus. Синьян Го, инженер-программист в BIGO, рассчитывает расширить возможности Milvus на модерацию контента, ограничения и персонализированные видеосервисы. Синергия между BIGO и Milvus обещает взаимовыгодный путь, при котором обе стороны готовы к устойчивому росту и процветанию.
В заключение, Milvus становится движущей силой, продвигающей Likee от BIGO в новую эпоху эффективности и удовлетворенности пользователей. По мере развития партнерства история успеха Milvus в решении сложных задач демонстрирует потенциал технологий с открытым исходным кодом в навигации по сложностям цифрового ландшафта и их преодолении.
Читать далее
Vector Lakebase: End the AI Data Silo
Learn how Vector Lakebase unifies vector search, data lakes, and AI data operations so teams can serve RAG and agents without copy-and-sync pipelines.
How to Choose the Best Embedding Model for RAG in 2026: 10 Models Benchmarked
We benchmarked 10 embedding models on cross-modal, cross-lingual, long-document, and dimension compression tasks. See which one fits your RAG pipeline.
Vector Databases vs. Key-Value Databases
Use a vector database for AI-powered similarity search; use a key-value database for high-throughput, low-latency simple data lookups.