Recherche vidéo avancée : exploiter Twelve Labs et Milvus pour la récupération sémantique
En août 2024, lors de l’Unstructured Data Meetup à San Francisco, James Le, Head of Developer Experience chez Twelve Labs, a donné une conférence éclairante sur la recherche vidéo avancée pour la récupération sémantique. Si vous n’avez pas encore entendu parler de Twelve Labs, vous allez être agréablement surpris. Twelve Labs développe des modèles multimodaux de pointe qui aident les machines à comprendre les vidéos de manière aussi intuitive que les humains. Ils ont créé des modèles de fondation de pointe pour générer des embeddings vidéo, ainsi que des API capables de rechercher, générer et classifier du contenu vidéo avec une précision proche de celle des humains.
Lors de la conférence, James explique les concepts clés de la compréhension vidéo et le workflow global de leur modèle de fondation et de leurs API. James parle également de l’intégration des modèles de compréhension vidéo avec des bases de données vectorielles efficaces telles que Milvus by Zilliz afin de créer des applications passionnantes pour la récupération sémantique. Si vous êtes intrigué par la façon dont l’IA peut révolutionner le contenu vidéo, ce meetup était mémorable.
Sur ce, plongeons dans la conférence de James sur « Advanced Video Search - Leveraging Twelve Labs and Milvus for Semantic Retrieval » : Regarder la conférence sur YouTube.
James Le intervenant lors de l’August South Bay Unstructured Data Meetup
Qu’est-ce que la compréhension vidéo ?
Les vidéos sont une source puissante d’informations sur le monde réel. Contrairement aux images, qui ne capturent que des scènes statiques, les vidéos capturent des informations temporelles telles que des actions, des comportements ou des événements changeants. Comme les humains, les machines peuvent apprendre à analyser, interpréter et extraire des informations significatives à partir de vidéos grâce à des techniques de vision par ordinateur et d’apprentissage profond.
Évolution de la compréhension vidéo
Les vidéos ont été inventées pour la première fois à la fin du XIXe siècle, et à cette époque, il n’existait aucune technologie d’interprétation. Plus tard, en 1996, la première technologie de reconnaissance vocale automatique a été commercialisée, ce qui a permis de créer des transcriptions. Cependant, ces transcriptions étaient atroces à lire et étaient déconnectées des informations visuelles. En outre, en 1997, le premier modèle de reconnaissance d’images basé sur les CNN a été publié - LeNet - 5, qui a créé des tags pour comprendre les objets dans les images vidéo, tels que « personne », « chien », « vêtement », etc. Ces tags n’aidaient pas à comprendre le contexte de la vidéo et créaient des incohérences. Plus tard, à partir de 2012, la compréhension vidéo a été révolutionnée par les réseaux de neurones convolutifs (CNN), qui ont permis aux modèles d’effectuer des tâches avancées telles que la reconnaissance d’actions.
Passé, présent et avenir de la compréhension vidéo
Dans le passé, la compréhension vidéo consistait principalement à résoudre des tâches de perception vidéo de bas niveau, telles que l’extraction de caractéristiques de bas niveau comme la couleur, la texture et le mouvement à l’aide de caractéristiques conçues manuellement ou de techniques simples de vision par ordinateur telles que l’histogramme des gradients (HOG). Parmi les premières tâches de perception vidéo figuraient la détection d’objets vidéo, le suivi d’objets vidéo, la segmentation d’instances vidéo et la reconnaissance d’actions.
Les tâches mentionnées précédemment étaient souvent de portée limitée et comportaient des inefficacités telles que des objets mal étiquetés ou des tags manquants. Aujourd’hui, la compréhension vidéo a évolué pour prendre en charge des tâches plus larges telles que la classification vidéo, la récupération vidéo, le question-réponse vidéo et le sous-titrage vidéo. Des techniques comme les CNN, les réseaux de neurones récurrents (RNN) et, plus récemment, les Transformers ont permis aux modèles de traiter efficacement les motifs spatiaux et temporels. La reconnaissance d’actions a évolué vers la classification vidéo, où les modèles classifient une séquence entière au lieu de simplement reconnaître une action unique. De même, les systèmes de récupération vidéo peuvent désormais indexer et récupérer des vidéos pertinentes en fonction des requêtes. Dans le même temps, les modèles de question-réponse peuvent répondre à des questions liées aux vidéos, et le sous-titrage vidéo peut générer des descriptions textuelles des scènes.
Les modèles actuels sont soit axés sur une tâche spécifique, entraînés sur des données spécifiques, soit basés sur une seule modalité. À l’avenir, l’accent sera mis sur des modèles fondamentaux vidéo multimodaux offrant une compréhension à usage général. Ces modèles intégreront des informations provenant de multiples sources - vidéo, audio et texte afin de développer une compréhension holistique du contenu vidéo. L’idée principale derrière ces modèles est qu’ils répondent à des cas d’utilisation et à des secteurs variés, prennent en charge des tâches dynamiques et fournissent une compréhension unifiée de toutes les modalités, permettant des applications complexes qui fonctionnent en temps réel.
Modèles fondamentaux vidéo par Twelve Labs
Les modèles fondamentaux vidéo sont de grands modèles préentraînés conçus pour comprendre les vidéos de manière exhaustive. Tout comme les modèles de langage (par exemple, GPT) servent de fondations à diverses applications basées sur le texte, les modèles fondamentaux vidéo entraînés sur de vastes quantités de données multimodales (vidéo, audio, texte) sont capables de générer des embeddings multimodaux qui peuvent ensuite être utilisés pour gérer une grande variété de tâches en aval et créer des applications centrées sur la vidéo dans différents secteurs.
Dans la présentation, James Lee décrit très clairement le rôle des modèles fondamentaux vidéo dans la création d’applications concrètes et en quoi cela est bénéfique pour les utilisateurs finaux.
Génération d’embeddings : Tout d’abord, le modèle fondamental générera des embeddings multimodaux pour les données d’entrée. Ces embeddings sont des représentations numériques qui stockent toutes les informations sémantiques conversationnelles et visuelles d’une vidéo.
Tâches en aval : Les embeddings générés peuvent ensuite être utilisés pour créer des API destinées à des tâches en aval telles que Search and Classify, Generate et Embed.
Applications centrées sur la vidéo : Les API de passerelle basées sur les embeddings peuvent ensuite être utilisées pour générer des applications centrées sur la vidéo dans divers secteurs tels que les forces de l’ordre, l’e-learning, le sport et l’économie des créateurs.
Utilisateurs finaux : Les étapes ci-dessus créeront un pipeline de compréhension intelligente de la vidéo qui sera bénéfique pour répondre à la demande des utilisateurs individuels et des entreprises.
Après avoir compris l’ensemble de la pile, approfondissons les nuances techniques des modèles fondamentaux vidéo.
Que sont les embeddings vidéo ?
Les embeddings vidéo sont essentiellement des représentations d’une vidéo dans un espace vectoriel de dimension inférieure sous la forme d’un vecteur numérique. Ces embeddings capturent les caractéristiques visuelles et la sémantique de la vidéo, ce qui permet aux modèles fondamentaux de comprendre le contenu des vidéos. Traditionnellement, les embeddings vectoriels n’appartenaient qu’à une seule modalité, comme l’image, le texte ou l’audio, qui était traitée indépendamment. Cependant, avec l’essor du contenu multimédia et la popularité de l’architecture transformer, on observe une transition vers le développement d’embeddings capables de capturer les informations visuelles, textuelles et audibles dans un espace latent partagé.
La magie des embeddings vidéo
Modèle fondamental vidéo de pointe - Marengo 2.6
James Lee présente le dernier modèle fondamental vidéo de pointe développé chez Twelve Labs, appelé Marengo 2.6. Ce modèle est capable d’effectuer des tâches de recherche « any-to-any », ce qui signifie qu’il peut interroger des données vidéo à l’aide de divers formats d’entrée tels que Text-To-Video, Text-To-Image, Text-To-Audio, Audio-To-Video, Image-To-Video, et plus encore. Ce modèle est transformateur dans le domaine de la compréhension vidéo, car il améliore considérablement l’efficacité de la recherche vidéo et permet des interactions robustes entre différentes modalités.
Comme mentionné dans le blog « Introducing Marengo 2.6 », le concept de base de l’architecture porte sur les « Gated Modality Experts », qui permettent le traitement d’entrées multimodales par des encodeurs spécialisés avant de les combiner en une représentation multimodale complète. L’architecture comporte trois modules principaux
Expert visuel - Il traite les informations visuelles afin de capturer l’apparence, le mouvement et les changements temporels dans la vidéo.
Expert audio - Il traite les informations auditives afin de capturer les signaux audio verbaux et non verbaux liés à la vidéo.
Module de fusion à portes - Il évalue la contribution de chaque expert pour les vidéos et les fusionne en une représentation multimodale unifiée pour la récupération any-to-any.
De plus, Marengo 2.6 excelle dans le fine-tuning, permettant aux utilisateurs de personnaliser le modèle pour l’adapter à des besoins de contenu ou à des domaines spécifiques. L’infrastructure du modèle prend en charge le traitement de vastes jeux de données vidéo, ce qui le rend adaptable aux organisations disposant de grandes vidéothèques. Ce modèle peut être utilisé davantage pour des tâches en aval telles que l’amélioration de la recherche, de la classification et de la gestion de contenu grâce à des intégrations API transparentes.
Tâches en aval avec les API Twelve Labs
API de recherche vidéo
Imaginez pouvoir trouver les scènes exactes dans une vidéo d’un tournoi de tennis du Grand Chelem où Roger Federer marque un point en smashant contre son adversaire, simplement en décrivant ces éléments visuels en langage naturel. Cela semble trop beau pour être vrai, n’est-ce pas ? C’est ce qu’on appelle une recherche vidéo.
Comme le montre la figure ci-dessous, la recherche vidéo fonctionne d’abord en créant des embeddings des vidéos à l’aide d’un modèle fondationnel vidéo. Ensuite, l’API de recherche prend en entrée une requête en langage naturel, qui est également convertie en embeddings. Enfin, les embeddings de la requête sont recherchés par rapport aux embeddings vidéo afin de fournir les scènes vidéo avec leurs timings.
Twelve Labs Search API
La recherche vidéo traditionnelle, en revanche, présentait de sévères limitations dans son approche et son exécution, car elle reposait principalement sur la correspondance de mots-clés pour indexer et récupérer les vidéos. Cependant, avec la compréhension vidéo multimodale par l’IA, il est possible de capturer simultanément les relations complexes entre toutes les modalités et de fournir une interprétation de la vidéo plus proche de celle d’un humain.
API de classification vidéo
La compréhension vidéo alimentée par l’IA permet la catégorisation automatique des vidéos dans des classes prédéfinies. Grâce à une approche zero-shot, il est également possible d’obtenir les classes à la volée sans les prédéfinir. Avec l’API Classify de Twelve Labs, vous pouvez organiser les vidéos en sports, actualités, divertissement ou documentaires, en analysant les caractéristiques sémantiques, les objets, les actions et d’autres éléments du contenu.
Twelve Labs Classify API
API d’embedding vidéo
Twelve Labs Embed API
Twelve Labs a également publié une API Embed en bêta privée pour les développeurs. Les API Search et Classify étaient de bout en bout, mais cette API s’adresse à ceux qui souhaitent expérimenter au niveau de la couche d’embedding, soit en ajoutant leurs métadonnées, soit en effectuant des calculs supplémentaires.
Cette API crée des embeddings multimodaux au niveau vidéo et au niveau clip, qui peuvent être utilisés pour diverses tâches personnalisées en aval, notamment, mais sans s’y limiter, la détection d’anomalies, le tri par diversité, l’analyse des sentiments, les recommandations et la construction de systèmes de génération augmentée par récupération (RAG).
Twelve Labs Meets Milvus
Twelve Labs Meets Milvus
En août 2024, Twelve Labs et Milvus (base de données vectorielle par Zilliz) ont uni leurs forces pour créer de puissantes applications de recherche vidéo. Milvus est une base de données vectorielle évolutive et efficace pour gérer, interroger et récupérer des embeddings vectoriels. Elle est spécifiquement conçue pour créer des applications d’IA hautes performances. En exploitant la puissance des embeddings multimodaux avancés de Twelve Labs et en l’intégrant à Milvus, les développeurs peuvent ouvrir de nouvelles possibilités dans l’analyse de contenu vidéo en créant des applications telles que des moteurs de recherche, des systèmes de recommandation et la récupération de vidéos basée sur le contenu.
Récupération sémantique à l’aide de Twelve Labs et Milvus
Afin d’effectuer une récupération sémantique, la première étape consiste à choisir et à configurer les SDK et bibliothèques nécessaires de la base de données vectorielle et de l’API pour générer des embeddings. Ensuite, avec l’aide de l’API Embed de Twelve Labs, des embeddings multimodaux des vidéos sont générés soit au niveau clip, soit au niveau vidéo. Pour le niveau clip, on peut définir les longueurs des clips en lesquels la vidéo doit être découpée. Par exemple, si la vidéo globale dure 18 secondes et que la longueur de clip choisie est de 6 secondes, nous obtenons alors 3 embeddings au niveau clip. Les embeddings sont ensuite insérés dans la base de données vectorielle et, enfin, une recherche par similarité peut être effectuée. Lorsqu’un utilisateur soumet une requête (vidéo ou texte), elle est également convertie en vecteur à l’aide du même modèle d’embedding. Le système compare ensuite ce vecteur de requête avec les vecteurs stockés dans la base de données afin de récupérer les résultats les plus similaires sur le plan sémantique.
Ressources pour les développeurs
Implémentation complète du code de Semantic Retrieval Leveraging Twelve Labs and Milvus
Que sont les bases de données vectorielles et comment fonctionnent-elles ? - blog Zilliz
Continuer à lire
Why Teams Are Migrating from Weaviate to Zilliz Cloud — and How to Do It Seamlessly
Explore how Milvus scales for large datasets and complex queries with advanced features, and discover how to migrate from Weaviate to Zilliz Cloud.
Our Journey to 35K+ GitHub Stars: The Real Story of Building Milvus from Scratch
Join us in celebrating Milvus, the vector database that hit 35.5K stars on GitHub. Discover our story and how we’re making AI solutions easier for developers.
Bringing AI to Legal Tech: The Role of Vector Databases in Enhancing LLM Guardrails
Discover how vector databases enhance AI reliability in legal tech, ensuring accurate, compliant, and trustworthy AI-powered legal solutions.