Busca Avançada de Vídeo: Aproveitando Twelve Labs e Milvus para Recuperação Semântica
Em agosto de 2024, no Unstructured Data Meetup em São Francisco, James Le, Head of Developer Experience na Twelve Labs, ofereceu uma palestra esclarecedora sobre busca avançada em vídeos para recuperação semântica. Se você ainda não ouviu falar da Twelve Labs, vai se surpreender. A Twelve Labs desenvolve modelos multimodais de ponta que ajudam máquinas a entender vídeos de forma tão intuitiva quanto os humanos. Eles criaram modelos de base de última geração para gerar embeddings de vídeo, juntamente com APIs que podem pesquisar, gerar e classificar conteúdo de vídeo com precisão semelhante à humana.
Na palestra, James explica os principais conceitos de compreensão de vídeo e o fluxo de trabalho geral de seu modelo de base e APIs. James também fala sobre a integração de modelos de compreensão de vídeo com bancos de dados vetoriais eficientes, como o Milvus da Zilliz, para criar aplicações empolgantes para recuperação semântica. Se você está intrigado com a forma como a IA pode revolucionar o conteúdo em vídeo, este meetup foi memorável.
Com isso, vamos nos aprofundar na palestra de James sobre ‘Busca Avançada em Vídeos - Aproveitando Twelve Labs e Milvus para Recuperação Semântica’: Assista à palestra no YouTube.
James Le falando no August South Bay Unstructured Data Meetup
O que é Compreensão de Vídeo?
Vídeos são uma poderosa fonte de informação sobre o mundo real. Ao contrário das imagens, que capturam apenas cenas estáticas, vídeos capturam informações temporais, como ações, comportamentos ou eventos em mudança. Assim como os humanos, as máquinas podem ser ensinadas a analisar, interpretar e extrair informações significativas de vídeos usando técnicas de visão computacional e aprendizado profundo.
Evolução da Compreensão de Vídeo
Os vídeos foram inventados pela primeira vez no final do século XIX e, naquela época, não havia tecnologia para interpretação. Mais tarde, em 1996, a primeira tecnologia de fala para texto foi comercializada, o que criou transcrições. No entanto, essas transcrições eram péssimas de ler e estavam desconectadas das informações visuais. Além disso, em 1997, o primeiro modelo de reconhecimento de imagens baseado em CNN foi lançado - LeNet - 5, que criou tags para entender objetos nos quadros do vídeo, como ‘pessoa,’ ‘cachorro,’ ‘roupa,’ e assim por diante. Essas tags não ajudavam a entender o contexto do vídeo e criavam discrepâncias. Mais tarde, a partir de 2012, a compreensão de vídeo foi revolucionada com redes neurais convolucionais (CNNs), que permitiram que os modelos executassem tarefas avançadas, como reconhecimento de ações.
Passado, Presente e Futuro da Compreensão de Vídeo
No passado, a compreensão de vídeo consistia em resolver tarefas de percepção de vídeo de baixo nível, como extrair características de baixo nível, como cor, textura e movimento, usando características criadas manualmente ou técnicas simples de visão computacional, como Histogram of Gradients (HOG). Algumas das primeiras tarefas de percepção de vídeo envolviam Detecção de Objetos em Vídeo, Rastreamento de Objetos em Vídeo, Segmentação de Instâncias em Vídeo e Reconhecimento de Ações.
As tarefas mencionadas anteriormente eram frequentemente limitadas em escopo e envolviam ineficiências, como objetos rotulados incorretamente ou tags ausentes. Atualmente, a compreensão de vídeo evoluiu para lidar com tarefas mais amplas, como Classificação de Vídeo, Recuperação de Vídeo, Perguntas e Respostas sobre Vídeo e Legendagem de Vídeo. Técnicas como CNNs, Redes Neurais Recorrentes (RNNs) e, mais recentemente, Transformers permitiram que os modelos processem padrões espaciais e temporais de forma eficiente. O reconhecimento de ações evoluiu para a classificação de vídeo, em que os modelos classificam uma sequência inteira em vez de apenas reconhecer uma única ação. Da mesma forma, os sistemas de recuperação de vídeo agora podem indexar e recuperar vídeos relevantes com base em consultas. Ao mesmo tempo, modelos de perguntas e respostas podem responder a perguntas relacionadas a vídeos, e a legendagem de vídeo pode gerar descrições textuais de cenas.
Os modelos atuais são focados em uma tarefa específica, treinados em dados específicos ou baseados em uma única modalidade. No futuro, o foco estará em modelos fundamentais de vídeo multimodais que ofereçam compreensão de propósito geral. Esses modelos integrarão informações de múltiplas fontes - vídeo, áudio e texto para desenvolver uma compreensão holística do conteúdo de vídeo. A ideia principal por trás desses modelos é que eles atendam a diversos casos de uso e indústrias, abordem tarefas dinâmicas e forneçam uma compreensão unificada de todas as modalidades, possibilitando aplicações complexas que funcionem em tempo real.
Modelos Fundamentais de Vídeo pela Twelve Labs
Os Modelos Fundamentais de Vídeo são modelos grandes e pré-treinados projetados para compreender vídeos de forma abrangente. Assim como os modelos de linguagem (por exemplo, GPT) servem como bases para várias aplicações baseadas em texto, os modelos fundamentais de vídeo treinados em grandes quantidades de dados multimodais (vídeo, áudio, texto) são equipados para gerar embeddings multimodais que podem ser usados posteriormente para lidar com uma ampla variedade de tarefas downstream e criar aplicações centradas em vídeo em diversos setores.
Na palestra, James Lee descreve de forma muito clara o papel dos modelos fundamentais de vídeo na criação de aplicações do mundo real e como isso é benéfico para os usuários finais.
Geração de Embeddings: Primeiro, o modelo fundamental gerará embeddings multimodais para os dados de entrada. Esses embeddings são representações numéricas que armazenam todas as informações semânticas conversacionais e visuais de um vídeo.
Tarefas Downstream: Os embeddings gerados podem ser usados posteriormente para criar APIs para tarefas downstream, como Search and Classify, Generate e Embed.
Aplicações Centradas em Vídeo: As APIs de gateway baseadas em embeddings podem ser usadas posteriormente para gerar aplicações centradas em vídeo em diversos setores, como Segurança Pública, E-Learning, Esportes e Economia de Criadores.
Usuários Finais: As etapas acima criarão um pipeline de compreensão inteligente de vídeo que será benéfico para a demanda de usuários individuais e empresas.
Tendo compreendido a stack geral, vamos nos aprofundar nas nuances técnicas dos modelos fundamentais de vídeo.
O que são Embeddings de Vídeo?
Embeddings de vídeo são essencialmente representações de um vídeo em um espaço vetorial de menor dimensão na forma de um vetor numérico. Esses embeddings capturam as características visuais e a semântica do vídeo, o que permite que os modelos fundamentais compreendam o conteúdo dos vídeos. Tradicionalmente, embeddings vetoriais pertenciam apenas a uma única modalidade, como imagem, texto ou áudio, que seria processada de forma independente. No entanto, com o crescimento do conteúdo multimídia e a popularidade da arquitetura transformer, houve uma mudança em direção ao desenvolvimento de embeddings que possam capturar informações visuais, textuais e audíveis em um espaço latente compartilhado.
A magia dos embeddings de vídeo
Modelo Fundamental de Vídeo de Última Geração - Marengo 2.6
James Lee apresenta o mais recente modelo fundamental de vídeo de última geração desenvolvido na Twelve Labs, chamado Marengo 2.6. Este modelo é capaz de realizar tarefas de busca ‘any-to-any’, o que significa que ele pode consultar dados de vídeo usando vários formatos de entrada, como Text-To-Video, Text-To-Image, Text-To-Audio, Audio-To-Video, Image-To-Video e mais. Este modelo é transformador no domínio da compreensão de vídeo, pois melhora significativamente a eficiência da busca em vídeo e permite interações robustas entre diferentes modalidades.
Como mencionado no blog ‘Introducing Marengo 2.6’, o conceito básico da arquitetura trata de ‘Gated Modality Experts’, que permite o processamento de entradas multimodais por meio de codificadores especializados antes de combiná-las em uma representação multimodal abrangente. Há três módulos principais na arquitetura
Especialista Visual - Processa informações visuais para capturar aparência, movimento e mudanças temporais dentro do vídeo.
Especialista de Áudio - Processa informações auditivas para capturar sinais de áudio verbais e não verbais relacionados ao vídeo.
Módulo de Fusão com Gating - Avalia a contribuição de cada especialista para vídeos e os mescla em uma representação multimodal unificada para recuperação de qualquer-para-qualquer.
Além disso, o Marengo 2.6 se destaca no ajuste fino, permitindo que os usuários personalizem o modelo para atender a necessidades específicas de conteúdo ou domínios. A infraestrutura do modelo oferece suporte ao manuseio de vastos conjuntos de dados de vídeo, tornando-o adaptável para organizações com grandes bibliotecas de vídeo. Este modelo pode ser usado posteriormente para tarefas downstream, como busca aprimorada, classificação e gerenciamento de conteúdo com a ajuda de integrações de API contínuas.
Tarefas Downstream com APIs da Twelve Labs
API de Busca de Vídeo
Imagine poder encontrar as cenas exatas em um vídeo de um torneio de tênis grand slam quando Roger Federer ganha um ponto ao esmagar o adversário, simplesmente descrevendo esses elementos visuais em linguagem natural. Parece bom demais para ser verdade, certo? Isso se chama busca de vídeo.
Como mostrado na figura abaixo, a busca de vídeo funciona primeiro criando embeddings dos vídeos por meio de um modelo base de vídeo. Em seguida, a API de busca recebe uma entrada de uma consulta em linguagem natural, que também é convertida em embeddings. Por fim, os embeddings da consulta são pesquisados em relação aos embeddings de vídeo para entregar as cenas de vídeo com marcações de tempo.
Twelve Labs Search API
A busca de vídeo tradicional, por outro lado, tinha limitações severas em sua abordagem e execução, pois dependia principalmente da correspondência de palavras-chave para indexar e recuperar vídeos. No entanto, com a compreensão de vídeo por IA multimodal, é possível capturar as relações complexas entre todas as modalidades simultaneamente e fornecer uma interpretação do vídeo mais semelhante à humana.
API de Classificação de Vídeo
A compreensão de vídeo impulsionada por IA permite a categorização automática de vídeo em classes predefinidas. Usando uma abordagem zero-shot, também é possível obter as classes em tempo real sem predefini-las. Com a API Classify da Twelve Labs, você pode organizar vídeos em esportes, notícias, entretenimento ou documentários, analisando características semânticas, objetos, ações e outros elementos do conteúdo.
Twelve Labs Classify API
API de Embeddings de Vídeo
Twelve Labs Embed API
A Twelve Labs também lançou uma API Embed em beta privado para desenvolvedores. As APIs Search e Classify eram de ponta a ponta, mas esta API é para quem deseja experimentar na camada de embeddings, seja adicionando seus metadados ou fazendo alguma matemática adicional.
Esta API cria embeddings multimodais em nível de vídeo e em nível de clipe, que podem ser usados para várias tarefas downstream personalizadas, incluindo, mas não se limitando a, detecção de anomalias, ordenação por diversidade, análise de sentimentos, recomendações e construção de sistemas de Geração Aumentada por Recuperação (RAG).
Twelve Labs Meets Milvus
Twelve Labs Meets Milvus
Em agosto de 2024, a Twelve Labs e o Milvus (banco de dados vetorial da Zilliz) uniram forças para criar aplicações poderosas de busca em vídeo. O Milvus é um banco de dados vetorial escalável e eficiente para gerenciar, consultar e recuperar embeddings vetoriais. Ele é especificamente projetado para criar aplicações de IA de alto desempenho. Ao aproveitar o poder dos embeddings multimodais avançados da Twelve Labs e integrá-lo ao Milvus, os desenvolvedores podem desbloquear novas possibilidades na análise de conteúdo de vídeo criando aplicações como mecanismos de busca, sistemas de recomendação e recuperação de vídeo baseada em conteúdo.
Recuperação Semântica usando Twelve Labs e Milvus
Para realizar a recuperação semântica, o primeiro passo é escolher e configurar os SDKs e bibliotecas necessários do banco de dados vetorial e da API para gerar embeddings. Em seguida, com a ajuda da Embed API da Twelve Labs, embeddings multimodais dos vídeos são gerados com base em nível de clipe ou em nível de vídeo. Para nível de clipe, pode-se definir os comprimentos dos clipes em que o vídeo deve ser dividido. Por exemplo, se o vídeo total tiver 18 segundos e o comprimento do clipe escolhido for de 6 segundos, então obtemos 3 embeddings em nível de clipe. Os embeddings são então inseridos no banco de dados vetorial e, por fim, a busca por similaridade pode ser realizada. Quando um usuário envia uma consulta (vídeo ou texto), ela também é convertida em um vetor usando o mesmo modelo de embedding. O sistema então compara esse vetor de consulta com os vetores armazenados no banco de dados para recuperar os resultados mais semanticamente semelhantes.
Recursos para Desenvolvedores
Implementação completa do código de Recuperação Semântica Aproveitando Twelve Labs e Milvus
O que são bancos de dados vetoriais e como eles funcionam? - blog da Zilliz
Continue lendo
Zilliz Cloud BYOC Now Available Across AWS, GCP, and Azure
Zilliz Cloud BYOC is now generally available on all three major clouds. Deploy fully managed vector search in your own AWS, GCP, or Azure account — your data never leaves your VPC.
Vector Databases vs. Document Databases
Use a vector database for similarity search and AI-powered applications; use a document database for flexible schema and JSON-like data storage.
Selecting the Right ETL Tools for Unstructured Data to Prepare for AI
Learn the right ETL tools for unstructured data to power AI. Explore key challenges, tool comparisons, and integrations with Milvus for vector search.