Erweiterte Videosuche: Nutzung von Twelve Labs und Milvus für semantisches Retrieval
Im August 2024 hielt James Le, Head of Developer Experience bei Twelve Labs, beim Unstructured Data Meetup in San Francisco einen aufschlussreichen Vortrag über fortgeschrittene Videosuche für semantisches Retrieval. Wenn du noch nicht von Twelve Labs gehört hast, kannst du dich auf etwas freuen. Twelve Labs entwickelt hochmoderne multimodale Modelle, die Maschinen dabei helfen, Videos so intuitiv zu verstehen wie Menschen. Sie haben State-of-the-Art-Foundation-Modelle zur Generierung von Video-Embeddings sowie APIs entwickelt, die Videoinhalte mit menschenähnlicher Präzision durchsuchen, generieren und klassifizieren können.
In dem Vortrag erklärt James die Schlüsselkonzepte des Videoverständnisses und den gesamten Workflow ihres Foundation-Modells und ihrer APIs. James spricht außerdem über die Integration von Modellen zum Videoverständnis mit effizienten Vektordatenbanken wie Milvus von Zilliz, um spannende Anwendungen für semantisches Retrieval zu erstellen. Wenn dich interessiert, wie KI Videoinhalte revolutionieren kann, war dieses Meetup ein echtes Highlight.
Damit wollen wir in James’ Vortrag über „Advanced Video Search - Leveraging Twelve Labs and Milvus for Semantic Retrieval“ eintauchen: Den Vortrag auf YouTube ansehen.
James Le spricht beim August South Bay Unstructured Data Meetup
Was ist Videoverständnis?
Videos sind eine leistungsstarke Informationsquelle über die reale Welt. Anders als Bilder, die nur statische Szenen erfassen, erfassen Videos zeitliche Informationen wie sich verändernde Handlungen, Verhaltensweisen oder Ereignisse. Ähnlich wie Menschen können Maschinen mithilfe von Computer Vision und Deep-Learning-Techniken darauf trainiert werden, Videos zu analysieren, zu interpretieren und aussagekräftige Informationen daraus zu extrahieren.
Entwicklung des Videoverständnisses
Videos wurden erstmals im späten 19. Jahrhundert erfunden, und zu dieser Zeit gab es keine Technologie zur Interpretation. Später, im Jahr 1996, wurde die erste Speech-to-Text-Technologie kommerzialisiert, die Transkripte erstellte. Diese Transkripte waren jedoch furchtbar zu lesen und von den visuellen Informationen entkoppelt. Darüber hinaus wurde 1997 das erste CNN-basierte Bilderkennungsmodell veröffentlicht – LeNet - 5 –, das Tags erstellte, um Objekte in den Videoframes zu verstehen, wie etwa „Person“, „Hund“, „Kleidung“ und so weiter. Diese Tags halfen nicht dabei, den Kontext des Videos zu verstehen, und sie führten zu Diskrepanzen. Später, ab 2012, wurde das Videoverständnis durch Convolutional Neural Networks (CNNs) revolutioniert, die es den Modellen ermöglichten, fortgeschrittene Aufgaben wie Handlungserkennung auszuführen.
Vergangenheit, Gegenwart und Zukunft des Videoverständnisses
In der Vergangenheit ging es beim Videoverständnis vor allem darum, einfache Video-Wahrnehmungsaufgaben zu lösen, etwa das Extrahieren einfacher Merkmale wie Farbe, Textur und Bewegung mithilfe handgefertigter Merkmale oder einfacher Computer-Vision-Techniken wie Histogram of Gradients (HOG). Zu den frühesten Video-Wahrnehmungsaufgaben gehörten Video Object Detection, Video Object Tracking, Video Instance Segmentation und Action Recognition.
Die zuvor erwähnten Aufgaben waren oft eng begrenzt und mit Ineffizienzen verbunden, etwa falsch gekennzeichneten Objekten oder fehlenden Tags. Heute hat sich das Videoverständnis weiterentwickelt, um umfassendere Aufgaben wie Video Classification, Video Retrieval, Video Question Answering und Video Captioning zu bewältigen. Techniken wie CNNs, Recurrent Neural Networks (RNNs) und in jüngerer Zeit Transformers haben es Modellen ermöglicht, räumliche und zeitliche Muster effizient zu verarbeiten. Die Handlungserkennung entwickelte sich zur Videoklassifizierung, bei der Modelle eine ganze Sequenz klassifizieren, anstatt nur eine einzelne Handlung zu erkennen. Ebenso können Video-Retrieval-Systeme heute relevante Videos anhand von Abfragen indexieren und abrufen. Gleichzeitig können Question-Answering-Modelle auf videobezogene Fragen antworten, und Video Captioning kann Textbeschreibungen von Szenen generieren.
Die aktuellen Modelle sind entweder auf eine bestimmte Aufgabe fokussiert, mit spezifischen Daten trainiert oder basieren auf einer einzigen Modalität. In Zukunft wird der Fokus auf multimodalen Video-Foundation-Modellen liegen, die ein universelles Verständnis bieten. Diese Modelle werden Informationen aus mehreren Quellen integrieren – Video, Audio und Text –, um ein ganzheitliches Verständnis von Videoinhalten zu entwickeln. Die Hauptidee hinter diesen Modellen ist, dass sie vielfältige Anwendungsfälle und Branchen bedienen, dynamische Aufgaben adressieren und ein einheitliches Verständnis aller Modalitäten bieten, wodurch komplexe Anwendungen ermöglicht werden, die in Echtzeit funktionieren.
Video-Foundation-Modelle von Twelve Labs
Video-Foundation Models sind große, vortrainierte Modelle, die darauf ausgelegt sind, Videos umfassend zu verstehen. Ähnlich wie Sprachmodelle (z. B. GPT) als Grundlage für verschiedene textbasierte Anwendungen dienen, sind Video-Foundation-Modelle, die mit riesigen Mengen multimodaler Daten (Video, Audio, Text) trainiert wurden, dafür ausgestattet, multimodale Einbettungen zu erzeugen, die weiter genutzt werden können, um eine Vielzahl nachgelagerter Aufgaben zu bewältigen und videozentrierte Anwendungen in verschiedenen Branchen zu erstellen.
In dem Vortrag skizziert James Lee sehr klar die Rolle von Video-Foundation-Modellen bei der Erstellung realer Anwendungen und wie dies für Endnutzer vorteilhaft ist.
Generierung von Einbettungen: Zuerst erzeugt das Foundation Model multimodale Einbettungen für die Eingabedaten. Diese Einbettungen sind numerische Darstellungen, die alle konversationellen und visuellen semantischen Informationen aus einem Video speichern.
Nachgelagerte Aufgaben: Die erzeugten Einbettungen können weiter genutzt werden, um APIs für nachgelagerte Aufgaben wie Suche und Klassifizierung, Generierung und Einbettung zu erstellen.
Videozentrierte Anwendungen: Die einbettungsbasierten Gateway-APIs können weiter genutzt werden, um videozentrierte Anwendungen in verschiedenen Branchen wie Strafverfolgung, E-Learning, Sport und Creator Economy zu erstellen.
Endnutzer: Die oben genannten Schritte schaffen eine Pipeline für intelligentes Videoverständnis, die für die Anforderungen einzelner Nutzer und Unternehmen von Vorteil sein wird.
Nachdem wir den gesamten Stack verstanden haben, lassen Sie uns tiefer in die technischen Feinheiten von Video-Foundation-Modellen eintauchen.
Was sind Video-Einbettungen?
Video-Einbettungen sind im Wesentlichen Darstellungen eines Videos in einem niedrigdimensionaleren Vektorraum in Form eines numerischen Vektors. Diese Einbettungen erfassen die visuellen Merkmale und die Semantik des Videos, wodurch die Foundation Models den Inhalt der Videos verstehen können. Traditionell gehörten Vektoreinbettungen nur zu einer einzigen Modalität wie Bild, Text oder Audio, die unabhängig verarbeitet wurde. Mit dem Aufstieg multimedialer Inhalte und der Popularität der Transformer-Architektur hat jedoch eine Verschiebung hin zur Entwicklung von Einbettungen stattgefunden, die visuelle, textuelle und hörbare Informationen in einem gemeinsamen latenten Raum erfassen können.
Die Magie von Video-Einbettungen
Modernstes Video-Foundation-Modell – Marengo 2.6
James Lee stellt das neueste, bei Twelve Labs entwickelte, modernste Video-Foundation-Modell namens Marengo 2.6 vor. Dieses Modell ist in der Lage, „any-to-any“-Suchaufgaben auszuführen, was bedeutet, dass es Videodaten mit verschiedenen Eingabeformaten wie Text-To-Video, Text-To-Image, Text-To-Audio, Audio-To-Video, Image-To-Video und mehr abfragen kann. Dieses Modell ist im Bereich des Videoverständnisses transformativ, da es die Effizienz der Videosuche erheblich verbessert und robuste Interaktionen über verschiedene Modalitäten hinweg ermöglicht.
Wie im Blog „Introducing Marengo 2.6“ erwähnt, dreht sich das Grundkonzept der Architektur um „Gated Modality Experts“, die die Verarbeitung multimodaler Eingaben durch spezialisierte Encoder ermöglichen, bevor diese zu einer umfassenden multimodalen Repräsentation kombiniert werden. Es gibt drei Hauptmodule in der Architektur
Visual Expert - Er verarbeitet visuelle Informationen, um Erscheinungsbild, Bewegung und zeitliche Veränderungen innerhalb des Videos zu erfassen.
Audio Expert - Er verarbeitet auditive Informationen, um sowohl verbale als auch nonverbale Audiosignale im Zusammenhang mit dem Video zu erfassen.
Gated Fusion Module - Es bewertet den Beitrag jedes Experten für Videos und führt sie zu einer einheitlichen multimodalen Repräsentation für Any-to-Any-Retrieval zusammen.
Darüber hinaus zeichnet sich Marengo 2.6 beim Fine-Tuning aus und ermöglicht es Nutzern, das Modell an spezifische Inhaltsanforderungen oder Domänen anzupassen. Die Infrastruktur des Modells unterstützt die Verarbeitung riesiger Videodatensätze und macht es damit anpassungsfähig für Organisationen mit großen Videobibliotheken. Dieses Modell kann mithilfe nahtloser API-Integrationen außerdem für nachgelagerte Aufgaben wie verbesserte Suche, Klassifizierung und Content-Management verwendet werden.
Nachgelagerte Aufgaben mit Twelve Labs APIs
Video Search API
Stellen Sie sich vor, Sie könnten die exakten Szenen in einem Video eines Grand-Slam-Tennisturniers finden, in denen Roger Federer einen Punkt erzielt, während er den Gegner mit einem Schmetterball bezwingt, einfach indem Sie diese visuellen Inhalte in natürlicher Sprache beschreiben. Klingt zu gut, um wahr zu sein, oder? Das nennt man Videosuche.
Wie in der folgenden Abbildung gezeigt, funktioniert die Videosuche, indem zunächst Embeddings der Videos durch ein Video-Foundation-Model erstellt werden. Anschließend nimmt die Search API Eingaben aus einer Abfrage in natürlicher Sprache entgegen, die ebenfalls in Embeddings umgewandelt wird. Schließlich werden die Abfrage-Embeddings in Bezug auf die Video-Embeddings durchsucht, um die Videoszenen mit Zeitangaben zu liefern.
Twelve Labs Search API
Die traditionelle Videosuche hingegen hatte in ihrem Ansatz und ihrer Ausführung gravierende Einschränkungen, da sie sich hauptsächlich auf Keyword-Matching stützte, um Videos zu indexieren und abzurufen. Mit multimodalem KI-Videoverständnis ist es jedoch möglich, die komplexen Beziehungen zwischen allen Modalitäten gleichzeitig zu erfassen und eine menschenähnlichere Interpretation des Videos bereitzustellen.
Video Classify API
KI-gestütztes Videoverständnis ermöglicht die automatische Kategorisierung von Videos in vordefinierte Klassen. Mit einem Zero-Shot-Ansatz ist es außerdem möglich, die Klassen spontan zu erhalten, ohne sie vorher festzulegen. Mit der Classify API von Twelve Labs können Sie Videos in Sport, Nachrichten, Unterhaltung oder Dokumentationen organisieren, indem semantische Merkmale, Objekte, Handlungen und andere Elemente des Inhalts analysiert werden.
Twelve Labs Classify API
Video Embed API
Twelve Labs Embed API
Twelve Labs hat außerdem eine Embed API in einer privaten Beta-Version für Entwickler veröffentlicht. Die Search und Classify APIs waren End-to-End-Lösungen, aber diese API richtet sich an jemanden, der auf der Embedding-Ebene experimentieren möchte, indem er entweder eigene Metadaten hinzufügt oder zusätzliche Berechnungen durchführt.
Diese API erstellt multimodale Einbettungen auf Videoebene und Clip-Ebene, die für verschiedene benutzerdefinierte nachgelagerte Aufgaben verwendet werden können, einschließlich, aber nicht beschränkt auf Anomalieerkennung, Diversitätssortierung, Sentimentanalyse, Empfehlungen und den Aufbau von Retrieval-Augmented-Generation-Systemen (RAG).
Twelve Labs trifft Milvus
Twelve Labs trifft Milvus
Im August 2024 schlossen sich Twelve Labs und Milvus (Vektordatenbank von Zilliz) zusammen, um leistungsstarke Anwendungen für die Videosuche zu erstellen. Milvus ist eine skalierbare und effiziente Vektordatenbank zum Verwalten, Abfragen und Abrufen von Vektoreinbettungen. Sie wurde speziell entwickelt, um leistungsstarke KI-Anwendungen zu erstellen. Durch die Nutzung der Leistungsfähigkeit der fortschrittlichen multimodalen Einbettungen von Twelve Labs und deren Integration mit Milvus können Entwickler neue Möglichkeiten in der Analyse von Videoinhalten erschließen, indem sie Anwendungen wie Suchmaschinen, Empfehlungssysteme und inhaltsbasierte Videoabfrage erstellen.
Semantisches Retrieval mit Twelve Labs und Milvus
Um semantisches Retrieval durchzuführen, besteht der erste Schritt darin, die notwendigen SDKs und Bibliotheken der Vektordatenbank und API auszuwählen und einzurichten, um Einbettungen zu generieren. Anschließend werden mithilfe der Embed API von Twelve Labs multimodale Einbettungen der Videos entweder auf Clip-Ebene oder auf Videoebene generiert. Für die Clip-Ebene kann man die Längen der Clips definieren, in die das Video unterteilt werden soll. Wenn das gesamte Video beispielsweise 18 Sekunden lang ist und die Cliplänge auf 6 Sekunden festgelegt wird, erhalten wir 3 Einbettungen auf Clip-Ebene. Die Einbettungen werden dann in die Vektordatenbank eingefügt, und schließlich kann eine Ähnlichkeitssuche durchgeführt werden. Wenn ein Benutzer eine Abfrage (Video oder Text) übermittelt, wird sie ebenfalls mithilfe desselben Einbettungsmodells in einen Vektor umgewandelt. Das System vergleicht dann diesen Abfragevektor mit den in der Datenbank gespeicherten Vektoren, um die semantisch ähnlichsten Ergebnisse abzurufen.
Entwicklerressourcen
Vollständige Code-Implementierung von Semantic Retrieval Leveraging Twelve Labs and Milvus
Was sind Vektordatenbanken und wie funktionieren sie? - Zilliz-Blog
Weiterlesen
Milvus 2.6.x Now Generally Available on Zilliz Cloud, Making Vector Search Faster, Smarter, and More Cost-Efficient for Production AI
Milvus 2.6.x is now GA on Zilliz Cloud, delivering faster vector search, smarter hybrid queries, and lower costs for production RAG and AI applications.
Will Amazon S3 Vectors Kill Vector Databases—or Save Them?
AWS S3 Vectors aims for 90% cost savings for vector storage. But will it kill vectordbs like Milvus? A deep dive into costs, limits, and the future of tiered storage.
Our Journey to 35K+ GitHub Stars: The Real Story of Building Milvus from Scratch
Join us in celebrating Milvus, the vector database that hit 35.5K stars on GitHub. Discover our story and how we’re making AI solutions easier for developers.