Vektorsuche nutzen, um Computer-Vision-Daten besser zu verstehen
Wie schlecht können schlechte Daten für Ihre KI sein? Sehen Sie selbst:
Data Quality Issues
Schlechte Daten können Ihre KI-gestützte Anwendung und Ihre Workflows sabotieren, mit gravierenden Auswirkungen, die über einen nur frustrierten Nutzer hinausgehen – aber das ist keine Überraschung.
Viele von uns haben sich vorgestellt, die Bequemlichkeit und Vielseitigkeit multimodaler large language models (LLMs) zu nutzen, um die reichhaltigen Informationen in Bildern und Videos zu erschließen. Wunder bewirken, es auf die nächste Stufe heben, wie das Klischee sagt. Computer Vision bietet diese Art grenzenloser Möglichkeiten für neue und erfüllendere Services. Doch auf dem Weg dorthin gibt es Herausforderungen.
Eine entscheidende ist, wie man bessere Daten für das richtige Modell kuratiert, um bessere Ergebnisse zu erzielen. Es gibt viel Fine-Tuning, brachiales Ausprobieren im Dunkeln aufgrund der Komplexität der Modelle und der hohen Dimensionalität der Daten, wodurch Ressourcen von der Innovation abgezogen werden.
Was wäre, wenn wir Transparenz und Klarheit in visuelle KI-Workflows bringen könnten, sodass es schnell und sogar unterhaltsam wird? Voxel51 hat sich das zur Mission gemacht und geliefert!
Wie von Jacob Marks, Machine-Learning-Ingenieur und Developer Evangelist bei Voxel51, beim SF Unstructured Data Meetup. demonstriert.
Visuelle KI zur Realität machen
Die Explosion neuer Apps und Services, die von generativer KI und Machine Learning angetrieben werden, hat die Bedeutung der Nutzung von unstructured data und die Rolle von Vektordatenbanken als Game-Changer deutlich gemacht. Jacob Marks zeigte in seiner Präsentation, wie die Integration von vector databases mit Tools wie Voxel51 und dessen Open-Source-Projekt FiftyOne die Exploration, Visualisierung und Kuratierung visueller Daten revolutioniert, um KI-gestützte Anwendungen effizienter und zuverlässiger zu entwickeln. Sie ermöglicht es Ihnen, Modelle zu testen und zu bewerten, indem sie mit genau den Datensätzen versorgt werden, die sie benötigen, um robuste, genaue Ergebnisse sicherzustellen.
Alles beginnt mit Datenqualität
Warum? Weil bessere Daten zu besseren Modellen führen und den Weg zum Erfolg beschleunigen.
„Nichts behindert den Erfolg von Machine-Learning-Systemen mehr als Daten von schlechter Qualität“, sagt Jacob. Daten vorzubereiten und das richtige Modell zu finden, kann ohne die richtigen Tools zeitaufwendig und ineffizient sein. Selbst erfahrene ML-Ingenieure benötigen gute Tools, um hochwertige Datensätze und Modelle zu erstellen.
FiftyOne vereinfacht den Umgang mit visuellen Daten und macht es einfacher und schneller, Abläufe, Anpassungen und Ergebnisse zu verstehen.
Sie können komplexe Labels visualisieren, Modelle evaluieren, interessante Szenarien erkunden, Fehlermodi identifizieren und Annotationsfehler finden, neben anderen Aufgaben. Dies wird durch LLM-Ketten erreicht, die im Hintergrund laufen, Embeddings erzeugen und eine Vektordatenbank abfragen.
Jetzt kommen wir zum Punkt!
Von RAG zu Reichtum: Die Kraft der Vektorsuche
RAG ist einer der Gründe, warum Vektordatenbanken populär geworden sind.
Retrieval-Augmented Generation (RAG) hat die Vektorsuche populär gemacht, indem es die Genauigkeit großer Sprachmodelle verbessert. Es kombiniert retrieval-basierte und generative Modelle, um die Qualität und Relevanz generierten Textes zu verbessern.
Diese Technik verwendet ein LLM, um den Nutzer-Prompt in Embeddings umzuwandeln und sie mit den Vektor-Embeddings zu vergleichen, wodurch eine Suche nach semantic similarity für genauere und kontextreichere Antworten ermöglicht wird.
RAG
Sie können mehrere Vektoren auf Ähnlichkeit mit den Dateneingaben vergleichen. Wenn Sie also zwei Texteingaben nehmen, sie vektorisieren und einbetten, können Sie ihre Nähe betrachten, unabhängig von den verwendeten metrics, euklidischer Distanz, Kosinusähnlichkeit oder dem Skalarprodukt.
Vector similarity
Sie können auch multimodale Einbettungen verwenden, um verschiedene Datentypen zusammen zu verarbeiten, wie Texte, Bilder und Videos in dieser Art von Raum.
Vector embeddings
Vektorsuche für Computer Vision
Voxel51 hat Milvus mithilfe von Zilliz Cloud integriert, um Vektorsuchfunktionen für visuelle Datensätze freizusetzen. Hier sind einige leistungsstarke Anwendungsfälle:
Bildähnlichkeit: Ähnlichkeitssuche ist ein häufiger Anwendungsfall und wird mit Voxel51 noch einfacher.
Sie müssen lediglich das Bild, das Sie interessiert, aus Ihrem Datensatz auswählen und es verwenden, um nach ähnlichen Bildern zu suchen. Alle Einbettungs- und Abfrageschritte werden im Hintergrund durchgeführt. Dadurch bleibt die visuelle Erfahrung sehr intuitiv und anklickbar. Sie können beispielsweise Attribute wie die Metrik und den k-Wert definieren, indem Sie sie in der GUI auswählen.
Image similarity search
Ebenso einfach können Sie auch eine umgekehrte Suche mit einem externen Bild durchführen.
Angenommen, Sie möchten herausfinden, ob Sie einen Cane-Corso-Hund in Ihrem visuellen Datensatz haben. Sie müssen lediglich die URI für das Bild bereitstellen; es wird automatisch vektorisiert und im Vektorraum auf Ähnlichkeit mit dem visuellen Datensatz abgefragt.
Reverse image search
Objektsuche: Über ganze Bilder hinaus können Vektordatenbanken Objekterkennungs-Patches verarbeiten und so präzisere Suchen innerhalb von Teilbildern ermöglichen. Dies ist nützlich für Aufgaben wie Gesichtserkennung oder das Identifizieren von Objekten in großen Datensätzen.
Object similarity search
Da der Objektfokus der Suche höchstwahrscheinlich nicht das gesamte Bild ist, kann die Berechnung von Einbettungen für das gesamte Bild weniger effektiv sein, da sie nicht immer den Einbettungen des Objekts ähneln.
OCR-Suche: Ein weiterer Anwendungsfall ist ein interaktives Optical Character Recognition (OCR)-Dokument. Sie können visuell mit den Texteinbettungen interagieren. Sie können sehen, von welcher Stelle auf jeder der Seiten in Ihren Dokumenten diese Ergebnisse stammen.
Robust OCR document search
Modalitätsübergreifendes Retrieval: Tools wie OpenAIs CLIP und Metas ImageBind ermöglichen die Kombination von Text- und Bildeinbettungen. Dies ermöglicht modalitätsübergreifendes Retrieval, bei dem Benutzer mithilfe von Textbeschreibungseinbettungen, Audioeinbettungen usw. nach Bildern suchen können, oder umgekehrt. In seinem Beispiel wurde ein Audioclip eines Zuges eingebettet und dann mit allen Bildern verglichen, um Züge im Datensatz zu finden.
Cross-modal retrieval
Perzeptuelle Ähnlichkeit: Perzeptuelle Ähnlichkeit ermöglicht es uns zu verstehen, wie verschiedene Modelle die Welt wahrnehmen, indem Modellrepräsentationen im Vektorraum verglichen werden. Einige Modelle sind sehr semantisch, erfassen Details und Konzepte auf hoher Ebene, aber nicht die Farbpalette des Bildes auf Pixelebene, wie im Bild unten:
Probing perceptual similarity
Traditionellere Computer Vision, implementiert mit rechnergestützten neuronalen Netzwerken, erfasst jedes Pixel und jeden Patch, aber nicht die Bedeutung, wie Sie im Bild unten sehen können.
Probing perceptual similarity-2
Sie können Modellrepräsentationen im Vektorraum vergleichen, indem Sie die Ergebnisverteilung im Vektorraum betrachten. Bei einigen Modellen sind die Ergebnisse zusammen geclustert, bei anderen möglicherweise nicht. Sie sehen die Welt unterschiedlich, und zu verstehen, wann diese unterschiedlichen Perspektiven angewendet werden sollten, ist grundlegend für die Qualität Ihrer KI.
In der visuellen Vektorsuche kommt noch mehr Innovation
Konzeptinterpolation: Konzeptinterpolation nimmt zwei Textkonzepte und interpoliert Ergebnisse zwischen ihnen. Im Beispiel wurden die anfänglichen Einbettungen für einen Husky und einen Chihuahua verwendet, um nach allem zu suchen, was dazwischen passen könnte, einschließlich einer Katze!
Konzeptinterpolation
Traversal im Konzeptraum: Mit Traversal im Konzeptraum können Benutzer Embeddings kombinieren und manipulieren, um Attribute im Raum möglicher Embeddings zu regulieren, wie im Beispiel, in dem die Attribute Gesundheit und Farbigkeit in der Suche reguliert werden.
Traversal im Konzeptraum
Im Hintergrund passiert viel, um die Suche durch die Kombination von Embeddings für Text, Bilder und andere Modalitäten mit den richtigen Attributen auf dem gewünschten Niveau zu ermöglichen, damit der Suchraum dynamischer erkundbar wird, und alles, was Ihnen noch zu tun bleibt, ist zu klicken oder zu Ihrer Auswahl zu schieben. So einfach!
Fazit
Vektordatenbanken sind in der Computer Vision unverzichtbar und bieten visuellen Datensatz-Tools eine leistungsstarke Engine für Datenexploration, Modellevaluierung und innovative Suche mithilfe multimodaler Embeddings, Konzeptinterpolation und Traversal. Da sich KI weiterentwickelt, wird die Integration von Vektordatenbanken eine entscheidende Rolle bei der Gestaltung der Zukunft unstrukturierter, datengesteuerter Technologien spielen.
Der Himmel ist begrenzt, wie Jacob sagt. Werden Sie praktisch aktiv und haben Sie Spaß mit visueller KI, die von einer Vektordatenbank unterstützt wird, mit diesem praktischen Tutorial.
Wenn Sie mehr erfahren oder Ihr Computer-Vision-Projekt beginnen möchten, sind Sie beispielsweise herzlich eingeladen, unserem Discord-Kanal beizutreten. Wir stellen eine Fülle von Ressourcen und eine unterstützende Community bereit, die Ihnen beim Einstieg hilft.
Weiterlesen
Zilliz Cloud Just Landed in Claude Code
The Zilliz Cloud Plugin brings the full power of Zilliz Cloud directly into your Claude Code terminal as natural-language conversations.
Demystifying the Milvus Sizing Tool
Explore how to use the Sizing Tool to select the optimal configuration for your Milvus deployment.
What is the K-Nearest Neighbors (KNN) Algorithm in Machine Learning?
KNN is a supervised machine learning technique and algorithm for classification and regression. This post is the ultimate guide to KNN.