Wie man 4 beliebte KI-Anwendungen mit Milvus erstellt
Titelbild.
Milvus ist eine Open-Source-Vektordatenbank. Sie unterstützt das Hinzufügen, Löschen, Aktualisieren und die nahezu Echtzeit-Suche in riesigen Vektordatensätzen, die durch das Extrahieren von Merkmalsvektoren aus unstrukturierten Daten mithilfe von KI-Modellen erstellt wurden. Mit einem umfassenden Satz intuitiver APIs und Unterstützung für mehrere weit verbreitete Indexbibliotheken (z. B. Faiss, NMSLIB und Annoy) beschleunigt Milvus die Entwicklung von Machine-Learning-Anwendungen und Machine-Learning-Operations (MLOps). Mit Milvus können Sie schnell ein Minimum Viable Product (MVP) entwickeln und gleichzeitig die Kosten niedrig halten.
„Welche Ressourcen stehen für die Entwicklung einer KI-Anwendung mit Milvus zur Verfügung?“ wird in der Milvus-Community häufig gefragt. Zilliz, das Unternehmen hinter Milvus, hat eine Reihe von Demos entwickelt, die Milvus nutzen, um blitzschnelle Ähnlichkeitssuche durchzuführen, die intelligente Anwendungen antreibt. Der Quellcode von Milvus-Lösungen ist unter zilliz-bootcamp zu finden. Die folgenden interaktiven Szenarien demonstrieren Natural Language Processing (NLP), umgekehrte Bildsuche, Audiosuche und Computer Vision.
Probieren Sie die Lösungen gerne aus, um praktische Erfahrung mit bestimmten Szenarien zu sammeln! Teilen Sie Ihre eigenen Anwendungsszenarien über:
Natural Language Processing (Chatbots)
Milvus kann verwendet werden, um Chatbots zu erstellen, die Natural Language Processing nutzen, um einen Live-Operator zu simulieren, Fragen zu beantworten, Benutzer zu relevanten Informationen weiterzuleiten und Arbeitskosten zu senken. Um dieses Anwendungsszenario zu demonstrieren, entwickelte Zilliz einen KI-gestützten Chatbot, der semantische Sprache versteht, indem Milvus mit BERT kombiniert wird, einem Machine-Learning-(ML)-Modell, das für NLP-Vortraining entwickelt wurde.
👉Quellcode：zilliz-bootcamp/intelligent_question_answering_v2
KI-gestützter Chatbot, erstellt mit Milvus und BERT.
Verwendung
Laden Sie einen Datensatz hoch, der Frage-Antwort-Paare enthält. Formatieren Sie Fragen und Antworten in zwei separaten Spalten.
Nachdem Sie Ihre Frage eingegeben haben, wird eine Liste ähnlicher Fragen aus dem hochgeladenen Datensatz abgerufen.
Zeigen Sie die Antwort an, indem Sie die Frage auswählen, die Ihrer eigenen am ähnlichsten ist.
👉Video：[Demo] QA System Powered by Milvus
Funktionsweise
Fragen werden mithilfe des BERT-Modells von Google in Merkmalsvektoren umgewandelt, anschließend wird Milvus verwendet, um den Datensatz zu verwalten und abzufragen.
Datenverarbeitung:
- BERT wird verwendet, um die hochgeladenen Frage-Antwort-Paare in 768-dimensionale Merkmalsvektoren umzuwandeln. Die Vektoren werden anschließend in Milvus importiert und individuellen IDs zugewiesen.
- Frage, zugehörige Antwort und Vektor-IDs werden in PostgreSQL gespeichert.
Suche nach ähnlichen Fragen:
- BERT wird verwendet, um Merkmalsvektoren aus der Eingabefrage eines Benutzers zu extrahieren.
- Milvus ruft Vektor-IDs für Fragen ab, die der Eingabefrage am ähnlichsten sind.
- Das System schlägt die entsprechenden Antworten in PostgreSQL nach.
Systeme zur umgekehrten Bildsuche
Die umgekehrte Bildsuche verändert den E-Commerce durch personalisierte Produktempfehlungen und Tools zum Auffinden ähnlicher Produkte, die den Umsatz steigern können. In diesem Anwendungsszenario baute Zilliz ein System zur umgekehrten Bildsuche, indem Milvus mit VGG kombiniert wurde, einem ML-Modell, das Bildmerkmale extrahieren kann.
👉Quellcode：zilliz-bootcamp/image_search
System zur umgekehrten Bildsuche, erstellt mit Milvus und VGG.
Verwendung
- Laden Sie einen gezippten Bilddatensatz hoch, der ausschließlich aus .jpg-Bildern besteht (andere Bilddateitypen werden nicht akzeptiert).
- Laden Sie ein Bild hoch, das als Sucheingabe zum Finden ähnlicher Bilder verwendet werden soll.
👉Video: [Demo] Image Search Powered by Milvus
Funktionsweise
Bilder werden mithilfe des VGG-Modells in 512-dimensionale Merkmalsvektoren umgewandelt, anschließend wird Milvus verwendet, um den Datensatz zu verwalten und abzufragen.
Datenverarbeitung:
- Das VGG-Modell wird verwendet, um den hochgeladenen Bilddatensatz in Merkmalsvektoren umzuwandeln. Die Vektoren werden anschließend in Milvus importiert und einzelnen IDs zugewiesen.
- Bildmerkmalsvektoren und die entsprechenden Bilddateipfade werden in CacheDB gespeichert.
Suche nach ähnlichen Bildern:
- VGG wird verwendet, um das von einem Benutzer hochgeladene Bild in Merkmalsvektoren umzuwandeln.
- Vektor-IDs der Bilder, die dem Eingabebild am ähnlichsten sind, werden aus Milvus abgerufen.
- Das System schlägt die entsprechenden Bilddateipfade in CacheDB nach.
Audiosuchsysteme
Sprache, Musik, Soundeffekte und andere Arten der Audiosuche ermöglichen es, riesige Mengen an Audiodaten schnell abzufragen und ähnliche Klänge anzuzeigen. Zu den Anwendungen gehören das Identifizieren ähnlicher Soundeffekte, das Minimieren von IP-Verstößen und mehr. Um dieses Anwendungsszenario zu demonstrieren, entwickelte Zilliz ein hocheffizientes System zur Audioähnlichkeitssuche, indem Milvus mit PANNs kombiniert wurde — großskaligen vortrainierten Audio-Neural-Networks, die für die Erkennung von Audiomustern entwickelt wurden.
👉Quellcode：zilliz-bootcamp/audio_search
Audiosuchsystem, erstellt mit Milvus und PANNs.
Verwendung
- Laden Sie einen gezippten Audiodatensatz hoch, der ausschließlich aus .wav-Dateien besteht (andere Audiodateitypen werden nicht akzeptiert).
- Laden Sie eine .wav-Datei hoch, die als Sucheingabe zum Finden ähnlicher Audiodateien verwendet werden soll.
👉Video: [Demo] Audio Search Powered by Milvus
Funktionsweise
Audio wird mithilfe von PANNs, großskaligen vortrainierten Audio-Neural-Networks, die für die Erkennung von Audiomustern entwickelt wurden, in Merkmalsvektoren umgewandelt. Anschließend wird Milvus verwendet, um den Datensatz zu verwalten und abzufragen.
Datenverarbeitung:
- PANNs wandelt Audio aus dem hochgeladenen Datensatz in Merkmalsvektoren um. Die Vektoren werden anschließend in Milvus importiert und einzelnen IDs zugewiesen.
- Audio-Merkmalsvektor-IDs und ihre entsprechenden .wav-Dateipfade werden in PostgreSQL gespeichert.
Suche nach ähnlichem Audio:
- PANNs wird verwendet, um eine vom Benutzer hochgeladene Audiodatei in Merkmalsvektoren umzuwandeln.
- Vektor-IDs der Audiodaten, die der hochgeladenen Datei am ähnlichsten sind, werden durch Berechnung der Inner-Product-(IP)-Distanz aus Milvus abgerufen.
- Das System schlägt die entsprechenden Audiodateipfade in MySQL nach.
Video-Objekterkennung (Computer Vision)
Video-Objekterkennung findet Anwendung in Computer Vision, Bildabruf, autonomem Fahren und mehr. Um dieses Anwendungsszenario zu demonstrieren, entwickelte Zilliz ein Video-Objekterkennungssystem, indem Milvus mit Technologien und Algorithmen wie OpenCV, YOLOv3 und ResNet50 kombiniert wurde.
👉Quellcode: zilliz-bootcamp/video_analysis
Video-Objekterkennungssystem mit Milvus.
Verwendung
- Laden Sie einen gezippten Bilddatensatz hoch, der ausschließlich aus .jpg-Dateien besteht (andere Bilddateitypen werden nicht akzeptiert). Stellen Sie sicher, dass jede Bilddatei nach dem Objekt benannt ist, das sie darstellt.
- Laden Sie ein Video hoch, das für die Analyse verwendet werden soll.
- Klicken Sie auf die Wiedergabetaste, um das hochgeladene Video mit in Echtzeit angezeigten Objekterkennungsergebnissen anzusehen.
👉Video: [Demo] Video Object Detection System Powered by Milvus
So funktioniert es
Objektbilder werden mithilfe von ResNet50 in 2048-dimensionale Merkmalsvektoren umgewandelt. Anschließend wird Milvus verwendet, um den Datensatz zu verwalten und abzufragen.
Datenverarbeitung:
- ResNet50 wandelt Objektbilder in 2048-dimensionale Merkmalsvektoren um. Die Vektoren werden anschließend in Milvus importiert und einzelnen IDs zugewiesen.
- Audio-Merkmalsvektor-IDs und die entsprechenden Bilddateipfade werden in MySQL gespeichert.
Erkennung von Objekten in Videos:
- OpenCV wird verwendet, um das Video zuzuschneiden.
- YOLOv3 wird verwendet, um Objekte im Video zu erkennen.
- ResNet50 wandelt erkannte Objektbilder in 2048-dimensionale Merkmalsvektoren um.
Milvus sucht nach den ähnlichsten Objektbildern im hochgeladenen Datensatz. Entsprechende Objektnamen und Bilddateipfade werden aus MySQL abgerufen.
Weiterlesen
Introducing Business Critical Plan: Enterprise-Grade Security and Compliance for Mission-Critical AI Applications
Discover Zilliz Cloud’s Business Critical Plan—offering advanced security, compliance, and uptime for mission-critical AI and vector database workloads.
The Great AI Agent Protocol Race: Function Calling vs. MCP vs. A2A
Compare Function Calling, MCP, and A2A protocols for AI agents. Learn which standard best fits your development needs and future-proof your applications.
Vector Databases vs. Document Databases
Use a vector database for similarity search and AI-powered applications; use a document database for flexible schema and JSON-like data storage.