Comment créer 4 applications d’IA populaires avec Milvus
Image de couverture.
Milvus est une base de données vectorielle open source. Elle prend en charge l’ajout, la suppression, la mise à jour et la recherche en quasi-temps réel d’ensembles de données vectorielles massifs créés en extrayant des vecteurs de caractéristiques à partir de données non structurées à l’aide de modèles d’IA. Grâce à un ensemble complet d’API intuitives et à la prise en charge de plusieurs bibliothèques d’index largement adoptées (par exemple, Faiss, NMSLIB et Annoy), Milvus accélère le développement d’applications d’apprentissage automatique et les opérations d’apprentissage automatique (MLOps). Avec Milvus, vous pouvez développer rapidement un produit minimum viable (MVP) tout en maintenant les coûts à des niveaux réduits.
« Quelles ressources sont disponibles pour développer une application d’IA avec Milvus ? » est une question fréquemment posée dans la communauté Milvus. Zilliz, la société derrière Milvus, a développé un certain nombre de démonstrations qui exploitent Milvus pour effectuer une recherche de similarité ultra-rapide alimentant des applications intelligentes. Le code source des solutions Milvus est disponible sur zilliz-bootcamp. Les scénarios interactifs suivants illustrent le traitement du langage naturel (NLP), la recherche d’images inversée, la recherche audio et la vision par ordinateur.
N’hésitez pas à essayer les solutions pour acquérir une expérience pratique avec des scénarios spécifiques ! Partagez vos propres scénarios d’application via :
Traitement du langage naturel (chatbots)
Milvus peut être utilisé pour créer des chatbots qui utilisent le traitement du langage naturel afin de simuler un opérateur en direct, répondre aux questions, orienter les utilisateurs vers des informations pertinentes et réduire les coûts de main-d’œuvre. Pour illustrer ce scénario d’application, Zilliz a créé un chatbot propulsé par l’IA qui comprend le langage sémantique en combinant Milvus avec BERT, un modèle d’apprentissage automatique (ML) développé pour le pré-entraînement NLP.
👉Code source：zilliz-bootcamp/intelligent_question_answering_v2
Chatbot propulsé par l’IA construit avec Milvus et BERT.
Mode d’utilisation
Importez un ensemble de données comprenant des paires question-réponse. Formatez les questions et les réponses dans deux colonnes distinctes.
Après avoir saisi votre question, une liste de questions similaires sera récupérée à partir de l’ensemble de données importé.
Affichez la réponse en sélectionnant la question la plus similaire à la vôtre.
👉Vidéo：[Démo] Système de questions-réponses propulsé par Milvus
Fonctionnement
Les questions sont converties en vecteurs de caractéristiques à l’aide du modèle BERT de Google, puis Milvus est utilisé pour gérer et interroger l’ensemble de données.
Traitement des données :
- BERT est utilisé pour convertir les paires question-réponse importées en vecteurs de caractéristiques à 768 dimensions. Les vecteurs sont ensuite importés dans Milvus et reçoivent des ID individuels.
- Les ID des vecteurs des questions et des réponses correspondantes sont stockés dans PostgreSQL.
Recherche de questions similaires :
- BERT est utilisé pour extraire des vecteurs de caractéristiques à partir de la question saisie par un utilisateur.
- Milvus récupère les ID des vecteurs des questions les plus similaires à la question saisie.
- Le système recherche les réponses correspondantes dans PostgreSQL.
Systèmes de recherche d’images inversée
La recherche d’images inversée transforme le commerce électronique grâce à des recommandations de produits personnalisées et à des outils de recherche de produits similaires pouvant stimuler les ventes. Dans ce scénario d’application, Zilliz a créé un système de recherche d’images inversée en combinant Milvus avec VGG, un modèle ML capable d’extraire les caractéristiques des images.
👉Code source：zilliz-bootcamp/image_search
Système de recherche d’images inversée construit avec Milvus et VGG.
Utilisation
- Téléchargez un jeu de données d’images compressé au format zip, composé uniquement d’images .jpg (les autres types de fichiers image ne sont pas acceptés).
- Téléchargez une image à utiliser comme entrée de recherche pour trouver des images similaires.
👉Vidéo : [Démo] Recherche d’images optimisée par Milvus
Fonctionnement
Les images sont converties en vecteurs de caractéristiques à 512 dimensions à l’aide du modèle VGG, puis Milvus est utilisé pour gérer et interroger le jeu de données.
Traitement des données :
- Le modèle VGG est utilisé pour convertir le jeu de données d’images téléchargé en vecteurs de caractéristiques. Les vecteurs sont ensuite importés dans Milvus et se voient attribuer des identifiants individuels.
- Les vecteurs de caractéristiques des images, ainsi que les chemins de fichiers d’image correspondants, sont stockés dans CacheDB.
Recherche d’images similaires :
- VGG est utilisé pour convertir l’image téléchargée par un utilisateur en vecteurs de caractéristiques.
- Les identifiants de vecteurs des images les plus similaires à l’image d’entrée sont récupérés depuis Milvus.
- Le système recherche les chemins de fichiers d’image correspondants dans CacheDB.
Systèmes de recherche audio
La recherche vocale, musicale, d’effets sonores et d’autres types d’audio permet d’interroger rapidement d’immenses volumes de données audio et de faire apparaître des sons similaires. Les applications incluent l’identification d’effets sonores similaires, la réduction des atteintes à la propriété intellectuelle, et plus encore. Pour illustrer ce scénario d’application, Zilliz a créé un système de recherche de similarité audio très efficace en combinant Milvus avec PANNs, de grands réseaux neuronaux audio préentraînés conçus pour la reconnaissance de motifs audio.
👉Code source：zilliz-bootcamp/audio_search
Système de recherche audio construit avec Milvus et PANNs.
Utilisation
- Téléchargez un jeu de données audio compressé au format zip, composé uniquement de fichiers .wav (les autres types de fichiers audio ne sont pas acceptés).
- Téléchargez un fichier .wav à utiliser comme entrée de recherche pour trouver des fichiers audio similaires.
👉Vidéo : [Démo] Recherche audio optimisée par Milvus
Fonctionnement
L’audio est converti en vecteurs de caractéristiques à l’aide de PANNs, de grands réseaux neuronaux audio préentraînés conçus pour la reconnaissance de motifs audio. Milvus est ensuite utilisé pour gérer et interroger le jeu de données.
Traitement des données :
- PANNs convertit l’audio du jeu de données téléchargé en vecteurs de caractéristiques. Les vecteurs sont ensuite importés dans Milvus et se voient attribuer des identifiants individuels.
- Les identifiants des vecteurs de caractéristiques audio et leurs chemins de fichiers .wav correspondants sont stockés dans PostgreSQL.
Recherche d’audio similaire :
- PANNs est utilisé pour convertir le fichier audio téléchargé par un utilisateur en vecteurs de caractéristiques.
- Les identifiants de vecteurs des fichiers audio les plus similaires au fichier téléchargé sont récupérés depuis Milvus en calculant la distance du produit interne (IP).
- Le système recherche les chemins de fichiers audio correspondants dans MySQL.
Détection d’objets vidéo (vision par ordinateur)
La détection d’objets vidéo a des applications dans la vision par ordinateur, la recherche d’images, la conduite autonome, et plus encore. Pour illustrer ce scénario d’application, Zilliz a créé un système de détection d’objets vidéo en combinant Milvus avec des technologies et algorithmes incluant OpenCV, YOLOv3 et ResNet50.
👉Code source : zilliz-bootcamp/video_analysis
Système de détection d’objets vidéo avec Milvus.
Utilisation
- Téléchargez un jeu de données d’images compressé au format zip, composé uniquement de fichiers .jpg (les autres types de fichiers image ne sont pas acceptés). Assurez-vous que chaque fichier image est nommé d’après l’objet qu’il représente.
- Téléchargez une vidéo à utiliser pour l’analyse.
- Cliquez sur le bouton de lecture pour afficher la vidéo téléchargée avec les résultats de détection d’objets affichés en temps réel.
👉Vidéo : [Démo] Système de détection d’objets vidéo optimisé par Milvus
Fonctionnement
Les images d’objets sont converties en vecteurs de caractéristiques à 2048 dimensions à l’aide de ResNet50. Ensuite, Milvus est utilisé pour gérer et interroger le jeu de données.
Traitement des données :
- ResNet50 convertit les images d’objets en vecteurs de caractéristiques à 2048 dimensions. Les vecteurs sont ensuite importés dans Milvus et se voient attribuer des ID individuels.
- Les ID des vecteurs de caractéristiques audio et leurs chemins de fichiers image correspondants sont stockés dans MySQL.
Détection d’objets dans une vidéo :
- OpenCV est utilisé pour découper la vidéo.
- YOLOv3 est utilisé pour détecter les objets dans la vidéo.
- ResNet50 convertit les images d’objets détectées en vecteurs de caractéristiques à 2048 dimensions.
Milvus recherche les images d’objets les plus similaires dans le jeu de données téléversé. Les noms d’objets correspondants et les chemins de fichiers image sont récupérés depuis MySQL.
Continuer à lire
The AWS Outage Was a Wake-Up Call for Vector Database Cross-Region Disaster Recovery
Zilliz Cloud Had the Answer Before the Crisis. Zilliz Cloud is the world's first vector database with native cross-region disaster recovery.
How to Build RAG with Milvus, QwQ-32B and Ollama
Hands-on tutorial on how to create a streamlined, powerful RAG pipeline that balances efficiency, accuracy, and scalability using the QwQ-32B and Milvus.
Vector Databases vs. Document Databases
Use a vector database for similarity search and AI-powered applications; use a document database for flexible schema and JSON-like data storage.