Cómo crear 4 aplicaciones populares de IA con Milvus
Imagen de portada.
Milvus es una base de datos vectorial de código abierto. Permite agregar, eliminar, actualizar y realizar búsquedas casi en tiempo real en conjuntos de datos vectoriales masivos creados al extraer vectores de características de datos no estructurados mediante modelos de IA. Con un conjunto completo de API intuitivas y compatibilidad con varias bibliotecas de índices ampliamente adoptadas (por ejemplo, Faiss, NMSLIB y Annoy), Milvus acelera el desarrollo de aplicaciones de aprendizaje automático y las operaciones de aprendizaje automático (MLOps). Con Milvus, puedes desarrollar rápidamente un producto mínimo viable (MVP) manteniendo los costos en límites bajos.
“¿Qué recursos están disponibles para desarrollar una aplicación de IA con Milvus?” es una pregunta común en la comunidad de Milvus. Zilliz, la empresa detrás de Milvus, desarrolló una serie de demos que aprovechan Milvus para realizar búsquedas de similitud ultrarrápidas que impulsan aplicaciones inteligentes. El código fuente de las soluciones de Milvus se puede encontrar en zilliz-bootcamp. Los siguientes escenarios interactivos demuestran procesamiento del lenguaje natural (NLP), búsqueda inversa de imágenes, búsqueda de audio y visión por computadora.
¡No dudes en probar las soluciones para adquirir experiencia práctica con escenarios específicos! Comparte tus propios escenarios de aplicación a través de:
Procesamiento del lenguaje natural (chatbots)
Milvus se puede utilizar para crear chatbots que usan procesamiento del lenguaje natural para simular a un operador en vivo, responder preguntas, dirigir a los usuarios a información relevante y reducir costos laborales. Para demostrar este escenario de aplicación, Zilliz creó un chatbot con tecnología de IA que comprende el lenguaje semántico combinando Milvus con BERT, un modelo de aprendizaje automático (ML) desarrollado para el preentrenamiento de NLP.
👉Código fuente：zilliz-bootcamp/intelligent_question_answering_v2
Chatbot con tecnología de IA creado con Milvus y BERT.
Cómo usarlo
Sube un conjunto de datos que incluya pares de preguntas y respuestas. Formatea las preguntas y respuestas en dos columnas separadas.
Después de escribir tu pregunta, se recuperará una lista de preguntas similares del conjunto de datos cargado.
Revela la respuesta seleccionando la pregunta más similar a la tuya.
👉Video：[Demo] Sistema de QA impulsado por Milvus
Cómo funciona
Las preguntas se convierten en vectores de características utilizando el modelo BERT de Google; luego Milvus se utiliza para gestionar y consultar el conjunto de datos.
Procesamiento de datos:
- BERT se utiliza para convertir los pares de preguntas y respuestas cargados en vectores de características de 768 dimensiones. Luego los vectores se importan a Milvus y se les asignan ID individuales.
- Las preguntas y sus respuestas correspondientes, junto con los ID de vectores, se almacenan en PostgreSQL.
Búsqueda de preguntas similares:
- BERT se utiliza para extraer vectores de características de la pregunta ingresada por un usuario.
- Milvus recupera los ID de vectores de las preguntas más similares a la pregunta ingresada.
- El sistema busca las respuestas correspondientes en PostgreSQL.
Sistemas de búsqueda inversa de imágenes
La búsqueda inversa de imágenes está transformando el comercio electrónico mediante recomendaciones de productos personalizadas y herramientas de búsqueda de productos similares que pueden impulsar las ventas. En este escenario de aplicación, Zilliz creó un sistema de búsqueda inversa de imágenes combinando Milvus con VGG, un modelo de ML que puede extraer características de imágenes.
👉Código fuente：zilliz-bootcamp/image_search
Sistema de búsqueda inversa de imágenes creado con Milvus y VGG.
Cómo usar
- Sube un conjunto de datos de imágenes comprimido en zip compuesto únicamente por imágenes .jpg (no se aceptan otros tipos de archivos de imagen).
- Sube una imagen para usarla como entrada de búsqueda para encontrar imágenes similares.
👉Video: [Demo] Búsqueda de imágenes impulsada por Milvus
Cómo funciona
Las imágenes se convierten en vectores de características de 512 dimensiones usando el modelo VGG; luego, Milvus se utiliza para gestionar y consultar el conjunto de datos.
Procesamiento de datos:
- El modelo VGG se utiliza para convertir el conjunto de datos de imágenes subido en vectores de características. Luego, los vectores se importan a Milvus y se les asignan IDs individuales.
- Los vectores de características de las imágenes y las rutas de archivo de imagen correspondientes se almacenan en CacheDB.
Búsqueda de imágenes similares:
- VGG se utiliza para convertir una imagen subida por un usuario en vectores de características.
- Los IDs de vectores de las imágenes más similares a la imagen de entrada se recuperan de Milvus.
- El sistema busca las rutas de archivo de imagen correspondientes en CacheDB.
Sistemas de búsqueda de audio
La búsqueda de voz, música, efectos de sonido y otros tipos de audio permite consultar rápidamente volúmenes masivos de datos de audio y mostrar sonidos similares. Las aplicaciones incluyen identificar efectos de sonido similares, minimizar la infracción de IP y más. Para demostrar este escenario de aplicación, Zilliz creó un sistema de búsqueda de similitud de audio altamente eficiente combinando Milvus con PANNs, redes neuronales de audio preentrenadas a gran escala creadas para el reconocimiento de patrones de audio.
👉Código fuente：zilliz-bootcamp/audio_search
Sistema de búsqueda de audio creado con Milvus y PANNs.
Cómo usar
- Sube un conjunto de datos de audio comprimido en zip compuesto únicamente por archivos .wav (no se aceptan otros tipos de archivos de audio).
- Sube un archivo .wav para usarlo como entrada de búsqueda para encontrar audio similar.
👉Video: [Demo] Búsqueda de audio impulsada por Milvus
Cómo funciona
El audio se convierte en vectores de características usando PANNs, redes neuronales de audio preentrenadas a gran escala creadas para el reconocimiento de patrones de audio. Luego, Milvus se utiliza para gestionar y consultar el conjunto de datos.
Procesamiento de datos:
- PANNs convierte el audio del conjunto de datos subido en vectores de características. Luego, los vectores se importan a Milvus y se les asignan IDs individuales.
- Los IDs de vectores de características de audio y sus rutas de archivo .wav correspondientes se almacenan en PostgreSQL.
Búsqueda de audio similar:
- PANNs se utiliza para convertir un archivo de audio subido por un usuario en vectores de características.
- Los IDs de vectores del audio más similar al archivo subido se recuperan de Milvus calculando la distancia de producto interno (IP).
- El sistema busca las rutas de archivo de audio correspondientes en MySQL.
Detección de objetos en video (visión por computadora)
La detección de objetos en video tiene aplicaciones en visión por computadora, recuperación de imágenes, conducción autónoma y más. Para demostrar este escenario de aplicación, Zilliz creó un sistema de detección de objetos en video combinando Milvus con tecnologías y algoritmos que incluyen OpenCV, YOLOv3 y ResNet50.
👉Código fuente: zilliz-bootcamp/video_analysis
Sistema de detección de objetos en video con Milvus.
Cómo usar
- Sube un conjunto de datos de imágenes comprimido en zip compuesto únicamente por archivos .jpg (no se aceptan otros tipos de archivos de imagen). Asegúrate de que cada archivo de imagen tenga el nombre del objeto que representa.
- Sube un video para usarlo en el análisis.
- Haz clic en el botón de reproducción para ver el video subido con los resultados de detección de objetos mostrados en tiempo real.
👉Video: [Demo] Sistema de detección de objetos en video impulsado por Milvus
Cómo funciona
Las imágenes de objetos se convierten en vectores de características de 2048 dimensiones utilizando ResNet50. Luego se utiliza Milvus para gestionar y consultar el conjunto de datos.
Procesamiento de datos:
- ResNet50 convierte las imágenes de objetos en vectores de características de 2048 dimensiones. Luego, los vectores se importan a Milvus y se les asignan IDs individuales.
- Los IDs de los vectores de características de audio y sus rutas de archivo de imagen correspondientes se almacenan en MySQL.
Detección de objetos en video:
- OpenCV se utiliza para recortar el video.
- YOLOv3 se utiliza para detectar objetos en el video.
- ResNet50 convierte las imágenes de objetos detectados en vectores de características de 2048 dimensiones.
Milvus busca las imágenes de objetos más similares en el conjunto de datos cargado. Los nombres de objetos correspondientes y las rutas de archivo de imagen se recuperan de MySQL.
Sigue leyendo
Zilliz Cloud Audit Logs Goes GA: Security, Compliance, and Transparency at Scale
Zilliz Cloud Audit Logs are now GA, giving enterprises real-time visibility, compliance-ready trails, and stronger security across AWS, GCP, and Azure.
OpenAI o1: What Developers Need to Know
In this article, we will talk about the o1 series from a developer's perspective, exploring how these models can be implemented for sophisticated use cases.
AI Integration in Video Surveillance Tools: Transforming the Industry with Vector Databases
Discover how AI and vector databases are revolutionizing video surveillance with real-time analysis, faster threat detection, and intelligent search capabilities for enhanced security.