Como Criar 4 Aplicações Populares de IA com Milvus
Imagem de capa.
Milvus é um banco de dados vetorial de código aberto. Ele oferece suporte à adição, exclusão, atualização e busca quase em tempo real de conjuntos massivos de dados vetoriais criados pela extração de vetores de características de dados não estruturados usando modelos de IA. Com um conjunto abrangente de APIs intuitivas e suporte para várias bibliotecas de índice amplamente adotadas (por exemplo, Faiss, NMSLIB e Annoy), o Milvus acelera o desenvolvimento de aplicações de machine learning e as operações de machine learning (MLOps). Com o Milvus, você pode desenvolver rapidamente um produto mínimo viável (MVP) mantendo os custos em limites mais baixos.
“Quais recursos estão disponíveis para desenvolver uma aplicação de IA com o Milvus?” é uma pergunta comum na comunidade Milvus. A Zilliz, a empresa por trás do Milvus, desenvolveu uma série de demos que utilizam o Milvus para realizar busca por similaridade extremamente rápida, impulsionando aplicações inteligentes. O código-fonte das soluções Milvus pode ser encontrado em zilliz-bootcamp. Os seguintes cenários interativos demonstram processamento de linguagem natural (NLP), busca reversa de imagens, busca de áudio e visão computacional.
Fique à vontade para experimentar as soluções e ganhar alguma experiência prática com cenários específicos! Compartilhe seus próprios cenários de aplicação via:
Processamento de linguagem natural (chatbots)
O Milvus pode ser usado para criar chatbots que usam processamento de linguagem natural para simular um operador ao vivo, responder a perguntas, direcionar usuários a informações relevantes e reduzir custos de mão de obra. Para demonstrar esse cenário de aplicação, a Zilliz criou um chatbot com IA que entende linguagem semântica combinando o Milvus com BERT, um modelo de machine learning (ML) desenvolvido para pré-treinamento em NLP.
👉Código-fonte：zilliz-bootcamp/intelligent_question_answering_v2
Chatbot com IA criado com Milvus e BERT.
Como usar
Faça upload de um conjunto de dados que inclua pares de perguntas e respostas. Formate perguntas e respostas em duas colunas separadas.
Depois de digitar sua pergunta, uma lista de perguntas semelhantes será recuperada do conjunto de dados enviado.
Revele a resposta selecionando a pergunta mais semelhante à sua.
👉Vídeo：[Demo] Sistema de QA desenvolvido com Milvus
Como funciona
As perguntas são convertidas em vetores de características usando o modelo BERT do Google; em seguida, o Milvus é usado para gerenciar e consultar o conjunto de dados.
Processamento de dados:
- O BERT é usado para converter os pares de perguntas e respostas enviados em vetores de características de 768 dimensões. Os vetores são então importados para o Milvus e recebem IDs individuais.
- A pergunta, a resposta correspondente e os IDs dos vetores são armazenados no PostgreSQL.
Busca por perguntas semelhantes:
- O BERT é usado para extrair vetores de características da pergunta inserida por um usuário.
- O Milvus recupera IDs de vetores para perguntas que são mais semelhantes à pergunta inserida.
- O sistema procura as respostas correspondentes no PostgreSQL.
Sistemas de busca reversa de imagens
A busca reversa de imagens está transformando o e-commerce por meio de recomendações personalizadas de produtos e ferramentas de busca de produtos semelhantes que podem impulsionar as vendas. Neste cenário de aplicação, a Zilliz criou um sistema de busca reversa de imagens combinando o Milvus com VGG, um modelo de ML que pode extrair características de imagens.
👉Código-fonte：zilliz-bootcamp/image_search
Sistema de busca reversa de imagens criado com Milvus e VGG.
Como usar
- Carregue um conjunto de dados de imagens compactado em zip composto apenas por imagens .jpg (outros tipos de arquivo de imagem não são aceitos).
- Carregue uma imagem para usar como entrada de busca para encontrar imagens semelhantes.
👉Vídeo: [Demo] Image Search Powered by Milvus
Como funciona
As imagens são convertidas em vetores de características de 512 dimensões usando o modelo VGG; em seguida, o Milvus é usado para gerenciar e consultar o conjunto de dados.
Processamento de dados:
- O modelo VGG é usado para converter o conjunto de dados de imagens carregado em vetores de características. Os vetores são então importados para o Milvus e recebem IDs individuais.
- Vetores de características de imagens e os caminhos de arquivo de imagem correspondentes são armazenados no CacheDB.
Busca por imagens semelhantes:
- O VGG é usado para converter uma imagem carregada por um usuário em vetores de características.
- IDs de vetores das imagens mais semelhantes à imagem de entrada são recuperados do Milvus.
- O sistema procura os caminhos de arquivo de imagem correspondentes no CacheDB.
Sistemas de busca de áudio
A busca por fala, música, efeitos sonoros e outros tipos de áudio permite consultar rapidamente volumes massivos de dados de áudio e revelar sons semelhantes. As aplicações incluem identificar efeitos sonoros semelhantes, minimizar violações de PI e muito mais. Para demonstrar este cenário de aplicação, a Zilliz criou um sistema de busca por similaridade de áudio altamente eficiente combinando o Milvus com PANNs—redes neurais de áudio pré-treinadas em larga escala criadas para reconhecimento de padrões de áudio.
👉Código-fonte：zilliz-bootcamp/audio_search
Sistema de busca de áudio criado com Milvus e PANNs.
Como usar
- Carregue um conjunto de dados de áudio compactado em zip composto apenas por arquivos .wav (outros tipos de arquivo de áudio não são aceitos).
- Carregue um arquivo .wav para usar como entrada de busca para encontrar áudios semelhantes.
👉Vídeo: [Demo] Audio Search Powered by Milvus
Como funciona
O áudio é convertido em vetores de características usando PANNs, redes neurais de áudio pré-treinadas em larga escala criadas para reconhecimento de padrões de áudio. Em seguida, o Milvus é usado para gerenciar e consultar o conjunto de dados.
Processamento de dados:
- PANNs converte o áudio do conjunto de dados carregado em vetores de características. Os vetores são então importados para o Milvus e recebem IDs individuais.
- IDs de vetores de características de áudio e seus caminhos de arquivo .wav correspondentes são armazenados no PostgreSQL.
Busca por áudio semelhante:
- PANNs é usado para converter um arquivo de áudio carregado por um usuário em vetores de características.
- IDs de vetores dos áudios mais semelhantes ao arquivo carregado são recuperados do Milvus calculando a distância do produto interno (IP).
- O sistema procura os caminhos de arquivo de áudio correspondentes no MySQL.
Detecção de objetos em vídeo (visão computacional)
A detecção de objetos em vídeo tem aplicações em visão computacional, recuperação de imagens, direção autônoma e muito mais. Para demonstrar este cenário de aplicação, a Zilliz criou um sistema de detecção de objetos em vídeo combinando o Milvus com tecnologias e algoritmos incluindo OpenCV, YOLOv3 e ResNet50.
👉Código-fonte: zilliz-bootcamp/video_analysis
Sistema de detecção de objetos em vídeo com Milvus.
Como usar
- Carregue um conjunto de dados de imagens compactado em zip composto apenas por arquivos .jpg (outros tipos de arquivo de imagem não são aceitos). Certifique-se de que cada arquivo de imagem seja nomeado de acordo com o objeto que ele representa.
- Carregue um vídeo para usar na análise.
- Clique no botão de reprodução para visualizar o vídeo carregado com os resultados da detecção de objetos mostrados em tempo real.
👉Vídeo: [Demo] Video Object Detection System Powered by Milvus
Como funciona
As imagens de objetos são convertidas em vetores de características de 2048 dimensões usando ResNet50. Em seguida, o Milvus é usado para gerenciar e consultar o conjunto de dados.
Processamento de dados:
- O ResNet50 converte imagens de objetos em vetores de características de 2048 dimensões. Os vetores são então importados para o Milvus e recebem IDs individuais.
- Os IDs dos vetores de características de áudio e seus caminhos de arquivos de imagem correspondentes são armazenados no MySQL.
Detecção de objetos em vídeo:
- O OpenCV é usado para recortar o vídeo.
- O YOLOv3 é usado para detectar objetos no vídeo.
- O ResNet50 converte imagens de objetos detectados em vetores de características de 2048 dimensões.
O Milvus procura as imagens de objetos mais semelhantes no conjunto de dados carregado. Os nomes dos objetos correspondentes e os caminhos dos arquivos de imagem são recuperados do MySQL.
Continue lendo
What Is a Vector Lakebase?
A Vector Lakebase is a unified, lake-native data architecture for AI that combines vector-database-grade serving with open lake storage, reusable lake-level indexes, and a shared semantic layer.
What Exactly Are AI Agents? Why OpenAI and LangChain Are Fighting Over Their Definition?
AI agents are software programs powered by AI that can perceive their environment, make decisions, and take actions to achieve a goal—often autonomously.
Vector Databases vs. Document Databases
Use a vector database for similarity search and AI-powered applications; use a document database for flexible schema and JSON-like data storage.