O que é o FiftyOne
O FiftyOne é uma solução de código aberto para o desenvolvimento de modelos de visão por computador. Como um kit de ferramentas de aprendizagem automática, o FiftyOne permite que as equipas de ciência de dados aumentem a eficácia dos seus modelos de visão por computador através de várias funcionalidades. Estas incluem a capacidade de selecionar meticulosamente conjuntos de dados de topo, realizar avaliações completas de modelos, identificar erros, visualizar embeddings e simplificar o caminho para a produção.
Porquê o FiftyOne e o Zilliz Cloud (Milvus)
Os motores de pesquisa de vectores, como o Milvus, simplificam o processo de armazenamento, indexação e pesquisa de embeddings de vectores para o número crescente de aplicações de IA construídas de forma benigna todos os dias.
Para aqueles que integram a pesquisa vetorial em fluxos de trabalho de imagem ou vídeo, podem surgir desafios como a implementação da recuperação intermodal ou a incorporação de filtros de pesquisa tradicionais. O FiftyOne oferece uma solução como interface de visão computacional para a pesquisa vetorial. Com integrações nativas com o Milvus, o FiftyOne permite que os utilizadores aproveitem sem problemas o seu motor de pesquisa vetorial preferido para uma pesquisa de dados visuais eficiente com apenas uma linha de código. Quer se trate de encontrar imagens semelhantes ou de procurar objectos específicos dentro de imagens, o FiftyOne simplifica o processo, permitindo aos utilizadores alcançar os seus objectivos de pesquisa sem esforço.
Ao integrar a pesquisa vetorial em fluxos de trabalho de dados de imagem ou vídeo, podem surgir vários desafios:
- Implementar a recuperação intermodal, como a pesquisa de imagens com base no texto associado.
- Incorporação de filtros de pesquisa tradicionais, como limiares de confiança ou rótulos de classe.
- Pesquisar objectos específicos em imagens, como pessoas, gatos, cães, carros, bicicletas, etc.
Como utilizar o FiftyOne e o Zilliz Cloud
Para utilizar o Milvus com o FiftyOne, criar um índice de semelhança nos conjuntos de dados do FiftyOne e utilizá-lo para consultar os seus dados é o seguinte
- Carregar o conjunto de dados no FiftyOne
- Especifique o modelo que deseja usar para gerar os vetores de incorporação e configure se deseja usar o Milvus ou o Zilliz Cloud para armazenar esses vetores de incorporação
- Utilize o método
compute_similarity()para gerar um índice de similaridade Milvus para as amostras ou manchas de objectos num conjunto de dados, definindo o parâmetro backend="milvus" e especificando uma brain_key à sua escolha - Utilize este índice de similaridade Milvus para consultar os seus dados com
sort_by_similarity()
Configurar o Milvus
## setup milvus ## descarregar e iniciar o contentor docker + pip install pymilvus ## gerar um índice de similaridade ## com os embeddings do modelo CLIP ## usando o backend Milvus fob.compute_similarity( dataset, brain_key="milvus_clip_index", backend="milvus", metric="dotproduct"Consultar Milvus
## obter o ID da primeira amostra consulta = dataset.skip(1).first().id ## encontrar 25 imagens mais semelhantes com o backend Milvus sim_view = dataset.sort_by_similarity( consulta, k=25, brain_key="milvus_clip_index" ) ## apresentar resultados sessão = fo.launch_app(sim_view)Saiba mais
Consulte estes tutoriais para saber como utilizar o FiftyOne e o Milvus / Zilliz Cloud.