Criando com Milvus: Proptech com IA integrada para busca imobiliária personalizada
A inteligência artificial (IA) tem aplicações poderosas no setor imobiliário que estão transformando o processo de busca por imóveis. Profissionais do setor imobiliário com conhecimento em tecnologia vêm aproveitando a IA há anos, reconhecendo sua capacidade de ajudar clientes a encontrar a casa certa mais rapidamente e simplificar o processo de compra de imóveis. A pandemia de coronavírus acelerou o interesse, a adoção e o investimento em tecnologia imobiliária (ou proptech) em todo o mundo, sugerindo que ela desempenhará um papel cada vez maior no setor imobiliário daqui para frente.
Este artigo explora como a Beike usou a busca por similaridade vetorial para construir uma plataforma de busca por imóveis que fornece resultados personalizados e recomenda anúncios quase em tempo real.
Ir para:
O que é busca por similaridade vetorial?
A busca por similaridade vetorial tem aplicações que abrangem uma ampla variedade de cenários de inteligência artificial, deep learning e cálculo vetorial tradicional. A proliferação da tecnologia de IA é atribuída em parte à busca vetorial e à sua capacidade de dar sentido a dados não estruturados, que incluem coisas como imagens, vídeo, áudio, dados de comportamento, documentos e muito mais.
Dados não estruturados representam cerca de 80-90% de todos os dados, e extrair insights deles está rapidamente se tornando uma exigência para empresas que desejam permanecer competitivas em um mundo em constante mudança. A crescente demanda por análise de dados não estruturados, o aumento do poder computacional e a queda nos custos de computação tornaram a busca vetorial habilitada por IA mais acessível do que nunca.
Entendendo a diferença entre dados estruturados e não estruturados.
Tradicionalmente, dados não estruturados têm sido um desafio para processar e analisar em escala porque não seguem um modelo predefinido ou uma estrutura organizacional. Redes neurais (por exemplo, CNN, RNN e BERT) tornam possível converter dados não estruturados em vetores de características, um formato de dados numérico que pode ser facilmente interpretado por computadores. Em seguida, algoritmos são usados para calcular a similaridade entre vetores usando métricas como similaridade de cosseno ou distância euclidiana.
Em última análise, a busca por similaridade vetorial é um termo amplo que descreve técnicas para identificar coisas semelhantes em conjuntos de dados massivos. A Beike usa essa tecnologia para impulsionar um mecanismo inteligente de busca por imóveis que recomenda automaticamente anúncios com base nas preferências individuais do usuário, no histórico de busca e nos critérios do imóvel—acelerando o processo de busca e compra imobiliária. Milvus é um banco de dados vetorial open-source que conecta informações a algoritmos, permitindo que a Beike desenvolva e gerencie sua plataforma imobiliária de IA.
Como o Milvus gerencia dados vetoriais?
O Milvus foi criado especificamente para o gerenciamento de dados vetoriais em larga escala e tem aplicações que abrangem busca de imagens e vídeos, análise de similaridade química, sistemas de recomendação personalizados, IA conversacional e muito mais. Conjuntos de dados vetoriais armazenados no Milvus podem ser consultados com eficiência, com a maioria das implementações seguindo este processo geral:
Como o Milvus gerencia dados vetoriais?
Como a Beike usa o Milvus para tornar a busca por imóveis mais inteligente?
Comumente descrita como a resposta da China ao Zillow, a Beike é uma plataforma online que permite que corretores imobiliários listem imóveis para aluguel ou venda. Para ajudar a melhorar a experiência de busca de imóveis para quem procura uma casa e ajudar os corretores a fechar negócios mais rapidamente, a empresa criou um mecanismo de busca com tecnologia de IA para seu banco de dados de anúncios. O banco de dados de anúncios imobiliários da Beike foi convertido em vetores de características e depois inserido no Milvus para indexação e armazenamento. Em seguida, o Milvus é usado para realizar buscas por similaridade com base em um anúncio de entrada, critérios de busca, perfil do usuário ou outros critérios.
Por exemplo, ao buscar mais imóveis semelhantes a um determinado anúncio, são extraídas características como planta baixa, tamanho, orientação, acabamentos internos, cores da pintura e muito mais. Como o banco de dados original de dados de anúncios de imóveis foi indexado, as buscas podem ser realizadas em meros milissegundos. O produto final da Beike teve um tempo médio de consulta de 113 milissegundos em um conjunto de dados contendo mais de 3 milhões de vetores. No entanto, o Milvus é capaz de manter velocidades eficientes em conjuntos de dados na escala de trilhões — tornando esse banco de dados imobiliário relativamente pequeno uma tarefa simples. Em geral, o sistema segue o seguinte processo:
Modelos de deep learning (por exemplo, CNN, RNN ou BERT) convertem dados não estruturados em vetores de características, que são então importados para o Milvus.
O Milvus armazena e indexa os vetores de características.
O Milvus retorna resultados de busca por similaridade com base nas consultas dos usuários.
Uma visão geral do Milvus.
A plataforma inteligente de busca imobiliária da Beike é alimentada por um algoritmo de recomendação que calcula a similaridade vetorial usando distância cosseno. O sistema encontra imóveis semelhantes com base em anúncios favoritos e critérios de busca. Em um nível geral, ele funciona da seguinte forma:
Com base em um anúncio de entrada, características como planta baixa, tamanho e orientação são usadas para extrair 4 coleções de vetores de características.
As coleções de características extraídas são usadas para realizar busca por similaridade no Milvus. Os resultados da consulta para cada coleção de vetores são uma medida de similaridade entre o anúncio de entrada e outros anúncios semelhantes.
Os resultados de busca de cada uma das 4 coleções de vetores são comparados e então usados para recomendar imóveis semelhantes.
Uma visão geral da plataforma inteligente de busca de imóveis da Beike.
Como mostra a figura acima, o sistema implementa um mecanismo de alternância de tabelas A/B para atualização de dados. O Milvus armazena os dados dos primeiros T dias na tabela A; no dia T+1, começa a armazenar dados na tabela B; no dia 2T+1, começa a reescrever a tabela A; e assim por diante.
Para saber mais sobre como criar coisas com o Milvus, confira os seguintes recursos:
Continue lendo
Introducing Zilliz Cloud Global Cluster: Region-Level Resilience for Mission-Critical AI
Zilliz Cloud Global Cluster delivers multi-region resilience, automatic failover, and fast global AI search with built-in security and compliance.
Zilliz Cloud Update: Tiered Storage, Business Critical Plan, Cross-Region Backup, and Pricing Changes
This release offers a rebuilt tiered storage with lower costs, a new Business Critical plan for enhanced security, and pricing updates, among other features.
Our Journey to 35K+ GitHub Stars: The Real Story of Building Milvus from Scratch
Join us in celebrating Milvus, the vector database that hit 35.5K stars on GitHub. Discover our story and how we’re making AI solutions easier for developers.