Construindo um RAG de Apelação Fiscal com Milvus, LlamaIndex e GPT
Zilliz, LlamaIndex, Microsoft e entusiastas da região de Seattle organizam Hackathons mensais para explorar possíveis ideias de startups. As chances de quatro desconhecidos se reunirem para construir um protótipo funcional para uma ideia que surge no mesmo dia são, na melhor das hipóteses, pequenas. O projeto SaveHaven demonstra uma história assim.
Imagine um Gerente de Produto, alguns desenvolvedores full-stack sem conhecimento de LlamaIndex, Zilliz Cloud ou do framework Retrieval Augmented Generation (RAG), e um desenvolvedor de IA entusiasmado se encontrando pela primeira vez. Após uma introdução ao sistema RAG e o desenvolvimento de 3-4 ideias, escolhemos uma que parecia viável nas 5 horas restantes. Esta é a história de uma equipe assim.
O Desafio da Burocracia
Burocratas municipais, distritais, estaduais e federais arrecadam mais de US$ 850 bilhões em impostos, taxas e multas sem contestação dos contribuintes. Cerca de meio milhão de recursos, solicitações de informação, objeções e acompanhamentos para os quais a maioria das pessoas não está bem preparada, levando a maioria a pagar o problema em vez de exigir tratamento justo.
O aplicativo RAG SaveHaven que construímos muda tudo isso ao ajudar consumidores a contestar, recorrer, lidar com objeções, defender seu caso e economizar mais de US$ 12 bilhões em cobranças excessivas marcadas como “dinheiro não reclamado” junto a órgãos governamentais. Ao ajudar a população comum a economizar em imposto de renda e imposto sobre propriedade, o SaveHaven ajuda indivíduos a defenderem seus direitos. Resultados bem-sucedidos dependem de fazer o primeiro recurso e responder efetivamente aos acompanhamentos, o que leva de 4 a 5 iterações ao longo de um ano.
A Solução: SaveHaven, um Aplicativo RAG para Facilitar Recursos Fiscais
Reconhecemos que as informações para defender um caso em nome de indivíduos estão disponíveis em registros municipais, estaduais e federais, além de regulamentos e requisitos prescritos e publicados pelas respectivas agências. Ao protocolar solicitações direcionadas com base na “Freedom of Information Act”, podemos coletar exemplos de comunicações, recursos, respostas a objeções e documentação que têm sucesso junto à agência correta. Ao aproveitar um sistema RAG, podemos imitar petições, recursos, protestos e tratamento de objeções bem-sucedidos para gerar resultados positivos por uma fração do custo de criar os documentos necessários para defender um caso.
No Hackathon, adaptamos um web scraper para coletar registros municipais, regulamentos e regras para recursos de imposto sobre propriedade no Condado de King. Em seguida, inserimos esses dados em um banco de dados vetorial usando o cookbook fornecido. Depois usamos Reactjs para criar um frontend web e construímos um conjunto de APIs que usavam LlamaIndex para orquestrar solicitações e buscar embeddings relevantes em bancos de dados vetoriais; usamos Milvus como banco de dados vetorial e o GPT da OpenAPI como o LLM.
Nossa solução é simples: pedimos apenas o número do lote municipal ou o endereço como entrada e, então, consultamos os registros do município sobre propriedades comparáveis para compor um Recurso em conformidade com os regulamentos e regras, a fim de minimizar o valor do terreno e da propriedade usando listas de propriedades comparáveis.
A saída demonstrada gerou um texto que iniciaria o processo de recurso. Na próxima iteração, incorporaríamos o tratamento de objeções e reduziríamos com sucesso os impostos sobre propriedade em US$ 19,99 para um caso. Como os impostos sobre propriedade são ajustados anualmente, espera-se que esta seja uma atividade contínua. Problemas semelhantes são encontrados em casos de imposto de renda estadual e federal, o que estava em nosso roadmap.
Base de conhecimento
Aproveitamos scrapers de código aberto para buscar dados em diferentes sites governamentais. Em seguida, dividimos os dados em chunks, transformamos em embeddings vetoriais e os armazenamos no banco de dados vetorial Milvus. Construímos esta base de conhecimento única. Além disso, ela continua melhorando à medida que adicionamos cada vez mais dados quando a plataforma está sendo usada.
Orquestração de Solicitações
Usamos o LlamaIndex como orquestrador base e construímos algumas partes por cima dele. Se não encontrarmos conhecimento relevante no Milvus, o LlamaIndex fará o scraping dos dados relevantes, atualizará a base de conhecimento e então conversará com o LLM para obter uma resposta final.
APIs
Usamos o framework FastAPI para expor nossas APIs e construímos todos esses componentes usando Python3 para mantê-los simples e rápidos de realizar.
Resumo
SaveHaven é um app RAG que pode ajudar indivíduos a contestar e recorrer de avaliações de impostos sobre propriedade e renda. Ele simplifica o processo de recurso tributário, tornando-o mais acessível e gerenciável para o público em geral. O sistema emprega tecnologias como LlamaIndex, Milvus e GPT da OpenAI para automatizar a coleta e a análise de dados de registros públicos, facilitando assim a preparação de recursos tributários eficazes.
A equipe da SaveHaven pretende que este blog seja um exemplo para que futuros empreendedores possam aprender com nossa experiência e construir inovações significativas. Entendemos que a GenAI transformará nossas vidas, e as tecnologias da LlamaIndex, Microsoft e Zilliz tornarão possível passar de uma ideia a uma solução funcional em um dia com a equipe certa.
Continue lendo
Zilliz Cloud On-Demand Compute: Pay Only for What You Use
The customer case behind Zilliz Cloud On-Demand: how a $10K vector search bill came down to under $500, and the engineering changes that made it possible.
Zilliz Cloud BYOC Now Available Across AWS, GCP, and Azure
Zilliz Cloud BYOC is now generally available on all three major clouds. Deploy fully managed vector search in your own AWS, GCP, or Azure account — your data never leaves your VPC.
Proactive Monitoring for Vector Database: Zilliz Cloud Integrates with Datadog
we're excited to announce Zilliz Cloud's integration with Datadog, enabling comprehensive monitoring and observability for your vectorDB deployments.