Costruire un RAG per ricorsi fiscali con Milvus, LlamaIndex e GPT
Zilliz, LlamaIndex, Microsoft e appassionati nell’area di Seattle organizzano Hackathon mensili per esplorare potenziali idee di startup. Le probabilità che quattro sconosciuti si riuniscano per costruire un prototipo funzionante per un’idea nata quello stesso giorno sono, nella migliore delle ipotesi, esigue. Il progetto SaveHaven dimostra una storia del genere.
Immaginate un Product Manager, un paio di sviluppatori full-stack senza alcuna conoscenza di LlamaIndex, Zilliz Cloud o del framework Retrieval Augmented Generation (RAG), e uno sviluppatore AI entusiasta che si incontrano per la prima volta. Dopo un’introduzione al sistema RAG e aver fatto brainstorming su 3-4 idee, ne abbiamo scelta una che sembrava fattibile nelle 5 ore rimanenti. Questa è la storia di un team del genere.
La sfida della burocrazia
I burocrati cittadini, di contea, statali e federali riscuotono oltre 850 miliardi di dollari in tasse, tributi e multe senza contestazioni da parte dei contribuenti. Circa mezzo milione di ricorsi, richieste di informazioni, obiezioni e follow-up che la maggior parte degli individui non è ben attrezzata per soddisfare, portando la maggior parte delle persone a pagare il problema invece di pretendere un trattamento equo.
L’app RAG SaveHaven che abbiamo costruito cambia tutto questo aiutando i consumatori a contestare, fare ricorso, gestire obiezioni, sostenere la propria causa e risparmiare oltre 12 miliardi di dollari in riscossioni in eccesso etichettate come “denaro non reclamato” presso le agenzie governative. Aiutando la popolazione comune a risparmiare sull’imposta sul reddito e sulla proprietà, SaveHaven aiuta gli individui a far valere i propri diritti. Gli esiti positivi dipendono dal presentare il primo ricorso e dal rispondere efficacemente ai follow-up, il che richiede 4-5 iterazioni nell’arco di un anno.
La soluzione: SaveHaven, un’app RAG per ricorsi fiscali più semplici
Abbiamo riconosciuto che le informazioni per sostenere una causa a nome degli individui sono disponibili nei registri di contea, statali e federali, oltre che nei regolamenti e nei requisiti prescritti e pubblicati dalle rispettive agenzie. Presentando richieste mirate ai sensi del “Freedom of Information Act”, possiamo raccogliere esempi di comunicazioni, ricorsi, risposte alle obiezioni e documentazione che hanno successo presso l’agenzia giusta. Sfruttando un sistema RAG, possiamo imitare petizioni, ricorsi, proteste e gestione delle obiezioni di successo per ottenere risultati positivi a una frazione del costo necessario per creare i documenti necessari a sostenere una causa.
Nell’Hackathon, abbiamo adattato un web scraper per acquisire registri di contea, regolamenti e norme per i ricorsi sull’imposta sulla proprietà nella King County. Poi abbiamo inserito questi dati in un database vettoriale utilizzando il cookbook fornito. Abbiamo quindi utilizzato Reactjs per creare un frontend web e costruito un set di API che usavano LlamaIndex per orchestrare le richieste e recuperare embedding pertinenti dai database vettoriali; abbiamo usato Milvus come database vettoriale e GPT di OpenAPI come LLM.
La nostra soluzione è semplice: chiediamo come input solo il numero di particella catastale della contea o l’indirizzo, quindi consultiamo i registri della contea per proprietà comparabili al fine di comporre un Ricorso conforme ai regolamenti e alle norme per minimizzare il valore del terreno e della proprietà utilizzando elenchi di proprietà comparabili.
L’output dimostrato ha generato un testo che avrebbe avviato il processo di ricorso. Nell’iterazione successiva, avremmo incorporato la gestione delle obiezioni e ridotto con successo le imposte sulla proprietà di 19,99 dollari per un caso. Poiché le imposte sulla proprietà vengono adeguate annualmente, ci si aspetta che questa sia un’attività continuativa. Problemi simili si riscontrano nei casi di imposta sul reddito statale e federale, che erano nella nostra roadmap.
Knowledgebase
Abbiamo sfruttato scraper open-source per recuperare dati da diversi siti web governativi. Poi abbiamo suddiviso i dati in chunk, li abbiamo trasformati in embedding vettoriali e li abbiamo archiviati nel database vettoriale Milvus. Abbiamo creato questa base di conoscenza una tantum. Inoltre, continua a migliorare man mano che aggiungiamo sempre più dati quando la piattaforma viene utilizzata.
Orchestrazione delle richieste
Abbiamo usato LlamaIndex come orchestratore di base e abbiamo costruito alcuni componenti al di sopra di esso. Se non troviamo conoscenza rilevante in Milvus, LlamaIndex eseguirà lo scraping dei dati pertinenti, aggiornerà la base di conoscenza e poi parlerà con LLM per ottenere una risposta finale.
API
Abbiamo usato il framework FastAPI per esporre le nostre API e abbiamo costruito tutti questi componenti usando Python3 per mantenerli semplici e rapidi da realizzare.
Riepilogo
SaveHaven è un'app RAG che può aiutare le persone a contestare e presentare ricorso contro accertamenti sulle imposte immobiliari e sul reddito. Semplifica il processo di ricorso fiscale, rendendolo più accessibile e gestibile per il grande pubblico. Il sistema impiega tecnologie come LlamaIndex, Milvus e GPT di OpenAI per automatizzare la raccolta e l'analisi dei dati dai registri pubblici, facilitando così la preparazione di ricorsi fiscali efficaci.
Il team di SaveHaven intende questo blog come un esempio affinché i futuri imprenditori possano imparare dalla nostra esperienza e costruire innovazioni significative. Comprendiamo che la GenAI trasformerà le nostre vite, e le tecnologie di LlamaIndex, Microsoft e Zilliz renderanno possibile passare da un'idea a una soluzione funzionante entro un giorno con il team giusto.
Continua a leggere
Top 10 Context Engineering Techniques You Should Know for Production RAG
A practical guide to context engineering for production LLM systems, covering RAG, context processing, memory, agents, and multimodal context.
Why AI Databases Don't Need SQL
Whether you like it or not, here's the truth: SQL is destined for decline in the era of AI.
Zilliz Cloud BYOC Upgrades: Bring Enterprise-Grade Security, Networking Isolation, and More
Discover how Zilliz Cloud BYOC brings enterprise-grade security, networking isolation, and infrastructure automation to vector database deployments in AWS