Создание RAG для налоговых апелляций с Milvus, LlamaIndex и GPT
Zilliz, LlamaIndex, Microsoft и энтузиасты из района Сиэтла ежемесячно проводят хакатоны, чтобы исследовать потенциальные идеи для стартапов. Шансы на то, что четыре незнакомца соберутся вместе и создадут работающий прототип для идеи, возникшей в тот же день, в лучшем случае невелики. Проект SaveHaven демонстрирует именно такую историю.
Представьте себе Product Manager, пару full-stack разработчиков, не имеющих представления о LlamaIndex, Zilliz Cloud или фреймворке Retrieval Augmented Generation (RAG), и увлеченного AI-разработчика, которые впервые встречаются. После знакомства с системой RAG и обсуждения 3-4 идей мы остановились на одной, которая казалась осуществимой за оставшиеся 5 часов. Это история такой команды.
Проблема бюрократии
Городские, окружные, штатные и федеральные бюрократы собирают более $850 миллиардов в виде налогов, сборов и штрафов, не оспариваемых налогоплательщиками. Около полумиллиона апелляций, запросов информации, возражений и последующих обращений, с которыми большинство людей не очень хорошо подготовлены справляться, приводят к тому, что большинство людей просто оплачивают проблему вместо того, чтобы требовать справедливого отношения.
Созданное нами RAG-приложение SaveHaven меняет это, помогая потребителям оспаривать, подавать апелляции, обрабатывать возражения, выстраивать свою позицию и экономить более $12 миллиардов избыточных взысканий, отмеченных государственными органами как “unclaimed money”. Помогая обычным людям экономить на подоходном налоге и налоге на недвижимость, SaveHaven помогает людям отстаивать свои права. Успешные результаты зависят от подачи первой апелляции и эффективных ответов на последующие запросы, что занимает 4–5 итераций в течение года.
Решение: SaveHaven, RAG-приложение для более простого обжалования налогов
Мы поняли, что информация для построения аргументации от имени людей доступна в окружных, штатных и федеральных записях, а также в правилах и требованиях, предписанных и опубликованных соответствующими ведомствами. Подавая целевые запросы по “Freedom of Information Act”, мы можем собирать примеры коммуникаций, апелляций, ответов на возражения и документации, которые успешно работают с нужным ведомством. Используя систему RAG, мы можем имитировать успешные ходатайства, апелляции, протесты и обработку возражений, чтобы добиваться положительных результатов за малую долю стоимости создания документов, необходимых для построения дела.
На хакатоне мы адаптировали веб-скрейпер для загрузки окружных записей, нормативов и правил по апелляциям налога на недвижимость в округе King County. Затем мы загрузили эти данные в векторную базу данных, используя предоставленный cookbook. После этого мы использовали Reactjs для создания веб-фронтенда и построили набор API, которые использовали LlamaIndex для оркестрации запросов и получения релевантных embeddings из векторных баз данных; мы использовали Milvus как векторную базу данных и GPT от OpenAPI в качестве LLM.
Наше решение простое: мы запрашиваем только кадастровый номер участка в округе или адрес в качестве входных данных, а затем обращаемся к окружным записям по сопоставимым объектам недвижимости, чтобы составить апелляцию, соответствующую нормативам и правилам, с целью минимизировать стоимость земли и недвижимости с использованием списков сопоставимых объектов.
Продемонстрированный результат сгенерировал текст, который запускал бы процесс апелляции. В следующей итерации мы бы добавили обработку возражений и успешно снизили налог на недвижимость на $19.99 для одного случая. Поскольку налоги на недвижимость корректируются ежегодно, ожидается, что это будет постоянной деятельностью. Похожие проблемы встречаются в случаях штатного и федерального подоходного налога, что входило в нашу дорожную карту.
База знаний
Мы использовали open-source scrappers для получения данных с различных государственных веб-сайтов. Затем мы разбили данные на фрагменты, преобразовали их в векторные embeddings и сохранили их в векторной базе данных Milvus. Мы создали эту одноразовую базу знаний. Кроме того, она продолжает улучшаться по мере того, как мы добавляем всё больше и больше данных во время использования платформы.
Оркестрация запросов
Мы использовали LlamaIndex в качестве базового оркестратора и создали поверх него несколько компонентов. Если мы не находим релевантные знания в Milvus, LlamaIndex выполнит scrape релевантных данных, обновит базу знаний, а затем обратится к LLM, чтобы получить финальный ответ.
API
Мы использовали фреймворк FastAPI, чтобы предоставлять наши API, и создали все эти компоненты с использованием Python3, чтобы они оставались простыми и быстрыми в реализации.
Итоги
SaveHaven — это RAG-приложение, которое может помочь частным лицам оспаривать и обжаловать начисления по налогу на недвижимость и подоходному налогу. Оно упрощает процесс налогового обжалования, делая его более доступным и управляемым для широкой публики. Система использует такие технологии, как LlamaIndex, Milvus и GPT от OpenAI, чтобы автоматизировать сбор и анализ данных из публичных записей, тем самым облегчая подготовку эффективных налоговых апелляций.
Команда SaveHaven намеревается сделать этот блог примером, чтобы будущие предприниматели могли учиться на нашем опыте и создавать значимые инновации. Мы понимаем, что GenAI преобразит нашу жизнь, а технологии LlamaIndex, Microsoft и Zilliz позволят перейти от идеи к работающему решению в течение одного дня при наличии подходящей команды.
Читать далее
How Zilliz Saw the Future of Vector Databases—and Built for Production
An inside look at how Zilliz built vector databases for real-world use, focusing on scalability, stability, and running them reliably at scale.
Migrating from S3 Vectors to Zilliz Cloud: Unlocking the Power of Tiered Storage
Learn how Zilliz Cloud bridges cost and performance with tiered storage and enterprise-grade features, and how to migrate data from AWS S3 Vectors to Zilliz Cloud.
Context Engineering Strategies for AI Agents: A Developer’s Guide
Learn practical context engineering strategies for AI agents. Explore frameworks, tools, and techniques to improve reliability, efficiency, and cost.