WhyHow

A WhyHow é uma plataforma que fornece aos programadores os blocos de construção para organizar, contextualizar e recuperar de forma fiável dados não estruturados para executar a complexa Retrieval Augmented Generation (RAG). O [Rule-based Retrieval Package] (https://github.com/whyhow-ai/rule-based-retrieval) é um pacote Python desenvolvido pela WhyHow que ajuda os programadores a criar fluxos de trabalho de recuperação mais precisos no RAG, adicionando capacidades de filtragem avançadas. Este pacote integra-se com OpenAI para geração de texto e Milvus e Zilliz Cloud (Milvus totalmente gerido) para armazenamento eficiente de vectores e pesquisa de semelhanças.

A Geração Aumentada de Recuperação (RAG) é uma tecnologia avançada que melhora os grandes modelos de linguagem (LLMs) fornecendo informações contextuais sobre a consulta para obter respostas mais exactas. No entanto, um simples pipeline RAG pode, por vezes, não conseguir obter de forma consistente os pedaços de dados corretos. Este problema pode dever-se à natureza de caixa negra da recuperação e da geração de respostas LLM, a consultas mal formuladas por parte do utilizador que produzem resultados suboptimizados a partir de uma base de dados vetorial, ou à necessidade de incluir nas respostas dados contextualmente relevantes mas semanticamente diferentes.

Para ultrapassar estes desafios, precisamos de ter um maior controlo sobre a recuperação de pedaços de dados em bruto. Ao integrar o WhyHow e o Milvus/Zilliz, podemos criar uma solução de recuperação baseada em regras. Esta abordagem permite-lhe definir e mapear regras específicas para partes de dados relevantes antes de efetuar uma [pesquisa por semelhança] (https://zilliz.com/learn/vetor-similarity-search), aumentando o controlo sobre o fluxo de trabalho de recuperação. A implementação destas regras limita o âmbito das consultas a um conjunto mais direcionado de partes, aumentando as hipóteses de recuperar dados relevantes para gerar respostas precisas. Com mais ajustes e consultas, a qualidade dos resultados pode ser continuamente melhorada.

A solução de recuperação baseada em regras criada com WhyHow e Milvus/Zilliz executa as seguintes tarefas:

• Criação de um armazém de vectores: Esta integração cria uma coleção Milvus para armazenar os chunk embeddings.

• Splitting, Chunking, and Embedding: Quando carrega os seus documentos, a integração divide, fragmenta e cria automaticamente embeddings dos documentos antes de os ingerir no Milvus ou no Zilliz Cloud. Este pacote de recuperação baseado em regras suporta atualmente o PyPDFLoader e o RecursiveCharacterTextSplitter da LangChain para processamento de PDFs, extração de metadados e divisão em pedaços. Para incorporação, ele suporta o modelo OpenAI text-embedding-3-small.

• Inserção de dados:** Carrega os embeddings e os metadados para Milvus ou Zilliz Cloud.

• Auto-filtragem:** Utilizando regras definidas pelo utilizador, a integração cria automaticamente um filtro de metadados para limitar a consulta do armazenamento de vectores.

O fluxo de trabalho desta integração é o seguinte:

Como o WhyHow e o Zilliz Cloud trabalham em conjunto.png

• Os dados de origem são transformados em embeddings vectoriais utilizando o modelo de embedding da OpenAI.
• Os vectores incorporados são ingeridos no Milvus ou no Zilliz Cloud para armazenamento e recuperação.
• A consulta do utilizador é também transformada em embeddings vectoriais e enviada para Milvus ou Zilliz Cloud para procurar os resultados mais relevantes.
• O WhyHow define regras e adiciona filtros à pesquisa vetorial.
• Os resultados recuperados e a consulta original do utilizador são enviados para o LLM.
• O LLM gera resultados mais precisos e envia-os ao utilizador.

• Milvus Documentation | [Como utilizar Whyhow.ai e Milvus Lite para efetuar a recuperação de vectores com base em regras] (https://milvus.io/docs/integrate_with_whyhow.md)

• Blog | Dê o pontapé inicial nas suas aplicações GenAI com Milvus Lite e Whyhow.Ai's Open-Source Rule-Based-Retrieval

• GitHub | WhyHow.ai; Milvus

• Discord | Junte-se à comunidade Milvus Discord com programadores de IA