WhyHow
Build more controlled retrieval workflows within your RAG pipeline with WhyHow and Milvus or Zilliz Cloud
Utilize esta integração gratuitamenteO que é o WhyHow?
A WhyHow é uma plataforma que fornece aos programadores os blocos de construção para organizar, contextualizar e recuperar de forma fiável dados não estruturados para executar a complexa Retrieval Augmented Generation (RAG). O [Rule-based Retrieval Package] (https://github.com/whyhow-ai/rule-based-retrieval) é um pacote Python desenvolvido pela WhyHow que ajuda os programadores a criar fluxos de trabalho de recuperação mais precisos no RAG, adicionando capacidades de filtragem avançadas. Este pacote integra-se com OpenAI para geração de texto e Milvus e Zilliz Cloud (Milvus totalmente gerido) para armazenamento eficiente de vectores e pesquisa de semelhanças.
Porquê integrar o WhyHow e o Milvus/Zilliz?
A Geração Aumentada de Recuperação (RAG) é uma tecnologia avançada que melhora os grandes modelos de linguagem (LLMs) fornecendo informações contextuais sobre a consulta para obter respostas mais exactas. No entanto, um simples pipeline RAG pode, por vezes, não conseguir obter de forma consistente os pedaços de dados corretos. Este problema pode dever-se à natureza de caixa negra da recuperação e da geração de respostas LLM, a consultas mal formuladas por parte do utilizador que produzem resultados suboptimizados a partir de uma base de dados vetorial, ou à necessidade de incluir nas respostas dados contextualmente relevantes mas semanticamente diferentes.
Para ultrapassar estes desafios, precisamos de ter um maior controlo sobre a recuperação de pedaços de dados em bruto. Ao integrar o WhyHow e o Milvus/Zilliz, podemos criar uma solução de recuperação baseada em regras. Esta abordagem permite-lhe definir e mapear regras específicas para partes de dados relevantes antes de efetuar uma [pesquisa por semelhança] (https://zilliz.com/learn/vetor-similarity-search), aumentando o controlo sobre o fluxo de trabalho de recuperação. A implementação destas regras limita o âmbito das consultas a um conjunto mais direcionado de partes, aumentando as hipóteses de recuperar dados relevantes para gerar respostas precisas. Com mais ajustes e consultas, a qualidade dos resultados pode ser continuamente melhorada.
Como funciona a integração WhyHow e Milvus/Zilliz
A solução de recuperação baseada em regras criada com WhyHow e Milvus/Zilliz executa as seguintes tarefas:
Criação de um armazém de vectores: Esta integração cria uma coleção Milvus para armazenar os chunk embeddings.
Splitting, Chunking, and Embedding: Quando carrega os seus documentos, a integração divide, fragmenta e cria automaticamente embeddings dos documentos antes de os ingerir no Milvus ou no Zilliz Cloud. Este pacote de recuperação baseado em regras suporta atualmente o PyPDFLoader e o RecursiveCharacterTextSplitter da LangChain para processamento de PDFs, extração de metadados e divisão em pedaços. Para incorporação, ele suporta o modelo OpenAI text-embedding-3-small.
Inserção de dados:** Carrega os embeddings e os metadados para Milvus ou Zilliz Cloud.
Auto-filtragem:** Utilizando regras definidas pelo utilizador, a integração cria automaticamente um filtro de metadados para limitar a consulta do armazenamento de vectores.
O fluxo de trabalho desta integração é o seguinte:
Como o WhyHow e o Zilliz Cloud trabalham em conjunto.png
- Os dados de origem são transformados em embeddings vectoriais utilizando o modelo de embedding da OpenAI.
- Os vectores incorporados são ingeridos no Milvus ou no Zilliz Cloud para armazenamento e recuperação.
- A consulta do utilizador é também transformada em embeddings vectoriais e enviada para Milvus ou Zilliz Cloud para procurar os resultados mais relevantes.
- O WhyHow define regras e adiciona filtros à pesquisa vetorial.
- Os resultados recuperados e a consulta original do utilizador são enviados para o LLM.
- O LLM gera resultados mais precisos e envia-os ao utilizador.
Como utilizar o WhyHow e o Milvus/Zilliz Cloud
Milvus Documentation | [Como utilizar Whyhow.ai e Milvus Lite para efetuar a recuperação de vectores com base em regras] (https://milvus.io/docs/integrate_with_whyhow.md)
Discord | Junte-se à comunidade Milvus Discord com programadores de IA