Criando RAG superior para textos intensivos em código com Zilliz Cloud Pipelines e Voyage AI
O modelo de embedding está no coração da Geração Aumentada por Recuperação (RAG), que afeta principalmente a capacidade de recuperação e é crucial para a qualidade geral da resposta. Treinados com vastas quantidades de corpora de dados, os modelos de embedding podem extrair as representações numéricas de significado de qualquer texto, tornando-os adequados para várias tarefas de recuperação de informações. No entanto, treinar um modelo de embedding que se destaque em qualquer tarefa ainda é altamente desafiador. Vários modelos de embedding estão disponíveis, cada um com pontos fortes e fracos únicos e propriedades variadas.
O Zilliz Cloud Pipelines integra os melhores modelos de embedding disponíveis como uma solução completa para recuperação. Essas escolhas flexíveis permitem que os desenvolvedores explorem e escolham os melhores modelos adaptados aos seus casos de uso específicos.
Hoje, estamos entusiasmados em anunciar que os modelos de embedding da Voyage AI estão disponíveis no Zilliz Cloud Pipelines. Os modelos recém-lançados voyage-2 e voyage-code-2 demonstraram qualidade excepcional em tarefas de recuperação relacionadas a código-fonte, documentação técnica e tarefas gerais. Por exemplo, voyage-code-2 é supostamente 14,52% melhor que o embedding da OpenAI em conjuntos de dados intensivos em código e 3,03% melhor para fins gerais.
Também colaboramos com a Voyage AI para avaliar a eficácia de um sistema RAG implementado com vários modelos de embedding para tarefas relacionadas a código. O modelo de linguagem usado é o GPT4. Testamos o sistema em um subconjunto dos conjuntos de dados APPS e Codechef, que contêm perguntas sobre programação, e cada pergunta tem exatamente uma resposta correta do corpus. Medimos a qualidade da recuperação por "recall@k", que é a probabilidade de capturar o resultado correto nos top-k documentos recuperados. Além disso, também avaliamos a qualidade de ponta a ponta com o Ragas, uma estrutura de avaliação popular para pipelines RAG. Ele tem seis métricas que descrevem vários aspectos da RAG, desde a relevância e precisão dos textos recuperados até a correção e qualidade da resposta final. A média harmônica das seis métricas, chamada "Ragas Score", mede o desempenho geral do sistema. Você pode saber mais sobre cada métrica na página de documentação do Milvus.
Comparando as pontuações de recuperação e gerais entre modelos de embedding populares em conjuntos de dados de código.
As duas figuras superiores mostram que os modelos voyages-2 e voyage-code-2 têm capacidade de recuperação significativamente melhor do que os outros modelos. A pontuação “Recall@k” indica que, ao recuperar os top-k resultados, há uma probabilidade de que a verdade fundamental esteja incluída nos k resultados retornados. Por exemplo, com o conjunto de dados apps_1solution, em 62% dos casos, voyage-code-2 obtém a verdade fundamental nos top-4 resultados, enquanto bge-base-en-v1.5 só consegue isso em 2% dos casos. Esses testes mostram que voyage-code-2 tem desempenho muito superior em tarefas relacionadas a código do que modelos de embedding não otimizados para isso.
Quando se trata das respostas RAG de ponta a ponta, a melhoria no recall leva a um ganho de mais de dez pontos percentuais em Answer Correctness e Ragas Score, em comparação com a alternativa de melhor desempenho. Especificamente, Context Precision e Context Recall medem o efeito da fase de recuperação. Os modelos Voyage superam significativamente as outras opções, especialmente em Context Precision. Em Faithfulness e Answer Relevancy, que medem a qualidade das respostas geradas, o Voyage está à frente de diferentes modelos por mais de cinco pontos percentuais. Os resultados mostram que uma melhor qualidade de recuperação leva a uma melhor geração no pipeline RAG. Answer Similarity e Answer Correctness dizem respeito à avaliação da semelhança semântica entre a resposta gerada e a verdade de referência. Em Answer Correctness, o RAG baseado no Voyage novamente apresenta vantagens aparentes, superando os demais por mais de cinco pontos.
O RAG tornou-se a abordagem predominante para bots de perguntas e respostas sobre problemas de programação e desenvolvimento de software. Essas aplicações podem se beneficiar ainda mais dos modelos Voyage de alta qualidade, que se destacam em tarefas de recuperação relacionadas a código. Uma qualidade de recuperação aprimorada se traduz em uma melhor localização de informações relevantes em código ou documentação técnica, levando a respostas mais precisas e a uma melhor experiência do usuário.
No Zilliz Cloud Pipelines, agora você pode escolher voyages-2 e voyage-code-2 como modelos de embedding para alcançar a mais alta qualidade de recuperação em tarefas relacionadas a código sem se preocupar com DevOps ou gerenciar sua infraestrutura de ML. A melhor parte é que você pode começar gratuitamente cadastrando-se em https://cloud.zilliz.com/signup para criar sua aplicação RAG com facilidade e precisão!
Continue lendo
Smarter Autoscaling in Zilliz Cloud: Always Optimized for Every Workload
With the latest upgrade, Zilliz Cloud introduces smarter autoscaling—a fully automated, more streamlined, elastic resource management system.
Similarity Metrics for Vector Search
Exploring five similarity metrics for vector search: L2 or Euclidean distance, cosine distance, inner product, and hamming distance.
Proactive Monitoring for Vector Database: Zilliz Cloud Integrates with Datadog
we're excited to announce Zilliz Cloud's integration with Datadog, enabling comprehensive monitoring and observability for your vectorDB deployments.