Créer un RAG supérieur pour les textes riches en code avec Zilliz Cloud Pipelines et Voyage AI
Le modèle d’embedding est au cœur de la Retrieval Augmented Generation (RAG), qui affecte principalement la capacité de récupération et est cruciale pour la qualité globale des réponses. Entraînés avec de vastes quantités de corpus de données, les modèles d’embedding peuvent extraire les représentations numériques du sens à partir de n’importe quel texte, ce qui les rend adaptés à diverses tâches de récupération d’informations. Cependant, entraîner un modèle d’embedding qui excelle dans n’importe quelle tâche reste très difficile. Divers modèles d’embedding sont disponibles, chacun avec ses forces et faiblesses uniques ainsi que des propriétés variables.
Zilliz Cloud Pipelines intègre les meilleurs modèles d’embedding disponibles comme solution tout-en-un pour la récupération. Ces choix flexibles permettent aux développeurs d’explorer et de choisir les meilleurs modèles adaptés à leurs cas d’utilisation spécifiques.
Aujourd’hui, nous sommes ravis d’annoncer que les modèles d’embedding de Voyage AI sont disponibles dans Zilliz Cloud Pipelines. Les modèles récemment publiés voyage-2 et voyage-code-2 ont démontré une qualité exceptionnelle sur les tâches de récupération liées au code source, à la documentation technique et aux tâches générales. Par exemple, voyage-code-2 serait selon les rapports 14,52 % meilleur que l’embedding OpenAI sur les jeux de données à forte intensité de code et 3,03 % meilleur pour les usages généraux.
Nous avons également collaboré avec Voyage AI pour évaluer l’efficacité d’un système RAG mis en œuvre avec divers modèles d’embedding pour des tâches liées au code. Le modèle de langage utilisé est GPT4. Nous avons testé le système sur un sous-ensemble des jeux de données APPS et Codechef, qui contiennent des questions sur la programmation, et chaque question a exactement une réponse correcte dans le corpus. Nous mesurons la qualité de la récupération par le « recall@k », qui est la probabilité de capturer le résultat approprié dans les k premiers documents récupérés. En outre, nous évaluons également la qualité de bout en bout avec Ragas, un cadre d’évaluation populaire pour les pipelines RAG. Il comporte six métriques qui décrivent divers aspects de la RAG, de la pertinence et de la précision des textes récupérés à l’exactitude et à la qualité de la réponse finale. La moyenne harmonique des six métriques, appelée « Ragas Score », mesure les performances globales du système. Vous pouvez en apprendre davantage sur chaque métrique sur la page de documentation Milvus.
Comparaison des scores de récupération et des scores globaux entre les modèles d’embedding populaires sur des jeux de données de code.
Les deux figures du haut montrent que les modèles voyages-2 et voyage-code-2 ont une capacité de récupération nettement meilleure que les autres modèles. Le score « Recall@k » indique que, lors de la récupération des k meilleurs résultats, il existe une probabilité que la vérité terrain soit incluse dans les k résultats retournés. Par exemple, avec le jeu de données apps_1solution, dans 62 % des cas, voyage-code-2 obtient la vérité terrain dans les 4 premiers résultats, tandis que bge-base-en-v1.5 n’y parvient que dans 2 % des cas. Ces tests montrent que voyage-code-2 offre des performances largement supérieures sur les tâches liées au code par rapport aux modèles d’embedding non optimisés pour celles-ci.
En ce qui concerne les réponses RAG de bout en bout, l’amélioration du rappel entraîne un gain de plus de dix points de pourcentage en Answer Correctness et en Ragas Score, par rapport à l’alternative la plus performante. Plus précisément, Context Precision et Context Recall mesurent l’effet de la phase de récupération. Les modèles Voyage surpassent nettement les autres options, en particulier en Context Precision. En Faithfulness et Answer Relevancy, qui mesurent la qualité des réponses générées, Voyage devance différents modèles de plus de cinq points de pourcentage. Les résultats montrent qu’une meilleure qualité de récupération conduit à une meilleure génération du pipeline RAG. Answer Similarity et Answer Correctness concernent l’évaluation de la ressemblance sémantique entre la réponse générée et la vérité terrain. En Answer Correctness, le RAG basé sur Voyage présente à nouveau des avantages évidents, surpassant les autres de plus de cinq points.
Le RAG est devenu l’approche prédominante pour les bots de questions-réponses sur les problèmes de codage et le développement logiciel. Ces applications peuvent bénéficier encore davantage des modèles Voyage de haute qualité, qui excellent dans les tâches de récupération liées au code. Une meilleure qualité de récupération se traduit par une meilleure localisation des informations pertinentes dans le code ou la documentation technique, ce qui conduit à des réponses plus précises et à une meilleure expérience utilisateur.
Dans Zilliz Cloud Pipelines, vous pouvez désormais choisir voyages-2 et voyage-code-2 comme modèles d’embedding afin d’obtenir la meilleure qualité de récupération pour les tâches liées au code sans vous soucier du DevOps ni de la gestion de votre infrastructure ML. Le meilleur, c’est que vous pouvez commencer gratuitement en vous inscrivant sur https://cloud.zilliz.com/signup afin de créer votre application RAG avec facilité et précision !
Continuer à lire
How Zilliz Ended Up at the Center of NVIDIA’s Unstructured Data Story at GTC 2026
If unstructured data is the context of AI, then the ceiling of AI applications will be set not just by models, but by how mature the infrastructure for unstructured data becomes.
Why and How to Migrate from Self-Hosted Milvus to Zilliz Cloud
A simple, step-by-step guide to migrating from Milvus to Zilliz Cloud. Learn both endpoint and backup methods for a smooth, scalable vector database migration.
Will Amazon S3 Vectors Kill Vector Databases—or Save Them?
AWS S3 Vectors aims for 90% cost savings for vector storage. But will it kill vectordbs like Milvus? A deep dive into costs, limits, and the future of tiered storage.