Comment Solvely.ai déploie l’apprentissage par IA à l’échelle mondiale avec une recherche vectorielle ultra-rapide sur Zilliz Cloud
Latence réduite de 70 %
Recherche vectorielle en moins de 100 ms, même pendant les pics de trafic
Réponses 4 à 5 fois plus rapides
Correspondance instantanée avec des solutions évaluées par des experts pour une meilleure expérience d’apprentissage
~60 % de coûts d’infra en moins
Mise à l’échelle rentable pour des centaines de millions de questions
Aucune interruption de service
Des performances stables et fiables sous des charges de travail mondiales à forte concurrence
From a performance standpoint, Zilliz Cloud's retrieval speed far exceeds our existing system. We achieved approximately 70% reduction in retrieval latency, which translates to a 4-5x improvement in overall problem-solving time when we successfully match original questions. Whether measured by speed, cost, or overall value, Zilliz Cloud perfectly met our expectations.
Dr. Nick Yuan
À propos de Solvely
Solvely.ai est une plateforme d’apprentissage propulsée par l’IA qui sert près de 10 millions d’élèves, d’étudiants, d’enseignants et de professionnels, couvrant l’enseignement primaire et secondaire, l’enseignement supérieur et les apprenants tout au long de la vie. Reconnue pour ses points forts en mathématiques, en commerce, en médecine et en sciences de la vie, ainsi que dans les disciplines STEM, Solvely transforme les supports d’apprentissage en explications instantanées, en exercices personnalisés et en guides d’étude multimodaux.
Ce qui distingue Solvely, c’est son approche hybride : des modèles d’IA génèrent des solutions intelligentes tout en les recoupant avec une vaste bibliothèque de contenus validés par des experts, ce qui en fait un outil fiable pour les apprenants en quête d’exactitude. Mais à mesure que cette banque de questions atteignait des centaines de millions d’entrées et que sa base d’utilisateurs continuait de croître rapidement, fournir des réponses rapides et fiables est devenu un défi d’ingénierie majeur. Cette pression a finalement conduit l’équipe à adopter la base de données vectorielle Zilliz Cloud comme moteur de leur recherche vectorielle.
Avec Zilliz Cloud, Solvely fournit désormais des réponses plus rapides, une latence plus faible et une expérience d’apprentissage plus fluide, aidant des millions d’apprenants à obtenir le soutien dont ils ont besoin, exactement au moment où ils en ont besoin. Alors que Solvely continue d’élargir son offre de produits et sa portée mondiale, Zilliz Cloud fournit une base vectorielle évolutive et rentable qui permet à la plateforme de fonctionner au mieux, rapprochant la vision de Solvely — un apprentissage accessible et de haute qualité — de la réalité.
Les difficultés de croissance du système existant
L’une des fonctionnalités essentielles de Solvely repose sur la capacité à faire correspondre rapidement les problèmes soumis par les élèves avec une base de données organisée de questions et réponses vérifiées et de haute qualité. Cette approche combine la fiabilité d’une banque de questions structurée avec la flexibilité et les capacités de raisonnement des grands modèles de langage.
Pour rendre cela possible, Solvely a utilisé la recherche par similarité vectorielle dès le tout début. Les systèmes traditionnels fondés sur des mots-clés et des modèles ne pouvaient faire correspondre le texte que de manière littérale, passant à côté de questions similaires formulées légèrement différemment ou présentées de diverses manières. Grâce à la recherche vectorielle, Solvely pouvait intégrer la question de mathématiques ou de sciences d’un élève et récupérer des problèmes conceptuellement similaires, prenant en charge à la fois des solutions organisées et précises ainsi qu’un meilleur raisonnement de l’IA grâce à une recherche fondée sur des exemples. Cela nécessitait deux capacités clés de leur infrastructure vectorielle : un clustering hors ligne à grande échelle pour regrouper des millions de questions par concept, et une recherche en ligne rapide et fiable pour prendre en charge les flux de travail de devoirs en temps réel.
Aux premières étapes, les services existants répondaient bien à ces besoins. Avec un ensemble de données plus réduit et un volume de trafic plus faible, la latence des requêtes et les coûts étaient maîtrisables, et l’API simple du système a aidé l’équipe à avancer rapidement. Mais le passage à l’échelle apporte de la complexité. Avec des centaines de millions de questions dans leur bibliothèque et des millions d’utilisateurs s’appuyant sur la plateforme, les performances et les coûts ont commencé à s’éloigner de ce que la plateforme exigeait. La latence, qui n’était autrefois que de quelques centaines de millisecondes, dépassait une seconde aux heures de pointe, lorsque de nombreux élèves soumettaient des requêtes simultanément. Ces retards avaient un impact direct sur l’expérience des élèves.
Les coûts sont également devenus un problème. Le maintien de performances acceptables nécessitait de passer à des niveaux nettement plus coûteux, et le modèle de tarification du système existant faisait augmenter les coûts de stockage et de recherche plus rapidement que l’utilisation réelle de Solvely. Finalement, l’équipe est arrivée à un point où le système existant n’était plus durable. Solvely avait besoin d’une latence plus faible, d’une mise à l’échelle plus prévisible et d’une structure de coûts adaptée à une plateforme éducative mondiale en forte croissance. Ces pressions combinées sur les performances et les coûts l’ont poussée à évaluer d’autres bases de données vectorielles mieux adaptées aux applications d’IA à fort volume et sensibles aux coûts.
Pourquoi Zilliz Cloud
Lorsque Solvely a commencé à évaluer d’autres bases de données vectorielles, Zilliz Cloud s’est rapidement imposé comme l’un des principaux candidats. L’équipe possédait déjà une vaste expérience de Milvus — la base de données vectorielle open-source largement adoptée, créée par l’équipe Zilliz — lors de ses premières phases de développement. Cette familiarité a donné à Solvely confiance à la fois dans la technologie et dans l’écosystème plus large, alors qu’elle envisageait de passer à une solution entièrement gérée.
Leur évaluation s’est concentrée sur trois critères pratiques :
Vitesse de récupération sous forte concurrence
Rentabilité à grande échelle
Simplicité opérationnelle
Pour obtenir une comparaison précise, Solvely a migré une tranche représentative de ses données vers Zilliz Cloud et a exécuté des tests de référence directement par rapport à son déploiement existant. Les résultats étaient clairs :
Zilliz Cloud a offert des vitesses de récupération 2 à 3× plus rapides sous une charge identique.
La latence est passée de plus de 1 seconde à moins de 100 ms, même pendant les pics de concurrence.
Les coûts d’infrastructure ont diminué d’environ 60 %, grâce à une utilisation plus efficace des ressources et au modèle tarifaire avantageux de Zilliz Cloud.
La simplicité opérationnelle s’est révélée tout aussi importante que les performances brutes. Alors que leur banque de questions s’étendait à des centaines de millions d’éléments, Solvely avait besoin d’un service capable de monter en charge en douceur sans nécessiter de charge d’ingénierie supplémentaire. Zilliz Cloud a répondu à ce besoin, permettant à l’équipe de se concentrer sur l’amélioration de l’expérience d’apprentissage des étudiants plutôt que sur la maintenance de l’infrastructure backend.
« Nous voulions quelque chose qui puisse nous permettre de passer en production rapidement, prêt à l’emploi », a déclaré le Dr Nick Yuan, CTO chez Solvely.
Au-delà de la vitesse et du coût, l’ensemble de fonctionnalités de Zilliz Cloud offrait la flexibilité dont Solvely avait besoin à mesure que sa plateforme continuait de croître. La gestion des partitions et des clusters leur a permis d’organiser leur immense base de données de questions par matière et par type de contenu. L’auto-scaling — à la fois le dimensionnement dynamique basé sur la charge en temps réel et le dimensionnement planifié pour les pics de trafic prévisibles — a assuré des performances constamment élevées pendant les heures de pointe des devoirs.
La solution : alimenter le système d’apprentissage IA de Solvely avec Zilliz Cloud
Le système de Solvely fonctionne comme un pipeline unique de Retrieval-Augmented Generation (RAG) de bout en bout, optimisé pour la résolution de problèmes éducatifs. À un niveau élevé, le pipeline se compose de deux phases étroitement liées :
Préparer à l’avance une vaste banque de questions de haute qualité
Effectuer une récupération sémantique à faible latence en temps réel lorsque les étudiants soumettent des questions.
Zilliz Cloud sert de couche de récupération vectorielle tout au long du pipeline, prenant en charge à la fois l’indexation hors ligne à grande échelle et la recherche en ligne à forte concurrence.
Préparation de la banque de questions
Avant que des requêtes en direct ne soient servies, Solvely traite et organise des centaines de millions de questions provenant de multiples sources, notamment des photos de devoirs téléversées par les étudiants et des jeux de données sélectionnés par des experts. Comme ces entrées varient considérablement en structure et en qualité, elles doivent être normalisées et enrichies avant de pouvoir être recherchées de manière fiable à grande échelle.
Ingestion de contenu : Les images de devoirs et les questions rédigées manuellement sont introduites dans le système dans différents formats. Solvely nettoie, déduplique et standardise ce contenu afin qu’il puisse être traité uniformément et indexé de manière cohérente dans Zilliz Cloud.
Normalisation tenant compte de la matière : Chaque question est traitée dans son domaine académique afin de préserver la structure et le sens propres à la matière, plutôt que de l’aplatir en texte générique. Par exemple :
Chimie : les formules moléculaires, les symboles d’éléments et les réactions sont conservés intacts
Géométrie : les relations spatiales et les informations liées aux diagrammes sont préservées
Sciences humaines : le fil narratif et le sens contextuel sont maintenus
Génération d’embeddings : Solvely génère des embeddings pour l’ensemble du corpus de questions à l’aide de modèles Google ou OpenAI. Ces vecteurs sont stockés et indexés à l’avance dans Zilliz Cloud, constituant la base d’une récupération sémantique à faible latence au moment de la requête.
Intégration directe avec Zilliz Cloud : Les vecteurs et métadonnées générés sont écrits directement dans Zilliz Cloud. En gardant le pipeline léger et en évitant les outils d’orchestration complexes, Solvely conserve un meilleur contrôle des performances et peut affiner le système pour différentes matières.
Récupération en temps réel pendant les workflows des étudiants
Lorsqu’un étudiant soumet une question de devoir, la même infrastructure préparée est activée en temps réel. Ce workflow en ligne doit être rapide, fiable et capable de gérer des entrées académiques complexes sous une forte concurrence.
Prétraitement de la question :
Si la question est soumise sous forme d’image, l’OCR extrait d’abord le texte. Le système identifie ensuite les formules, les symboles et les indices liés aux diagrammes, puis convertit l’entrée en une représentation propre et standardisée adaptée à l’embedding.
Recherche vectorielle avec Zilliz Cloud :
La question traitée est convertie en un vecteur de plus de 1000 dimensions à l’aide de modèles d’embedding Google ou OpenAI et envoyée à Zilliz Cloud pour une récupération par similarité. Ce processus permet au système de rechercher par sens plutôt que par formulation exacte.
Solvely effectue ensuite deux types de récupérations complémentaires :
Recherche de connaissances de fond : Récupère des informations de fond propres à la matière, telles que des constantes chimiques, des identités mathématiques ou des documents de référence pertinents. Cet ancrage aide le LLM à raisonner avec plus de précision et réduit les réponses non étayées ou hallucinées.
Recherche de questions similaires :: Trouve des questions précédemment résolues et revues par des humains dans la base de données de Solvely. Ces candidats sont rerankés par un LLM afin de capturer des similarités subtiles que la recherche vectorielle seule pourrait manquer, garantissant l’utilisation des exemples les plus pertinents.
Utilisation du contenu récupéré selon la matière :
Solvely applique des règles différentes selon la matière. Pour les mathématiques et les sciences, les exemples récupérés aident l’IA à comprendre la méthode de résolution sans copier les nombres ou les réponses exacts. Pour les sciences humaines, le matériel récupéré fournit des connaissances de fond et du contexte pour soutenir l’explication et l’interprétation plutôt que de donner une réponse fixe.
Reformulation des requêtes pour une meilleure qualité de réponse :
Enfin, le système peut reformuler la question originale afin d’en capturer l’intention plus large — par exemple, en se concentrant sur le concept sous-jacent plutôt que sur la formulation exacte. Cela permet de récupérer un contexte utile qui n’est peut-être pas une correspondance textuelle directe, mais qui est essentiel pour résoudre correctement le problème.
Le processus de migration a été étonnamment fluide
L’une des plus grandes préoccupations de Solvely concernant le changement de base de données était la migration elle-même. L’entreprise avait des centaines de millions de questions stockées dans le système existant — combien de temps faudrait-il pour déplacer toutes ces données ? Cela nécessite-t-il d’écrire des scripts de migration complexes ? Y aurait-il une interruption de service affectant les utilisateurs ?
En pratique, la migration a été remarquablement fluide. Zilliz Cloud a fourni des outils de migration intégrés qui se connectent directement à leur système précédent. Le processus était essentiellement en un clic : configurer la connexion, préciser ce qu’il faut migrer et laisser le pipeline s’exécuter. Les outils ont pris en charge le gros du travail lié au transfert des vecteurs, à la gestion des métadonnées et à la préservation de la structure. L’équipe n’a pas eu besoin d’écrire de code personnalisé ni d’orchestrer un pipeline de données complexe.
Résultats et impact
Après la migration vers Zilliz Cloud, Solvely a observé des améliorations mesurables sur plusieurs dimensions :
70 % de latence en moins : La latence de l’étape de récupération a diminué d’environ 70 % par rapport au déploiement précédent. Pendant les pics de trafic, les requêtes qui prenaient auparavant plus d’une seconde s’exécutent désormais en quelques dizaines à quelques centaines de millisecondes.
~60 % de coûts d’infrastructure en moins : Les coûts mensuels d’infrastructure pour la recherche vectorielle ont chuté d’environ 60 % immédiatement après la migration, tout en prenant en charge des volumes de requêtes équivalents ou supérieurs.
Meilleure précision de recherche : Pour les sujets où les LLM rencontrent traditionnellement des difficultés, comme la chimie, la géométrie et le calcul, l’approche basée sur RAG a considérablement amélioré la précision des solutions. Étant donné que les performances du modèle de référence sont déjà solides, ce gain incrémental est significatif.
Zéro temps d’arrêt, haute disponibilité : Depuis la migration, ils n’ont connu aucun temps d’arrêt et très peu de problèmes de performance. Le système gère sans difficulté des conditions de charge variables. Lorsqu’ils ont des questions ou souhaitent optimiser quelque chose, ils obtiennent des réponses rapides de l’équipe de support dirigée par des experts techniques qui comprennent parfaitement leur cas d’utilisation.
Au-delà des améliorations de performance, l’équipe d’ingénierie de Solvely a également constaté des avantages opérationnels évidents. La documentation et les exemples de Zilliz Cloud ont facilité la prise en main, et l’équipe de support a répondu rapidement lorsque des problèmes sont survenus. Des fonctionnalités comme la mise à l’échelle automatique et planifiée ont réduit le travail quotidien de gestion de l’infrastructure, permettant ainsi à l’équipe de se concentrer davantage sur la construction du produit.
Enseignements tirés
L’expérience de Solvely met en évidence quelques enseignements pratiques pour les équipes qui construisent des systèmes de récupération similaires basés sur l’IA :
Les questions similaires comptent autant que les correspondances exactes. L’équipe s’attendait initialement à s’appuyer fortement sur des correspondances exactes de questions. En pratique, les questions similaires avec de légères variations (comme des valeurs numériques modifiées) se sont révélées tout aussi précieuses. Les fournir comme contexte au LLM a amélioré la qualité des réponses même lorsqu’aucune correspondance exacte n’existait.
La reformulation des requêtes aide à trouver des résultats plus pertinents. Au lieu d’intégrer telle quelle la question originale de l’utilisateur, la reformuler pour mieux correspondre à la manière dont les données sont stockées dans la base de données vectorielle a conduit à de meilleurs résultats de recherche.
Le reclassement des résultats après la récupération améliore la précision. Utiliser un LLM pour évaluer et classer les candidats récupérés avant la génération de la réponse finale a aidé à faire émerger les correspondances les plus pertinentes, en particulier pour les questions impliquant des éléments visuels comme des diagrammes ou des formules.
La récupération basée sur le texte fonctionne toujours bien. Bien que l’intégration multimodale soit un domaine d’intérêt actif, l’équipe a constaté que l’OCR suivi de l’intégration de texte fournissait des résultats plus fiables que les approches actuelles d’intégration d’images pour leur cas d’utilisation éducatif.
Les services gérés accélèrent l’itération. Choisir une base de données vectorielle entièrement gérée a permis à l’équipe de concentrer ses efforts d’ingénierie sur son produit principal plutôt que sur les opérations d’infrastructure.
À l’avenir, Solvely prévoit de tester la recherche hybride, qui combine la recherche sémantique avec la recherche par mots-clés — particulièrement utile pour les supports de cours où les termes exacts sont importants. Ils surveillent également les améliorations de l’intégration multimodale, qui pourraient à terme permettre une recherche directe image à image pour les matières comportant de nombreux diagrammes.
Conclusion
Lorsque Solvely.ai s’est donné pour objectif de démocratiser l’éducation grâce à l’intelligence artificielle en 2023, l’entreprise savait que l’infrastructure technique serait essentielle à sa mission. Ce qu’elle n’avait pas anticipé, c’est la rapidité avec laquelle elle dépasserait sa solution initiale de base de données vectorielle. Alors que sa base de données de questions a explosé pour atteindre des centaines de millions d’entrées et que sa base d’utilisateurs s’est étendue à 10 millions d’étudiants dans le monde, la latence des requêtes est devenue un goulot d’étranglement qui menaçait l’expérience utilisateur même qu’elle cherchait à perfectionner.
La migration vers Zilliz Cloud a transformé leur fondation technique. La latence des requêtes a chuté de 70 %, les coûts d’infrastructure ont diminué de 60 %, et surtout, les étudiants ont pu obtenir de l’aide pour leurs devoirs 4 à 5 fois plus rapidement lorsque le système faisait correspondre des questions issues de leur base de données organisée. Mais au-delà des chiffres, Zilliz Cloud a offert à Solvely quelque chose d’encore plus précieux : la liberté de se concentrer sur la création de produits éducatifs innovants plutôt que de se battre avec les opérations de base de données.
Alors que Solvely.ai continue d’élargir son offre de produits et sa base d’utilisateurs, Zilliz Cloud fournit la base de données vectorielle évolutive et rentable nécessaire pour servir des millions d’étudiants dans le monde entier, rapprochant la vision de l’égalité éducative de la réalité.
- À propos de Solvely
- Les difficultés de croissance du système existant
- Pourquoi Zilliz Cloud
- La solution : alimenter le système d’apprentissage IA de Solvely avec Zilliz Cloud
- Le processus de migration a été étonnamment fluide
- Résultats et impact
- Enseignements tirés
- **Conclusion**
Contenu
Secteur d'activité
Éducation
The migration was incredibly smooth. Using the built-in tools, we were able to import our data from Pinecone with essentially one click. The technical support has also been excellent — our questions get resolved almost instantly, and the documentation, demos, and examples are thorough and easy to work with.
Technical Team