Come Solvely.ai scala l’apprendimento con l’IA in tutto il mondo con una ricerca vettoriale fulminea su Zilliz Cloud
Latenza ridotta del 70%
Recupero vettoriale sotto i 100 ms, anche durante i picchi di traffico
Risposte 4–5 volte più rapide
Abbinamento istantaneo a soluzioni revisionate da esperti per una migliore esperienza di apprendimento
~60% di costi dell'infrastruttura in meno
Scalabilità conveniente fino a centinaia di milioni di domande
Zero tempi di inattività
Prestazioni stabili e affidabili con carichi di lavoro globali ad alta concorrenza
From a performance standpoint, Zilliz Cloud's retrieval speed far exceeds our existing system. We achieved approximately 70% reduction in retrieval latency, which translates to a 4-5x improvement in overall problem-solving time when we successfully match original questions. Whether measured by speed, cost, or overall value, Zilliz Cloud perfectly met our expectations.
Dr. Nick Yuan
Informazioni su Solvely
Solvely.ai è una piattaforma di apprendimento basata sull’AI che serve quasi 10 milioni di studenti, educatori e professionisti, dalla scuola K–12 all’istruzione superiore fino ai discenti permanenti. Nota per la sua forza in matematica, business, medicina e scienze della vita, oltre che nelle materie STEM, Solvely trasforma i materiali di apprendimento in spiegazioni istantanee, esercitazioni personalizzate e guide allo studio multimodali.
Ciò che distingue Solvely è il suo approccio ibrido: i modelli AI generano soluzioni intelligenti facendo al contempo riferimenti incrociati con una vasta libreria di contenuti validati da esperti, rendendola uno strumento affidabile per chi cerca accuratezza nell’apprendimento. Ma con la crescita di quel database di domande fino a centinaia di milioni e la continua rapida espansione della sua base utenti, fornire risposte rapide e affidabili è diventata una grande sfida ingegneristica. Questa pressione ha infine portato il team ad adottare il database vettoriale Zilliz Cloud come motore alla base del loro recupero vettoriale.
Con Zilliz Cloud, Solvely ora offre risposte più rapide, minore latenza e un’esperienza di apprendimento più fluida, aiutando milioni di discenti a ottenere il supporto di cui hanno bisogno, esattamente quando ne hanno bisogno. Mentre Solvely continua ad ampliare la propria offerta di prodotti e la propria portata globale, Zilliz Cloud fornisce una base vettoriale scalabile ed efficiente in termini di costi che mantiene la piattaforma al massimo delle prestazioni, portando la visione di Solvely di un apprendimento accessibile e di alta qualità un passo più vicino alla realtà.
Problemi di crescita con il sistema legacy
Una delle funzionalità principali di Solvely si basa sull’abbinare rapidamente i problemi inviati dagli studenti a un database curato di domande e risposte verificate e di alta qualità. Questo approccio combina l’affidabilità di una banca di domande strutturata con la flessibilità e le capacità di ragionamento dei modelli linguistici di grandi dimensioni.
Per rendere tutto ciò possibile, Solvely ha utilizzato la ricerca di similarità vettoriale fin dall’inizio. I sistemi tradizionali basati su parole chiave e template potevano abbinare il testo solo letteralmente, perdendo domande simili formulate in modo leggermente diverso o presentate in modi differenti. Con la ricerca vettoriale, Solvely poteva incorporare una domanda di matematica o scienze di uno studente e recuperare problemi concettualmente simili, supportando sia soluzioni curate e accurate sia un ragionamento AI migliorato tramite recupero basato su esempi. Ciò richiedeva due capacità chiave dalla loro infrastruttura vettoriale: clustering offline su larga scala per raggruppare milioni di domande per concetto, e ricerca online rapida e affidabile per supportare i flussi di lavoro dei compiti in tempo reale.
Nelle prime fasi, i servizi esistenti gestivano bene queste esigenze. Con un dataset più piccolo e un volume di traffico inferiore, la latenza delle query e i costi erano gestibili, e la semplice API del sistema ha aiutato il team a procedere rapidamente. Ma la scala porta complessità. Con centinaia di milioni di domande nella loro libreria e milioni di utenti che si affidano alla piattaforma, prestazioni e costi hanno iniziato ad allontanarsi da ciò di cui la piattaforma aveva bisogno. La latenza, che un tempo era di poche centinaia di millisecondi, superava un secondo durante le ore di punta, quando molti studenti inviavano query contemporaneamente. Questi ritardi avevano un impatto diretto sull’esperienza degli studenti.
Anche i costi sono diventati un problema. Mantenere prestazioni accettabili richiedeva l’upgrade a livelli significativamente più costosi, e il modello di pricing del sistema esistente faceva aumentare i costi di storage e ricerca più rapidamente dell’utilizzo effettivo di Solvely. Alla fine, il team ha raggiunto un punto in cui il sistema legacy non era più sostenibile. Solvely aveva bisogno di una latenza più bassa, di uno scaling più prevedibile e di una struttura dei costi adatta a una piattaforma educativa globale in rapida crescita. Queste pressioni combinate su prestazioni e costi li hanno spinti a valutare database vettoriali alternativi più adatti ad applicazioni AI ad alto volume e sensibili ai costi.
Perché Zilliz Cloud
Quando Solvely ha iniziato a valutare database vettoriali alternativi, Zilliz Cloud è diventato rapidamente uno dei principali contendenti. Il team aveva già un’ampia esperienza con Milvus, il database vettoriale open-source ampiamente adottato creato dal team di Zilliz, durante le prime fasi di sviluppo. Questa familiarità ha dato a Solvely fiducia sia nella tecnologia sia nell’ecosistema più ampio mentre valutava il passaggio a una soluzione completamente gestita.
La loro valutazione si è concentrata su tre criteri pratici:
Velocità di recupero con alta concorrenza
Efficienza dei costi su larga scala
Semplicità operativa
Per ottenere un confronto accurato, Solvely ha migrato una porzione rappresentativa dei suoi dati in Zilliz Cloud ed eseguito test di benchmark direttamente rispetto alla distribuzione esistente. I risultati sono stati chiari:
Zilliz Cloud ha offerto velocità di recupero 2–3 volte più rapide sotto carico identico.
La latenza è scesa da oltre 1 secondo a meno di 100 ms, anche durante i picchi di concorrenza.
I costi dell’infrastruttura sono diminuiti di circa il 60%, grazie all’utilizzo più efficiente delle risorse e al modello di pricing favorevole di Zilliz Cloud.
La semplicità operativa si è rivelata importante tanto quanto le prestazioni pure. Con la loro banca di domande in espansione fino a centinaia di milioni, Solvely aveva bisogno di un servizio che scalasse senza problemi senza richiedere ulteriore overhead ingegneristico. Zilliz Cloud ha soddisfatto questa esigenza, consentendo al team di concentrarsi sul miglioramento dell’esperienza di apprendimento degli studenti invece che sulla manutenzione dell’infrastruttura backend.
“Volevamo qualcosa che potesse supportarci nell’andare live rapidamente, out of the box,” ha dichiarato il Dr. Nick Yuan, CTO di Solvely.
Oltre a velocità e costi, il set di funzionalità di Zilliz Cloud ha offerto la flessibilità di cui Solvely aveva bisogno man mano che la sua piattaforma continuava a crescere. La gestione di partizioni e cluster ha permesso di organizzare l’enorme database di domande per materia e tipo di contenuto. L’auto-scaling, sia lo scaling dinamico basato sul carico in tempo reale sia lo scaling programmato per picchi di traffico prevedibili, ha garantito prestazioni costantemente elevate durante le ore di punta dei compiti.
La soluzione: alimentare il sistema di apprendimento AI di Solvely con Zilliz Cloud
Il sistema di Solvely opera come un’unica pipeline end-to-end di Retrieval-Augmented Generation (RAG) ottimizzata per la risoluzione di problemi educativi. Ad alto livello, la pipeline consiste in due fasi strettamente connesse:
Preparare in anticipo una banca di domande ampia e di alta qualità
Eseguire il recupero semantico a bassa latenza in tempo reale quando gli studenti inviano domande.
Zilliz Cloud funge da livello di recupero vettoriale lungo tutta la pipeline, supportando sia l’indicizzazione offline su larga scala sia la ricerca online ad alta concorrenza.
Preparazione della banca di domande
Prima che vengano servite query live, Solvely elabora e organizza centinaia di milioni di domande da più fonti, incluse foto dei compiti caricate dagli studenti e dataset curati da esperti. Poiché questi input variano ampiamente per struttura e qualità, devono essere normalizzati e arricchiti prima di poter essere cercati in modo affidabile su larga scala.
Ingestione dei contenuti: Le immagini dei compiti e le domande redatte manualmente vengono inserite nel sistema in formati diversi. Solvely pulisce, deduplica e standardizza questi contenuti in modo che possano essere elaborati uniformemente e indicizzati in modo coerente in Zilliz Cloud.
Normalizzazione consapevole della materia: Ogni domanda viene elaborata all’interno del proprio ambito accademico per preservare la struttura e il significato specifici della materia, invece di appiattirla in testo generico. Ad esempio:
Chimica: formule molecolari, simboli degli elementi e reazioni vengono mantenuti intatti
Geometria: le relazioni spaziali e le informazioni relative ai diagrammi vengono preservate
Discipline umanistiche: il flusso narrativo e il significato contestuale vengono mantenuti
Generazione degli embedding: Solvely genera embedding per l’intero corpus di domande utilizzando modelli Google o OpenAI. Questi vettori vengono archiviati e indicizzati in anticipo in Zilliz Cloud, formando la base per il recupero semantico a bassa latenza al momento della query.
Integrazione diretta con Zilliz Cloud: I vettori e i metadati generati vengono scritti direttamente in Zilliz Cloud. Mantenendo la pipeline leggera ed evitando strumenti di orchestrazione complessi, Solvely mantiene un miglior controllo delle prestazioni e può ottimizzare il sistema per diverse materie.
Recupero in tempo reale durante i flussi di lavoro degli studenti
Quando uno studente invia una domanda di compito, la stessa infrastruttura preparata viene attivata in tempo reale. Questo flusso di lavoro online deve essere rapido, affidabile e capace di gestire input accademici complessi con un'elevata concorrenza.
Pre-elaborazione della domanda:
Se la domanda viene inviata come immagine, l'OCR estrae prima il testo. Il sistema quindi identifica formule, simboli e indizi relativi ai diagrammi e converte l'input in una rappresentazione pulita e standardizzata adatta all'embedding.
Ricerca vettoriale con Zilliz Cloud:
La domanda elaborata viene convertita in un vettore di oltre 1000 dimensioni utilizzando modelli di embedding di Google o OpenAI e inviata a Zilliz Cloud per il recupero per similarità. Questo processo consente al sistema di cercare in base al significato anziché alla formulazione esatta.
Solvely esegue quindi due tipi di recupero complementari:
Ricerca di conoscenze di base: Recupera informazioni di base specifiche per materia, come costanti chimiche, identità matematiche o materiale di riferimento pertinente. Questo grounding aiuta l'LLM a ragionare in modo più accurato e riduce le risposte non supportate o allucinate.
Ricerca di domande simili:: Trova domande precedentemente risolte e revisionate da esseri umani dal database di Solvely. Questi candidati vengono riordinati da un LLM per cogliere somiglianze sottili che la sola ricerca vettoriale potrebbe non rilevare, garantendo l'uso degli esempi più pertinenti.
Uso del contenuto recuperato in base alla materia:
Solvely applica regole diverse a seconda della materia. Per matematica e scienze, gli esempi recuperati aiutano l'AI a comprendere il metodo di soluzione senza copiare numeri o risposte esatte. Per le materie umanistiche, il materiale recuperato fornisce background e contesto per supportare spiegazione e interpretazione, anziché fornire una risposta fissa.
Riformulazione della query per una qualità della risposta più elevata:
Infine, il sistema può riformulare la domanda originale per coglierne l'intento più ampio, ad esempio concentrandosi sul concetto sottostante anziché sulla formulazione esatta. Questo aiuta a recuperare contesto utile che potrebbe non corrispondere direttamente al testo, ma è essenziale per risolvere correttamente il problema.
Il processo di migrazione è stato sorprendentemente fluido
Una delle maggiori preoccupazioni di Solvely riguardo al cambio di database era la migrazione stessa. Avevano centinaia di milioni di domande archiviate nel sistema esistente: quanto tempo sarebbe servito per spostare tutti quei dati? Richiede la scrittura di script di migrazione complessi? Ci sarebbe stato downtime con impatto sugli utenti?
In pratica, la migrazione è stata straordinariamente fluida. Zilliz Cloud ha fornito strumenti di migrazione integrati che si collegano direttamente al sistema precedente. Il processo era essenzialmente one-click: configurare la connessione, specificare cosa migrare e lasciare che la pipeline venisse eseguita. Gli strumenti hanno gestito il lavoro pesante del trasferimento dei vettori, della gestione dei metadati e della preservazione strutturale. Il team non ha avuto bisogno di scrivere codice personalizzato né di orchestrare una pipeline di dati complessa.
Risultati e impatto
Dopo la migrazione a Zilliz Cloud, Solvely ha osservato miglioramenti misurabili su più dimensioni:
Latenza inferiore del 70%: La latenza della fase di recupero è diminuita di circa il 70% rispetto alla distribuzione precedente. Durante i picchi di traffico, le query che in precedenza richiedevano oltre un secondo ora vengono completate in decine fino a poche centinaia di millisecondi.
Costo dell'infrastruttura inferiore di ~60%: I costi mensili dell'infrastruttura per la ricerca vettoriale sono diminuiti di circa il 60% subito dopo la migrazione, gestendo al contempo volumi di query equivalenti o superiori.
Migliore accuratezza della ricerca: Per le materie in cui gli LLM tradizionalmente incontrano difficoltà, come chimica, geometria e calcolo, l’approccio basato su RAG ha migliorato significativamente l’accuratezza delle soluzioni. Considerando che le prestazioni del modello di riferimento sono già solide, questo incremento è significativo.
Zero tempi di inattività, alta disponibilità: Dalla migrazione, non hanno riscontrato alcun tempo di inattività e solo problemi minimi di prestazioni. Il sistema gestisce senza difficoltà condizioni di carico variabili. Quando incontrano domande o vogliono ottimizzare qualcosa, ricevono risposte rapide dal team di supporto guidato da esperti tecnici che comprendono bene il loro caso d’uso.
Oltre ai miglioramenti delle prestazioni, il team di engineering di Solvely ha riscontrato anche chiari vantaggi operativi. La documentazione e gli esempi di Zilliz Cloud hanno reso facile iniziare, e il team di supporto ha risposto rapidamente quando sono emersi problemi. Funzionalità come lo scaling automatico e programmato hanno ridotto il lavoro quotidiano di gestione dell’infrastruttura, così il team ha potuto concentrarsi maggiormente sulla creazione del prodotto.
Lezioni apprese
L’esperienza di Solvely evidenzia alcuni insegnamenti pratici per i team che costruiscono sistemi di retrieval basati sull’AI simili:
Le domande simili contano tanto quanto le corrispondenze esatte. Inizialmente il team prevedeva di fare molto affidamento sulle corrispondenze esatte delle domande. In pratica, le domande simili con variazioni minori (come valori numerici modificati) si sono rivelate altrettanto preziose. Fornirle come contesto all’LLM ha migliorato la qualità delle risposte anche quando non esisteva alcuna corrispondenza esatta.
Riscrivere le query aiuta a trovare risultati più pertinenti. Invece di incorporare la domanda originale dell’utente così com’è, riscriverla per allinearla meglio al modo in cui i dati sono archiviati nel database vettoriale ha portato a risultati di ricerca migliori.
Riordinare i risultati dopo il retrieval migliora l’accuratezza. Usare un LLM per valutare e classificare i candidati recuperati prima della generazione della risposta finale ha aiutato a far emergere le corrispondenze più rilevanti, in particolare per le domande che includono elementi visivi come diagrammi o formule.
Il retrieval basato su testo funziona ancora bene. Sebbene l’embedding multimodale sia un’area di grande interesse, il team ha constatato che l’OCR seguito dall’embedding del testo forniva risultati più affidabili rispetto agli attuali approcci di embedding delle immagini per il loro caso d’uso educativo.
I servizi gestiti accelerano l’iterazione. Scegliere un database vettoriale completamente gestito ha permesso al team di concentrare gli sforzi di engineering sul prodotto principale anziché sulle operazioni infrastrutturali.
Guardando al futuro, Solvely prevede di testare la ricerca ibrida, che combina la ricerca semantica con la ricerca per parole chiave—particolarmente utile per i materiali dei corsi in cui i termini esatti contano. Stanno anche monitorando i miglioramenti nell’embedding multimodale, che potrebbe eventualmente consentire la ricerca diretta da immagine a immagine per materie con molti diagrammi.
Conclusione
Quando Solvely.ai ha deciso di democratizzare l’istruzione attraverso l’intelligenza artificiale nel 2023, sapeva che l’infrastruttura tecnica sarebbe stata fondamentale per la sua missione. Ciò che non aveva previsto era quanto rapidamente avrebbe superato la sua soluzione iniziale di database vettoriale. Man mano che il database di domande cresceva fino a centinaia di milioni di voci e la base utenti scalava fino a 10 milioni di studenti in tutto il mondo, la latenza delle query è diventata un collo di bottiglia che minacciava proprio l’esperienza utente che stavano cercando di perfezionare.
La migrazione a Zilliz Cloud ha trasformato le loro fondamenta tecniche. La latenza delle query è diminuita del 70%, i costi dell’infrastruttura sono calati del 60% e, soprattutto, gli studenti hanno potuto ricevere aiuto con i compiti da 4 a 5 volte più velocemente quando il sistema trovava corrispondenze tra le domande del loro database curato. Ma oltre ai numeri, Zilliz Cloud ha dato a Solvely qualcosa di più prezioso: la libertà di concentrarsi sulla creazione di prodotti educativi innovativi invece di lottare con le operazioni del database.
Mentre Solvely.ai continua ad ampliare la propria offerta di prodotti e la propria base di utenti, Zilliz Cloud fornisce la base di database vettoriale scalabile ed economicamente conveniente necessaria per servire milioni di studenti in tutto il mondo, avvicinando alla realtà la visione dell’uguaglianza educativa.
- Informazioni su Solvely
- Problemi di crescita con il sistema legacy
- Perché Zilliz Cloud
- La soluzione: alimentare il sistema di apprendimento AI di Solvely con Zilliz Cloud
- Il processo di migrazione è stato sorprendentemente fluido
- Risultati e impatto
- Lezioni apprese
- **Conclusione**
Contenuto
Settore
Istruzione
The migration was incredibly smooth. Using the built-in tools, we were able to import our data from Pinecone with essentially one click. The technical support has also been excellent — our questions get resolved almost instantly, and the documentation, demos, and examples are thorough and easy to work with.
Technical Team