Creare agenti AI su larga scala: come Tanka ha sfruttato Zilliz Cloud per una comunicazione aziendale intelligente
0 Problemi di produzione
correlato all'instabilità dell'infrastruttura
Migliaia di ricerche vettoriali
al secondo durante le ore di punta
Motore di memoria semantica
Comprendere concetti e relazioni tra strumenti e nel tempo
100% della capacità del team
reindirizzato verso l'innovazione dell'IA
Informazioni su Tanka
Tanka è una piattaforma di agenti enterprise progettata per agire come il tuo AI Co-Founder. Creata per l’ambiente di lavoro moderno, Tanka aiuta i team delle startup a orientarsi nel caos di messaggi dispersi, deliverable disordinati e attività ripetitive. Grazie alla sua memoria a lungo termine unica, Tanka cattura e collega conversazioni attraverso strumenti come Slack, Gmail, Notion e altri, trasformando la comunicazione frammentata in conoscenza organizzativa condivisa.
Fornendo risposte consapevoli del contesto, riassumendo riunioni e inviando promemoria tempestivi per le attività, Tanka aumenta la produttività del team e il processo decisionale. Dal lancio della sua beta nel 2024, Tanka è stata adottata da oltre 1.000 team e ha fornito più di 35.000 risposte generate dall’AI.
La sfida della comprensione semantica: quando la ricerca per parole chiave non basta
La rapida adozione di Tanka ha convalidato la sua proposta di valore fondamentale: consentire assistenti AI che non si limitano a rispondere: ricordano, apprendono e comprendono il contesto aziendale nel tempo. Ma scalare quella visione ha comportato sfide tecniche, soprattutto quando gli utenti hanno iniziato a chiedere di più alla piattaforma.
Nei suoi primi giorni, il team di Tanka utilizzava il recupero basato su parole chiave BM25: una scelta pragmatica che ha permesso loro di procedere rapidamente e supportare in modo efficace i casi d’uso di ricerca di base. Funzionava bene per query semplici e ha aiutato il team a rilasciare rapidamente un MVP funzionante.
Tuttavia, man mano che la piattaforma si è ampliata per supportare Outlook, Gmail, Slack, Telegram, Notion e altri strumenti, la complessità dei modelli di dati, e le aspettative degli utenti, sono cresciute in modo significativo. I team non cercavano più parole chiave isolate. Ponevano domande sfumate e contestuali che richiedevano al sistema di comprendere le relazioni tra messaggi, riunioni, documenti e app.
“Abbiamo iniziato con la ricerca per parole chiave per query semplici,” afferma Wu Junjie, AI Architect presso Tanka. “Ma con l’evolversi delle esigenze dei nostri utenti, è diventato chiaro che si aspettavano risposte semantiche, non solo corrispondenze di stringhe.”
Questo ha segnato l’inizio di una sfida più profonda: colmare il divario semantico tra ciò che gli utenti intendevano e ciò che i sistemi basati su parole chiave potevano offrire. Per esempio, gli utenti potevano chiedere un riepilogo di “cosa è cambiato dopo il lancio del prodotto” o dei “follow-up dalla riunione vendite di venerdì scorso”: query che richiedevano riferimenti incrociati tra email, chat e note di riunione. Per gli esseri umani, i collegamenti erano ovvi. Per il motore di ricerca, erano invisibili.
Nel frattempo, la posta in gioco aumentava. In uno spazio competitivo in cui velocità e intelligenza erano elementi chiave di differenziazione, l’infrastruttura di ricerca esistente di Tanka ha iniziato a mostrare segni di affaticamento. Le prestazioni peggioravano con la crescita dei volumi di dati. La latenza della ricerca aumentava, soprattutto per query ampie senza filtri chiari. Ma il problema più profondo non era la velocità: era il disallineamento strategico.
Il team di ingegneria si è ritrovato impantanato nella manutenzione di un’infrastruttura di ricerca fragile invece di costruire le funzionalità AI fondamentali previste nella loro roadmap. Capacità visionarie, come insight multi-sorgente, digest settimanali intelligenti o follow-up predittivi, restavano appena fuori portata.
Il team di Tanka ha capito che la ricerca per parole chiave li aveva portati lontano, ma non abbastanza. Per sbloccare la fase successiva della loro visione di prodotto, avevano bisogno di un sistema capace di comprendere davvero l’intento dell’utente attraverso tempo, strumenti e contesto.
La soluzione: scalare la memoria con prestazioni e affidabilità
Di fronte a sfide tecniche e operative crescenti, il team di Tanka si è messo alla ricerca di una soluzione che potesse supportare la loro ambiziosa roadmap di prodotto offrendo al contempo l’affidabilità che gli utenti si aspettavano da un assistente AI con memoria a lungo termine.
Valutare le opzioni di ricerca vettoriale
Tanka ha avviato un processo di valutazione strutturato e approfondito per esplorare potenziali soluzioni. Tra i primi candidati c’erano PostgreSQL con pgvector e plugin Elasticsearch, inizialmente interessanti per via della compatibilità con il loro stack esistente. Ma i test delle prestazioni hanno rivelato rapidamente i loro limiti, soprattutto per carichi di lavoro ad alta intensità di memoria.
Il team ha condotto confronti diretti su criteri chiave: tempo di risposta, throughput, utilizzo della CPU e scalabilità complessiva. Sebbene la maggior parte delle piattaforme offrisse un’accuratezza simile—poiché gli algoritmi di similarità vettoriale sono in gran parte standardizzati—Milvus si è distinto per la sua velocità superiore e l’efficienza nell’uso delle risorse.
"Sebbene l’accuratezza fosse comparabile tra le piattaforme, Milvus ha chiaramente vinto in termini di velocità ed efficienza delle risorse," afferma Wu Junjie, AI Architect presso Tanka.
Durante la valutazione, il team ha dato priorità a:
Velocità delle query, fondamentale per mantenere l’illusione di un’intelligenza in tempo reale;
Efficienza della CPU, per mantenere sostenibili i costi dell’infrastruttura su larga scala;
Affidabilità operativa, essenziale per la fiducia in un assistente incentrato sulla memoria.
Scalabilità, per supportare volumi di dati e basi utenti in rapida crescita.
Dal Self-Hosting a un Servizio Gestito
Tanka ha inizialmente implementato Milvus self-hosted in fase di sviluppo e nella prima produzione. È stata la scelta giusta e ha fornito la ricerca vettoriale a bassa latenza richiesta dal loro prodotto. Milvus ha mantenuto la sua promessa principale—una ricerca di similarità potente ed efficiente su larga scala.
Tuttavia, con la maturazione della piattaforma e la crescita dell’utilizzo, l’onere della gestione dell’infrastruttura ha iniziato a diventare una distrazione. Eseguire e mantenere cluster Milvus internamente significava che il team di ingegneria doveva gestire tutto, dallo scaling e failover al monitoraggio e ripristino.
Sebbene il motore Milvus stesso rimanesse affidabile, gli incidenti legati all’infrastruttura—come guasti dei nodi o problemi di rete—introducevano rischi e tempi di inattività che incidevano direttamente sull’esperienza utente.
Nel tempo, il compromesso è diventato chiaro: il team doveva concentrarsi sulla creazione di funzionalità di prodotto, non sulla manutenzione dell’infrastruttura di database.
Migrazione a Zilliz Cloud
La scelta di passare a Zilliz Cloud, la versione completamente gestita di Milvus, è diventata evidente. Ha offerto lo stesso core ad alte prestazioni con affidabilità di livello enterprise, senza l’onere di gestire cluster internamente.
Per un team snello e rapido come quello di Tanka, esternalizzare la complessità operativa è stato un punto di svolta:
Niente più interventi d’emergenza su problemi infrastrutturali
Maggiore uptime e coerenza per applicazioni critiche per la memoria
Più tempo di ingegneria da dedicare all’innovazione e all’esperienza utente
Il servizio di migrazione integrato di Zilliz ha reso la transizione fluida e a basso rischio. Con un supporto tecnico tempestivo e una perfetta integrazione con S3, il team di Tanka è passato al cloud con un’interruzione minima.
L’Implementazione: Alimentare la Memoria AI Avanzata con Zilliz Cloud
Con un’infrastruttura affidabile in atto, Tanka è stata finalmente in grado di spostare l’attenzione su ciò che la distingueva davvero: costruire capacità di memoria avanzate per la sua piattaforma di messaggistica AI-native che vanno ben oltre la semplice ricerca. Alimentata da Zilliz Cloud, l’implementazione di Tanka è progettata per supportare applicazioni ricche e consapevoli del contesto che rendono la conoscenza organizzativa azionabile su larga scala.
Oltre il Recupero di Base: Memoria Semantica su Scala
Al centro del sistema di Tanka c’è una pipeline di retrieval-augmented generation (RAG), che consente agli utenti di accedere a informazioni rilevanti tra i loro strumenti di lavoro connessi, come Slack, Gmail e Notion. Tuttavia, a differenza dei tipici sistemi RAG che recuperano documenti basandosi sulla similarità superficiale, Tanka fa un passo in più.
Durante il preprocessing, Tanka esegue l’estrazione di entità e relazioni per catturare concetti di livello superiore dai contenuti grezzi. Questi vengono poi convertiti in embedding vettoriali e archiviati in Zilliz Cloud, consentendo il recupero non solo in base a ciò che è stato detto, ma anche a come idee, persone e azioni diverse sono collegate.
Questo consente agli utenti di porre domande complesse e astratte—come “Quali sono stati i principali follow-up dei nostri sforzi di pianificazione del Q3?”—e ricevere risposte fondate su conoscenza strutturata anziché su corrispondenze di parole chiave.
Questo approccio trasforma Zilliz Cloud da livello di archiviazione a motore di memoria semantica, aiutando l’assistente a comprendere contesto, cronologia e schemi all’interno dell’organizzazione.
Elaborazione in tempo reale e aggiornamenti continui
Il sistema di Tanka acquisisce ed elabora dati dalle piattaforme connesse in tempo reale, garantendo che l’assistente AI rifletta sempre lo stato organizzativo più recente. Man mano che i team comunicano e collaborano, nuovi vettori vengono generati e indicizzati in Zilliz Cloud, mantenendo l’assistente aggiornato senza richiedere interventi manuali.
La pipeline include:
Acquisizione multi-source da email, chat e documenti
Pre-elaborazione per l’estrazione di entità e relazioni
Embedding vettoriale e indicizzazione in Zilliz Cloud per un recupero semantico rapido
Questo consente all’assistente AI di agire come un livello di memoria vivente, aiutando gli utenti a far emergere insight, richiamare decisioni e comprendere le dinamiche di team in evoluzione.
Uno stack AI flessibile e multi-modello
A complemento di questa infrastruttura, Tanka utilizza una strategia LLM flessibile e multi-modello. Il sistema si basa principalmente su Gemini 2 Flash e Claude 3.7 Sonnet per il ragionamento e la sintesi, con modelli OpenAI applicati selettivamente per attività ad alta intensità di istruzioni. Per evitare il rate limiting e garantire prestazioni resilienti tra i provider, Tanka utilizza OpenRouter per gestire l’accesso alle API e il routing.
Benefici e risultati: impatto trasformazionale sul business
La partnership con Zilliz Cloud non ha semplicemente risolto i punti critici tecnici di Tanka: ha rimodellato la traiettoria dell’azienda. Con l’infrastruttura stabilizzata e le prestazioni ottimizzate, il team ha finalmente potuto spostare l’attenzione dalla gestione delle emergenze operative all’innovazione AI. I benefici hanno interessato ogni livello dell’organizzazione, sbloccando nuovi livelli di velocità, affidabilità e scalabilità.
Sollievo operativo immediato
L’impatto più immediato — e drammatico — è stato l’eliminazione dei problemi di produzione legati all’instabilità dell’infrastruttura. Prima della migrazione a Zilliz Cloud, gli incidenti legati al database interrompevano occasionalmente il servizio e compromettevano la fiducia degli utenti. Ora non è più così.
“Dopo il passaggio a Zilliz Cloud, abbiamo praticamente eliminato i problemi di produzione legati ai guasti del database,” afferma Wu Junjie, AI Architect presso Tanka. “In passato avevamo incidenti occasionali che colpivano gli utenti. Ora quei problemi sono scomparsi.”
Questo miglioramento è stato fondamentale per una piattaforma costruita sulla promessa di una memoria organizzativa persistente. Poiché l’affidabilità del database non è più una preoccupazione, gli utenti possono contare su un accesso rapido e ininterrotto alla loro conoscenza accumulata, giorno dopo giorno.
Rifocalizzare l’ingegneria sull’innovazione
Con le preoccupazioni infrastrutturali alle spalle, il team di engineering di Tanka ha potuto riallocare il proprio tempo verso lo sviluppo del prodotto e l’innovazione. Invece di gestire failover, backup e alert, gli ingegneri possono concentrarsi sulla creazione delle funzionalità che definiscono il vantaggio competitivo di Tanka.
“Le prestazioni e l’affidabilità di Zilliz soddisfano pienamente i nostri requisiti RAG,” afferma Wu Junjie. “Questo ci consente di concentrare i nostri sforzi tecnici sulla costruzione di capacità di memoria AI differenziate, dove risiede il nostro vero valore.”
Il cambiamento ha portato a cicli di iterazione più rapidi, lanci di funzionalità più ambiziosi e un allineamento più stretto tra sforzo ingegneristico e strategia aziendale.
Prestazioni costanti su scala massiva
Con la crescita della base utenti di Tanka, sono aumentate anche le richieste al suo backend. Il sistema ora gestisce migliaia di operazioni di ricerca vettoriale concorrenti al secondo durante i momenti di picco, attingendo a oltre tre anni di dati organizzativi che comprendono milioni di messaggi, documenti ed eventi.
Questa costanza nelle prestazioni ha eliminato i limiti infrastrutturali come fattore nella pianificazione del prodotto. Il team di Tanka può ora costruire e scalare senza esitazioni, sapendo che il loro backend terrà il passo.
Conclusione
Il percorso di Tanka — dalle prime sfide infrastrutturali al successo in produzione con Zilliz Cloud — evidenzia una lezione potente: la giusta base di database vettoriale non migliora solo le prestazioni; sblocca l’innovazione.
Collaborando con Zilliz Cloud, Tanka ha eliminato gli incidenti in produzione, aumentato la produttività ingegneristica e ottenuto prestazioni costanti su larga scala. Ancora più importante, il cambiamento ha permesso a Tanka di concentrarsi interamente sulla sua missione principale: sviluppare capacità di memoria di nuova generazione per Assistenti AI che vanno ben oltre il recupero di base.
Per le aziende di AI che sviluppano applicazioni ad alta intensità di memoria, l’esperienza di Tanka mostra come le decisioni infrastrutturali influenzino direttamente la velocità di innovazione e il successo del prodotto. Prestazioni, affidabilità e semplicità operativa non sono solo requisiti tecnici: sono abilitatori strategici.
Con le giuste fondamenta in atto, Tanka ha trasformato la sua visione ambiziosa in una realtà leader di mercato, dimostrando che quando l’infrastruttura potenzia anziché limitare, l’AI rivoluzionaria non è solo possibile, ma inevitabile.
- Informazioni su Tanka
- La sfida della comprensione semantica: quando la ricerca per parole chiave non basta
- La soluzione: scalare la memoria con prestazioni e affidabilità
- L’Implementazione: Alimentare la Memoria AI Avanzata con Zilliz Cloud
- Benefici e risultati: impatto trasformazionale sul business
- Conclusione
Contenuto
Settore