KI-Agenten im großen Maßstab entwickeln: Wie Tanka Zilliz Cloud für intelligente Unternehmenskommunikation nutzte
0 Produktionsprobleme
im Zusammenhang mit Infrastrukturinstabilität
Tausende von Vektorsuchen
pro Sekunde zu Spitzenzeiten
Semantische Speicher-Engine
Konzepte und Beziehungen über Tools und Zeit hinweg verstehen
100 % der Team-Bandbreite
zu KI-Innovation weitergeleitet
Über Tanka
Tanka ist eine Enterprise-Agentenplattform, die als Ihr KI-Co-Founder fungieren soll. Entwickelt für den modernen Arbeitsplatz, hilft Tanka Startup-Teams dabei, das Chaos verstreuter Nachrichten, unübersichtlicher Deliverables und repetitiver Aufgaben zu bewältigen. Mit seinem einzigartigen Langzeitgedächtnis erfasst und verknüpft Tanka Unterhaltungen über Tools wie Slack, Gmail, Notion und weitere hinweg und verwandelt fragmentierte Kommunikation in gemeinsames organisationales Wissen.
Durch die Bereitstellung kontextbewusster Antworten, das Zusammenfassen von Meetings und das Versenden zeitnaher Aufgabenerinnerungen steigert Tanka die Produktivität und Entscheidungsfindung von Teams. Seit dem Start der Beta-Version im Jahr 2024 wurde Tanka von über 1.000 Teams eingeführt und hat mehr als 35.000 KI-generierte Antworten geliefert.
Die Herausforderung des semantischen Verständnisses: Wenn die Keyword-Suche nicht ausreicht
Die schnelle Verbreitung von Tanka bestätigte sein zentrales Wertversprechen: KI-Assistenten zu ermöglichen, die nicht nur antworten – sie erinnern sich, lernen und verstehen den geschäftlichen Kontext im Laufe der Zeit. Doch die Skalierung dieser Vision brachte technische Herausforderungen mit sich, insbesondere als die Nutzer mehr von der Plattform verlangten.
In den Anfangstagen nutzte das Tanka-Team BM25-Keyword-basiertes Retrieval – eine pragmatische Wahl, die es ihnen ermöglichte, schnell voranzukommen und grundlegende Suchanwendungsfälle effektiv zu unterstützen. Es funktionierte gut für einfache Abfragen und half dem Team, rasch ein funktionsfähiges MVP auszuliefern.
Als die Plattform jedoch erweitert wurde, um Outlook, Gmail, Slack, Telegram, Notion und andere Tools zu unterstützen, wuchsen die Komplexität der Datenmodelle – und die Erwartungen der Nutzer – erheblich. Teams suchten nicht mehr nach isolierten Keywords. Sie stellten nuancierte, kontextbezogene Fragen, die vom System verlangten, Beziehungen zwischen Nachrichten, Meetings, Dokumenten und Apps zu verstehen.
„Wir haben mit Keyword-Suche für einfache Abfragen begonnen“, sagt Wu Junjie, AI Architect bei Tanka. „Aber als sich die Bedürfnisse unserer Nutzer weiterentwickelten, wurde klar, dass sie semantische Antworten erwarteten – nicht nur String-Übereinstimmungen.“
Dies markierte den Beginn einer tieferen Herausforderung: die semantische Lücke zwischen dem, was Nutzer meinten, und dem, was Keyword-basierte Systeme liefern konnten, zu überbrücken. Beispielsweise könnten Nutzer nach einer Zusammenfassung von „was sich nach dem Produktlaunch geändert hat“ oder nach „Follow-ups aus dem Sales-Meeting vom letzten Freitag“ fragen – Abfragen, die das Querverweisen von E-Mails, Chats und Meeting-Notizen erforderten. Für Menschen waren die Zusammenhänge offensichtlich. Für die Suchmaschine waren sie unsichtbar.
Gleichzeitig stiegen die Anforderungen. In einem wettbewerbsintensiven Umfeld, in dem Geschwindigkeit und Intelligenz zentrale Differenzierungsmerkmale waren, zeigte Tanka’s bestehende Suchinfrastruktur erste Anzeichen von Überlastung. Die Performance litt, als die Datenvolumina wuchsen. Die Suchlatenz nahm zu, insbesondere bei breiten Abfragen ohne klare Filter. Doch das tiefere Problem war nicht die Geschwindigkeit – es war eine strategische Fehlanpassung.
Das Engineering-Team fand sich damit beschäftigt, fragile Suchinfrastruktur zu warten, anstatt die zentralen KI-Funktionen auf ihrer Roadmap zu entwickeln. Visionäre Fähigkeiten – wie Multi-Source-Insights, intelligente wöchentliche Digests oder prädiktive Follow-ups – blieben knapp außer Reichweite.
Das Tanka-Team erkannte, dass die Keyword-Suche sie weit gebracht hatte – aber nicht weit genug. Um die nächste Phase ihrer Produktvision zu erschließen, brauchten sie ein System, das die Nutzerintention über Zeit, Tools und Kontext hinweg wirklich verstehen konnte.
Die Lösung: Speicher mit Performance und Zuverlässigkeit skalieren
Angesichts zunehmender technischer und operativer Herausforderungen machte sich das Tanka-Team daran, eine Lösung zu finden, die ihre ambitionierte Produkt-Roadmap unterstützen und gleichzeitig die Zuverlässigkeit bieten konnte, die Nutzer von einem KI-Assistenten mit Langzeitgedächtnis erwarteten.
Bewertung von Vector-Search-Optionen
Tanka startete einen strukturierten, tiefgehenden Evaluierungsprozess, um potenzielle Lösungen zu erkunden. Zu den frühen Kandidaten gehörten PostgreSQL mit pgvector und Elasticsearch-Plugins – auf den ersten Blick attraktiv aufgrund der Kompatibilität mit ihrem bestehenden Stack. Doch Performance-Tests zeigten schnell ihre Grenzen auf, insbesondere bei speicherintensiven Workloads.
Das Team führte direkte Vergleiche anhand zentraler Kriterien durch: Antwortzeit, Durchsatz, CPU-Auslastung und allgemeine Skalierbarkeit. Während die meisten Plattformen eine ähnliche Genauigkeit boten—da Vektorähnlichkeitsalgorithmen weitgehend standardisiert sind—stach Milvus durch seine überlegene Geschwindigkeit und Ressourceneffizienz hervor.
"Während die Genauigkeit über die Plattformen hinweg vergleichbar war, gewann Milvus eindeutig bei Geschwindigkeit und Ressourceneffizienz", sagt Wu Junjie, AI Architect bei Tanka.
Bei der Evaluierung priorisierte das Team:
Abfragegeschwindigkeit, die entscheidend war, um die Illusion von Echtzeit-Intelligenz aufrechtzuerhalten;
CPU-Effizienz, um die Infrastrukturkosten im großen Maßstab nachhaltig zu halten;
Betriebliche Zuverlässigkeit, unerlässlich für Vertrauen in einen Memory-first-Assistenten.
Skalierbarkeit, um schnell wachsende Datenmengen und Nutzerbasen zu unterstützen.
Von Self-Hosting zu einem verwalteten Dienst
Tanka setzte Milvus zunächst selbst gehostet in der Entwicklung und frühen Produktion ein. Es war die richtige Wahl und bot die latenzarme Vektorsuche, die ihr Produkt erforderte. Milvus erfüllte sein zentrales Versprechen—leistungsstarke, effiziente Ähnlichkeitssuche im großen Maßstab.
Als die Plattform jedoch reifte und die Nutzung zunahm, begann die Belastung durch das Infrastrukturmanagement zur Ablenkung zu werden. Der Betrieb und die Wartung von Milvus-Clustern im eigenen Haus bedeutete, dass das Engineering-Team alles von Skalierung und Failover bis hin zu Monitoring und Wiederherstellung verwalten musste.
Während die Milvus-Engine selbst zuverlässig blieb, führten infrastrukturbezogene Vorfälle—wie Knotenausfälle oder Netzwerkprobleme—zu Risiken und Ausfallzeiten, die sich direkt auf die Benutzererfahrung auswirkten.
Mit der Zeit wurde der Zielkonflikt klar: Das Team musste sich auf den Aufbau von Produktfunktionen konzentrieren, nicht auf die Wartung der Datenbankinfrastruktur.
Migration zu Zilliz Cloud
Die Entscheidung, zu Zilliz Cloud, der vollständig verwalteten Version von Milvus, zu wechseln, lag auf der Hand. Sie lieferte denselben hochleistungsfähigen Kern mit Zuverlässigkeit auf Enterprise-Niveau, ohne den Aufwand, Cluster im eigenen Haus zu verwalten.
Für ein schlankes, schnell agierendes Team wie das von Tanka war die Auslagerung betrieblicher Komplexität ein echter Wendepunkt:
Keine Brandbekämpfung bei Infrastrukturproblemen mehr
Höhere Verfügbarkeit und Konsistenz für speicherkritische Anwendungen
Mehr Engineering-Zeit, um sich auf Innovation und Benutzererfahrung zu konzentrieren
Der integrierte Migrationsservice von Zilliz machte den Übergang reibungslos und risikoarm. Mit schnellem technischem Support und nahtloser S3-Integration wechselte das Tanka-Team mit minimaler Unterbrechung in die Cloud.
Die Implementierung: Erweiterte KI-Memory mit Zilliz Cloud ermöglichen
Mit einer zuverlässigen Infrastruktur konnte Tanka seinen Fokus endlich auf das verlagern, was es wirklich von anderen abhob: den Aufbau erweiterter Memory-Funktionen für seine AI-native-Messaging-Plattform, die weit über einfache Suche hinausgehen. Angetrieben von Zilliz Cloud ist Tankas Implementierung darauf ausgelegt, umfangreiche, kontextbewusste Anwendungen zu unterstützen, die organisatorisches Wissen im großen Maßstab nutzbar machen.
Über grundlegenden Abruf hinaus: Semantische Memory im großen Maßstab
Im Kern von Tankas System steht eine Retrieval-Augmented-Generation-(RAG)-Pipeline, die es Nutzern ermöglicht, auf relevante Informationen aus ihren verbundenen Arbeitsplatz-Tools wie Slack, Gmail und Notion zuzugreifen. Anders als typische RAG-Systeme, die Dokumente auf Basis oberflächlicher Ähnlichkeit abrufen, geht Tanka jedoch einen Schritt weiter.
Während der Vorverarbeitung führt Tanka eine Entitäts- und Beziehungsextraktion durch, um übergeordnete Konzepte aus Rohinhalten zu erfassen. Diese werden anschließend in Vektoreinbettungen umgewandelt und in Zilliz Cloud gespeichert, was einen Abruf ermöglicht, der nicht nur darauf basiert, was gesagt wurde, sondern auch darauf, wie verschiedene Ideen, Menschen und Aktionen miteinander verbunden sind.
Dies ermöglicht es Nutzern, komplexe, abstrakte Fragen zu stellen—wie etwa „Was waren die wichtigsten Follow-ups aus unseren Q3-Planungsbemühungen?“—und Antworten zu erhalten, die auf strukturiertem Wissen statt auf Keyword-Übereinstimmungen basieren.
Dieser Ansatz verwandelt Zilliz Cloud von einer Speicherschicht in eine semantische Memory-Engine und hilft dem Assistenten, Kontext, Verlauf und Muster im gesamten Unternehmen zu verstehen.
Echtzeitverarbeitung und kontinuierliche Updates
Tankas System nimmt Daten aus verbundenen Plattformen in Echtzeit auf und verarbeitet sie, wodurch sichergestellt wird, dass der KI-Assistent stets den neuesten organisatorischen Stand widerspiegelt. Während Teams kommunizieren und zusammenarbeiten, werden neue Vektoren generiert und in Zilliz Cloud indiziert, sodass der Assistent ohne manuelles Eingreifen auf dem neuesten Stand bleibt.
Die Pipeline umfasst:
Multi-Source-Ingestion aus E-Mails, Chats und Dokumenten
Vorverarbeitung zur Extraktion von Entitäten und Beziehungen
Vektor-Embedding und Indexierung in Zilliz Cloud für schnelle, semantische Suche
Dies ermöglicht es dem KI-Assistenten, als lebendige Gedächtnisschicht zu fungieren—und Nutzern dabei zu helfen, Erkenntnisse zutage zu fördern, Entscheidungen abzurufen und sich entwickelnde Teamdynamiken zu verstehen.
Ein flexibler Multi-Model-KI-Stack
Zur Ergänzung dieser Infrastruktur nutzt Tanka eine flexible Multi-Model-LLM-Strategie. Das System stützt sich hauptsächlich auf Gemini 2 Flash und Claude 3.7 Sonnet für Schlussfolgerungen und Zusammenfassungen, wobei OpenAI-Modelle selektiv für anweisungsintensive Aufgaben eingesetzt werden. Um Rate Limiting zu vermeiden und eine robuste Performance über verschiedene Anbieter hinweg sicherzustellen, nutzt Tanka OpenRouter zur Verwaltung des API-Zugriffs und Routings.
Die Vorteile und Ergebnisse: Transformative geschäftliche Wirkung
Die Partnerschaft mit Zilliz Cloud löste für Tanka nicht nur technische Schmerzpunkte—sie veränderte die Entwicklung des Unternehmens grundlegend. Mit stabilisierter Infrastruktur und optimierter Performance konnte das Team den Fokus endlich von operativer Brandbekämpfung auf KI-Innovation verlagern. Die Vorteile wirkten sich auf jede Ebene der Organisation aus und erschlossen neue Dimensionen von Geschwindigkeit, Zuverlässigkeit und Skalierbarkeit.
Sofortige operative Entlastung
Die unmittelbarste—und dramatischste—Auswirkung war die Beseitigung von Produktionsproblemen im Zusammenhang mit Infrastrukturinstabilität. Vor der Migration zu Zilliz Cloud kam es gelegentlich zu datenbankbezogenen Vorfällen, die den Service unterbrachen und das Vertrauen der Nutzer beeinträchtigten. Das ist nicht mehr der Fall.
„Nach dem Umzug zu Zilliz Cloud haben wir Produktionsprobleme im Zusammenhang mit Datenbankausfällen im Grunde eliminiert“, sagt Wu Junjie, AI Architect bei Tanka. „Früher hatten wir gelegentliche Vorfälle, die Nutzer beeinträchtigten. Jetzt sind diese Probleme verschwunden.“
Diese Verbesserung war entscheidend für eine Plattform, die auf dem Versprechen eines dauerhaften organisatorischen Gedächtnisses basiert. Da die Datenbankzuverlässigkeit kein Problem mehr darstellt, können sich Nutzer Tag für Tag auf schnellen, unterbrechungsfreien Zugriff auf ihr angesammeltes Wissen verlassen.
Neuausrichtung des Engineerings auf Innovation
Nachdem die Infrastruktursorgen hinter ihnen lagen, konnte Tankas Engineering-Team seine Zeit auf Produktentwicklung und Innovation verlagern. Anstatt Failovers, Backups und Alerts zu bearbeiten, konnten sich die Engineers auf den Aufbau der Funktionen konzentrieren, die Tankas Wettbewerbsvorteil ausmachen.
„Die Performance und Zuverlässigkeit von Zilliz erfüllen unsere RAG-Anforderungen vollständig“, sagt Wu Junjie. „Das ermöglicht es uns, unsere technischen Anstrengungen auf den Aufbau differenzierter KI-Gedächtnisfähigkeiten zu konzentrieren—dort, wo unser eigentlicher Wert liegt.“
Die Verlagerung führte zu schnelleren Iterationszyklen, ambitionierteren Feature-Launches und einer engeren Abstimmung zwischen Engineering-Aufwand und Geschäftsstrategie.
Konsistente Performance in massivem Maßstab
Mit dem Wachstum von Tankas Nutzerbasis stiegen auch die Anforderungen an das Backend. Das System verarbeitet heute zu Spitzenzeiten Tausende gleichzeitiger Vektorsuchoperationen pro Sekunde und greift dabei auf über drei Jahre organisatorischer Daten zurück, die Millionen von Nachrichten, Dokumenten und Ereignissen umfassen.
Diese Performance-Konstanz hat Infrastrukturlimits als Faktor in der Produktplanung beseitigt. Tankas Team kann nun ohne Zögern entwickeln und skalieren, im Wissen, dass sein Backend mithalten wird.
Fazit
Tankas Weg—von frühen Infrastrukturherausforderungen bis zum Produktionserfolg mit Zilliz Cloud—verdeutlicht eine starke Erkenntnis: Die richtige Grundlage für eine Vektordatenbank verbessert nicht nur die Performance; sie setzt Innovation frei.
Durch die Partnerschaft mit Zilliz Cloud beseitigte Tanka Produktionsvorfälle, steigerte die Produktivität der Entwicklungsteams und erzielte eine konsistente Leistung im großen Maßstab. Noch wichtiger ist, dass der Wechsel es Tanka ermöglichte, sich vollständig auf seine Kernmission zu konzentrieren: den Aufbau von Speicherfunktionen der nächsten Generation für KI-Assistenten, die weit über einfache Retrieval-Funktionen hinausgehen.
Für KI-Unternehmen, die speicherintensive Anwendungen entwickeln, zeigt Tankas Erfahrung, wie Infrastrukturentscheidungen die Innovationsgeschwindigkeit und den Produkterfolg direkt beeinflussen. Leistung, Zuverlässigkeit und operative Einfachheit sind nicht nur technische Anforderungen – sie sind strategische Wegbereiter.
Mit der richtigen Grundlage hat Tanka seine ehrgeizige Vision in eine marktführende Realität verwandelt – und damit bewiesen, dass bahnbrechende KI nicht nur möglich, sondern unvermeidlich ist, wenn Infrastruktur befähigt statt einschränkt.
- Über Tanka
- Die Herausforderung des semantischen Verständnisses: Wenn die Keyword-Suche nicht ausreicht
- Die Lösung: Speicher mit Performance und Zuverlässigkeit skalieren
- Die Implementierung: Erweiterte KI-Memory mit Zilliz Cloud ermöglichen
- Die Vorteile und Ergebnisse: Transformative geschäftliche Wirkung
- Fazit
Inhalte
Anwendungsfall
Branche