Создание ИИ-агентов в масштабе: как Tanka использовала Zilliz Cloud для интеллектуальной корпоративной коммуникации
0 проблем в продакшене
связанный с нестабильностью инфраструктуры
Тысячи векторных поисков
в секунду в часы пик
Механизм семантической памяти
Понимание концепций и взаимосвязей между инструментами и во времени
100% ресурсов команды
перенаправлено к инновациям в области ИИ
О Tanka
Tanka — это корпоративная платформа агентов, созданная, чтобы выступать в роли вашего AI Co-Founder. Разработанная для современного рабочего пространства, Tanka помогает командам стартапов справляться с хаосом разрозненных сообщений, неупорядоченных результатов работы и повторяющихся задач. Благодаря своей уникальной долгосрочной памяти Tanka фиксирует и связывает разговоры в таких инструментах, как Slack, Gmail, Notion и других, превращая фрагментированную коммуникацию в общее организационное знание.
Предоставляя ответы с учетом контекста, резюмируя встречи и своевременно отправляя напоминания о задачах, Tanka повышает продуктивность команды и качество принятия решений. С момента запуска бета-версии в 2024 году Tanka была внедрена более чем 1 000 команд и предоставила более 35 000 ответов, сгенерированных ИИ.
Проблема семантического понимания: когда поиска по ключевым словам недостаточно
Быстрое внедрение Tanka подтвердило ее ключевое ценностное предложение: создание AI-ассистентов, которые не просто отвечают — они помнят, учатся и со временем понимают бизнес-контекст. Но масштабирование этого видения сопровождалось техническими трудностями, особенно по мере того, как пользователи требовали от платформы большего.
На ранних этапах команда Tanka использовала поиск на основе ключевых слов BM25 — прагматичный выбор, который позволил им быстро двигаться вперед и эффективно поддерживать базовые сценарии поиска. Он хорошо работал для простых запросов и помог команде быстро выпустить функциональный MVP.
Однако по мере того, как платформа расширялась для поддержки Outlook, Gmail, Slack, Telegram, Notion и других инструментов, сложность моделей данных — и ожидания пользователей — значительно возросли. Команды больше не искали отдельные ключевые слова. Они задавали тонкие, контекстные вопросы, требовавшие от системы понимания связей между сообщениями, встречами, документами и приложениями.
«Мы начали с поиска по ключевым словам для простых запросов, — говорит У Цзюньцзе, AI Architect в Tanka. — Но по мере развития потребностей наших пользователей стало ясно, что они ожидают семантических ответов, а не просто совпадений строк».
Это стало началом более глубокой проблемы: преодоления семантического разрыва между тем, что имели в виду пользователи, и тем, что могли дать системы на основе ключевых слов. Например, пользователи могли запросить сводку о том, «что изменилось после запуска продукта» или «последующие действия по итогам встречи отдела продаж в прошлую пятницу» — запросы, требовавшие сопоставления электронных писем, чатов и заметок со встреч. Для людей эти связи были очевидны. Для поисковой системы они были невидимы.
Тем временем ставки росли. В конкурентной среде, где скорость и интеллектуальность были ключевыми отличиями, существующая поисковая инфраструктура Tanka начала демонстрировать признаки перегрузки. Производительность снижалась по мере роста объемов данных. Задержка поиска увеличивалась, особенно для широких запросов без четких фильтров. Но более глубокой проблемой была не скорость, а стратегическое несоответствие.
Инженерная команда увязла в поддержке хрупкой поисковой инфраструктуры вместо разработки ключевых AI-функций из своей дорожной карты. Визионерские возможности — такие как инсайты из нескольких источников, интеллектуальные еженедельные дайджесты или прогнозируемые последующие действия — оставались едва недостижимыми.
Команда Tanka поняла, что поиск по ключевым словам продвинул их далеко, но недостаточно далеко. Чтобы открыть следующий этап своего продуктового видения, им нужна была система, способная по-настоящему понимать намерения пользователей во времени, в разных инструментах и контексте.
Решение: масштабирование памяти с производительностью и надежностью
Столкнувшись с растущими техническими и операционными вызовами, команда Tanka приступила к поиску решения, которое могло бы поддержать их амбициозную продуктовую дорожную карту и при этом обеспечить надежность, ожидаемую пользователями от AI-ассистента с долгосрочной памятью.
Оценка вариантов векторного поиска
Tanka запустила структурированный, углубленный процесс оценки для изучения потенциальных решений. Среди первых претендентов были PostgreSQL с pgvector и плагины Elasticsearch — на первый взгляд привлекательные благодаря совместимости с их существующим стеком. Но тестирование производительности быстро выявило их ограничения, особенно для нагрузок, интенсивно использующих память.
Команда провела прямые сравнения по ключевым критериям: времени отклика, пропускной способности, загрузке CPU и общей масштабируемости. Хотя большинство платформ предлагали схожую точность — поскольку алгоритмы векторного сходства в значительной степени стандартизированы, — Milvus выделился превосходной скоростью и эффективностью использования ресурсов.
"Хотя точность была сопоставимой на разных платформах, Milvus явно выиграл по скорости и эффективности использования ресурсов", — говорит У Цзюньцзе, AI Architect в Tanka.
Во время оценки команда уделяла приоритетное внимание:
Скорости запросов, которая была критически важна для поддержания иллюзии интеллектуальности в реальном времени;
Эффективности CPU, чтобы сохранять затраты на инфраструктуру устойчивыми при масштабировании;
Операционной надежности, необходимой для доверия к ассистенту, ориентированному на память.
Масштабируемости, чтобы поддерживать быстро растущие объемы данных и пользовательские базы.
От самостоятельного хостинга к управляемому сервису
Изначально Tanka развернула self-hosted Milvus в разработке и раннем production. Это был правильный выбор, обеспечивший низколатентный векторный поиск, необходимый их продукту. Milvus выполнил свое ключевое обещание — мощный и эффективный поиск по сходству в масштабе.
Однако по мере того как платформа зрелела и использование росло, бремя управления инфраструктурой стало отвлекать. Запуск и поддержка кластеров Milvus внутри компании означали, что инженерной команде приходилось управлять всем — от масштабирования и failover до мониторинга и восстановления.
Хотя сам движок Milvus оставался надежным, инциденты, связанные с инфраструктурой, — такие как сбои узлов или проблемы с сетью — создавали риски и простои, которые напрямую влияли на пользовательский опыт.
Со временем компромисс стал очевиден: команде нужно было сосредоточиться на создании продуктовых функций, а не на поддержке инфраструктуры базы данных.
Миграция в Zilliz Cloud
Выбор в пользу перехода на Zilliz Cloud, полностью управляемую версию Milvus, стал очевидным. Он предоставил то же высокопроизводительное ядро с надежностью корпоративного уровня, без накладных расходов на управление кластерами внутри компании.
Для небольшой, быстро движущейся команды вроде Tanka передача операционной сложности на внешнее управление стала переломным моментом:
Больше никаких срочных разбирательств с проблемами инфраструктуры
Более высокий uptime и согласованность для приложений, критически зависящих от памяти
Больше инженерного времени для фокуса на инновациях и пользовательском опыте
Встроенный сервис миграции Zilliz сделал переход плавным и низкорисковым. Благодаря оперативной технической поддержке и бесшовной интеграции с S3 команда Tanka перешла в облако с минимальными сбоями.
Реализация: обеспечение продвинутой AI-памяти с помощью Zilliz Cloud
С надежной инфраструктурой Tanka наконец смогла переключить внимание на то, что действительно выделяло ее: создание продвинутых возможностей памяти для своей AI-native платформы обмена сообщениями, которые выходят далеко за рамки простого поиска. Реализация Tanka на базе Zilliz Cloud предназначена для поддержки богатых, контекстно-ориентированных приложений, которые делают организационные знания применимыми в масштабе.
За пределами базового извлечения: семантическая память в масштабе
В основе системы Tanka лежит конвейер retrieval-augmented generation (RAG), позволяющий пользователям получать доступ к релевантной информации из подключенных рабочих инструментов, таких как Slack, Gmail и Notion. Однако, в отличие от типичных RAG-систем, которые извлекают документы на основе поверхностного сходства, Tanka идет на шаг дальше.
Во время предварительной обработки Tanka выполняет извлечение сущностей и отношений, чтобы захватывать концепции более высокого уровня из исходного контента. Затем они преобразуются в векторные эмбеддинги и сохраняются в Zilliz Cloud, что позволяет выполнять извлечение не только на основе того, что было сказано, но и на основе того, как связаны разные идеи, люди и действия.
Это позволяет пользователям задавать сложные, абстрактные вопросы — например, «Каковы были ключевые последующие действия по итогам наших усилий по планированию Q3?» — и получать ответы, основанные на структурированных знаниях, а не на совпадениях ключевых слов.
Такой подход превращает Zilliz Cloud из слоя хранения в движок семантической памяти, помогая ассистенту понимать контекст, историю и паттерны в масштабах организации.
Обработка в реальном времени и непрерывные обновления
Система Tanka получает и обрабатывает данные с подключенных платформ в реальном времени, гарантируя, что AI-ассистент всегда отражает актуальное состояние организации. По мере того как команды общаются и сотрудничают, новые векторы генерируются и индексируются в Zilliz Cloud, поддерживая актуальность ассистента без необходимости ручного вмешательства.
Пайплайн включает:
Получение данных из нескольких источников: электронных писем, чатов и документов
Предобработку для извлечения сущностей и связей
Векторное вложение и индексирование в Zilliz Cloud для быстрого семантического поиска
Это позволяет AI-ассистенту выступать в роли живого слоя памяти — помогая пользователям находить инсайты, вспоминать решения и понимать меняющуюся динамику команд.
Гибкий мультимодельный AI-стек
Чтобы дополнить эту инфраструктуру, Tanka использует гибкую мультимодельную стратегию LLM. Система в основном опирается на Gemini 2 Flash и Claude 3.7 Sonnet для рассуждений и суммаризации, а модели OpenAI выборочно применяются для задач с большим объемом инструкций. Чтобы избежать ограничений по частоте запросов и обеспечить устойчивую производительность у разных провайдеров, Tanka использует OpenRouter для управления доступом к API и маршрутизацией.
Преимущества и результаты: трансформационное влияние на бизнес
Партнерство с Zilliz Cloud не просто решило технические проблемы Tanka — оно изменило траекторию развития компании. После стабилизации инфраструктуры и оптимизации производительности команда наконец смогла сместить фокус с операционного тушения пожаров на AI-инновации. Преимущества затронули каждый уровень организации, открыв новые уровни скорости, надежности и масштабируемости.
Немедленное операционное облегчение
Самым быстрым — и впечатляющим — эффектом стало устранение производственных проблем, связанных с нестабильностью инфраструктуры. До миграции на Zilliz Cloud инциденты, связанные с базами данных, периодически нарушали работу сервиса и подрывали доверие пользователей. Теперь это больше не так.
«После перехода на Zilliz Cloud мы фактически устранили производственные проблемы, связанные со сбоями базы данных», — говорит У Цзюньцзе, AI Architect в Tanka. «Раньше у нас иногда случались инциденты, которые затрагивали пользователей. Теперь эти проблемы исчезли».
Это улучшение было критически важным для платформы, построенной на обещании постоянной организационной памяти. Когда надежность базы данных перестала быть поводом для беспокойства, пользователи смогли рассчитывать на быстрый и бесперебойный доступ к накопленным знаниям — изо дня в день.
Переориентация инженерной команды на инновации
Оставив проблемы инфраструктуры позади, инженерная команда Tanka смогла перераспределить свое время в пользу разработки продукта и инноваций. Вместо обработки переключений при сбоях, резервного копирования и оповещений инженеры смогли сосредоточиться на создании функций, которые определяют конкурентное преимущество Tanka.
«Производительность и надежность Zilliz полностью соответствуют нашим требованиям к RAG», — говорит У Цзюньцзе. «Это позволяет нам направить технические усилия на создание дифференцированных возможностей AI-памяти — именно там, где заключается наша реальная ценность».
Этот сдвиг привел к более быстрым циклам итераций, более амбициозным запускам функций и более тесному согласованию инженерных усилий с бизнес-стратегией.
Стабильная производительность в огромном масштабе
По мере роста пользовательской базы Tanka росли и требования к ее backend. Сейчас система обрабатывает тысячи параллельных операций векторного поиска в секунду в пиковые периоды, обращаясь к более чем трем годам организационных данных, охватывающих миллионы сообщений, документов и событий.
Такая стабильность производительности устранила инфраструктурные ограничения как фактор планирования продукта. Теперь команда Tanka может строить и масштабировать без колебаний, зная, что их backend справится с нагрузкой.
Заключение
Путь Tanka — от ранних инфраструктурных вызовов до успешной эксплуатации в продакшене с Zilliz Cloud — подчеркивает важный урок: правильный фундамент векторной базы данных не просто повышает производительность; он открывает путь к инновациям.
Благодаря партнерству с Zilliz Cloud компания Tanka устранила инциденты в production-среде, повысила продуктивность инженеров и добилась стабильной производительности при масштабировании. Что еще важнее, этот переход позволил Tanka полностью сосредоточиться на своей ключевой миссии: создании возможностей памяти нового поколения для AI Assistants, которые выходят далеко за рамки базового поиска.
Для AI-компаний, разрабатывающих приложения с высокой нагрузкой на память, опыт Tanka показывает, как инфраструктурные решения напрямую влияют на скорость инноваций и успех продукта. Производительность, надежность и операционная простота — это не просто технические требования, а стратегические факторы развития.
При наличии правильной основы Tanka превратила свое амбициозное видение в рыночную реальность — доказав, что когда инфраструктура расширяет возможности, а не ограничивает их, прорывной AI не просто возможен, а неизбежен.
- О Tanka
- Проблема семантического понимания: когда поиска по ключевым словам недостаточно
- Решение: масштабирование памяти с производительностью и надежностью
- Реализация: обеспечение продвинутой AI-памяти с помощью Zilliz Cloud
- Преимущества и результаты: трансформационное влияние на бизнес
- Заключение
Контент
Пример использования
Отрасль