Plaud обеспечивает память агентов миллиардного масштаба с помощью Zilliz Cloud

О Plaud

Plaud — мировой бренд №1 в области AI-заметок. Его аппаратное обеспечение — AI-записывающие устройства размером с кредитную карту Plaud Note, Plaud Note Pro и носимое устройство Plaud NotePin S — работает вместе с Plaud Intelligence (доступной в приложении, веб-версии и на десктопе), превращая повседневные разговоры в сводки, пункты задач и бизнес-ценность. Менее чем за три года Plaud стала одной из ключевых компаний в сфере потребительского AI-оборудования: она поставила более 2 миллионов устройств в более чем 170 стран и выросла с $1M до более чем $100M годовой регулярной выручки примерно за два года.

За этим опытом стоит более сложная задача, чем кажется. Каждая запись становится долговременной личной памятью, по которой пользователь ожидает мгновенно искать и задавать вопросы, — в масштабах быстро растущей глобальной пользовательской базы. Хранение и извлечение этой памяти в масштабе — задача, которую Plaud доверяет Zilliz Cloud.

Задача

AI-память потребительского масштаба — одна из самых требовательных рабочих нагрузок на поиск в производстве. Plaud изначально построила свой поиск на OpenSearch, который хорошо справлялся с поиском и журналами. Но когда рабочая нагрузка сместилась в сторону семантического и гибридного поиска миллиардного масштаба, производительность и стоимость OpenSearch при таком масштабе больше не выдерживали. Замена этой основы означала необходимость одновременно справиться с тремя факторами.

1. Взрывной рост данных потребительского масштаба. По мере ускорения внедрения по всему миру векторизованная память Plaud выросла с сотен миллионов до миллиардов чанков на регион, приближаясь к десяткам миллиардов. Каждая запись также генерирует богатые скалярные метаданные, используемые для фильтрации и ранжирования, а потребительский продукт создает огромный «длинный хвост» «холодной» памяти — данные, которые пользователь может игнорировать месяцами, а затем они внезапно могут понадобиться, — и эти данные должны оставаться недорогими для хранения, не замедляя активные запросы.

2. Семантическая агентная нагрузка — не просто поиск по ключевым словам. Основной сценарий использования Plaud — это Agentic RAG и память: извлечение, движимое смыслом, в миллиардном масштабе, питающее Ask Plaud и его агентов. Это требует по-настоящему высокопроизводительного векторного поиска в сочетании с условной скалярной фильтрацией, а также интенсивных непрерывных операций записи, работающих параллельно с чтением с низкой задержкой, без взаимных помех. Релевантность также должна учитывать тип контента и давность — сводка должна перевешивать сырую расшифровку, а недавние воспоминания должны появляться первыми.

3. Глобальная, постоянно работающая и созданная для чувствительных персональных данных. Глобальная пользовательская база делает многорегиональное развертывание и резидентность данных жесткими требованиями. Поскольку записи носят глубоко личный характер, платформе требуется шифрование, управляемое клиентом, и модель, в которой ни один открытый текст никогда не покидает Plaud. А поскольку продукт выпускается непрерывно, слой поиска сам должен развиваться — новые поля, новые индексы, обновления версий — без простоев.

Почему Zilliz Cloud

Plaud выбрала Zilliz Cloud в качестве основы для этой рабочей нагрузки по трем причинам.

Проверенная производительность и стабильность в миллиардном масштабе. Plaud требовался движок, который остается быстрым и стабильным, когда данные разрастаются до миллиардов в реальной эксплуатации, а не в бенчмарке. Распределенная архитектура Zilliz Cloud поддерживает высокопроизводительный поиск и высокопропускную запись в масштабе, при этом операции чтения и записи изолированы, чтобы задержка оставалась предсказуемой по мере роста нагрузки.

Модель конфиденциальности, которая сохраняет пользовательский контент у Plaud. Plaud отправляет в Zilliz Cloud только то, что необходимо для поиска, — семантические векторы и скалярные поля, используемые для фильтрации, например временные метки. Ни транскрипты, ни аудио, ни открытый текст никогда не покидают Plaud. В сочетании с управляемыми клиентом ключами шифрования (CMEK) это дает Plaud сильный и проверяемый контроль над конфиденциальностью пользователей.

Управляемая основа, оставляющая контроль над релевантностью за Plaud. Zilliz Cloud берет на себя сложную часть — распределенное векторное хранение и извлечение в масштабе, — а Plaud сохраняет то, что отличает ее продукт: как она строит разреженные и плотные векторы, выполняет многоканальный поиск, а также объединяет и ранжирует результаты.

Решение

Внутри Plaud Zilliz Cloud — это уровень поиска, обеспечивающий работу ContextOS — системы, которая превращает сырые записи в полезную память. Путь от голоса до ответа проходит четыре этапа:

• Захват и предобработка — Пользователь завершает запись; файл попадает в файловую систему Plaud и проходит необходимую предобработку (например, распознавание речи и преобразование текста в эмбеддинги с помощью моделей ИИ).
• Понимание и хранение — ContextOS обрабатывает содержимое и записывает его в Zilliz Cloud в виде семантических векторов и полей скалярных фильтров — никогда не в виде сырого текста.
• Поиск по намерению — Когда пользователь ищет что-то или задаёт вопрос Plaud, агент интерпретирует намерение, кодирует его в векторы и извлекает наиболее релевантный контекст из ContextOS на базе Zilliz Cloud.
• Генерация — Извлечённый контекст служит основой для ответа агента.

На этом фундаменте Zilliz Cloud обеспечивает три продуктовых сценария:

• Поиск по собственным записям пользователя;
• Ask Plaud (RAG) — ответы, основанные на расшифровках и сводках;
• MAG (Memory-Augmented Generation) — ответы, основанные на долговременной личной памяти.

Инженерный анализ: создано для памяти агентов

Память агента — это не классический RAG по статическому набору документов. Это живой контекст для каждого пользователя, который постоянно растёт и должен оставаться актуальным, фильтруемым и приватным. Достичь этого уровня помогла особая инженерная работа — вот возможности, которые выделяет команда Plaud.

Обратная загрузка исторических данных миллиардного масштаба при работающем сервисе

Рост продукта памяти означает постоянную загрузку и преобразование больших объёмов исторических данных — без отключения поиска для пользователей, которые зависят от него. С помощью Zilliz Cloud Plaud выполняет историческую обратную загрузку миллиардного масштаба как офлайн-пакетные задания, которые завершаются за дни, при этом живой сервис остаётся полностью доступным для чтения. Огромные массивы памяти разворачиваются в продакшене без окна технического обслуживания.

Эволюция схемы и обновления без простоев

Быстро развивающееся потребительское приложение постоянно меняется: новые атрибуты памяти для хранения, новые поля для фильтрации и поиска, новые версии индексов и движков для внедрения. Zilliz Cloud позволяет Plaud добавлять динамические столбцы, включать поиск по ключевым словам (BM25) по новым текстовым полям и проводить обновления индексов и кластеров — всё без простоев. Plaud продолжает выпускать обновления, пока глобальное приложение остаётся всегда доступным.

Глобальная мультирегиональность с соблюдением требований к размещению данных

Пользователи Plaud находятся в Северной Америке, Европе и Азиатско-Тихоокеанском регионе и ожидают, что их данные будут и быстрыми, и хранящимися в соответствующем регионе. Встроенная мультирегиональная поддержка Zilliz Cloud позволяет Plaud размещать память каждого пользователя в нужном регионе для соблюдения требований и низкой задержки. Уникальность первичных ключей между кластерами делает это безопасным в масштабе — пользователи и их данные могут перемещаться между региональными кластерами, а ключи остаются глобально уникальными, — а репликация без простоев делает миграцию незаметной для пользователей.

Гибридный поиск с учётом памяти

В личной памяти лучший результат — это не всегда наиболее семантически похожий: свежая заметка обычно важнее старой, а сводка часто полезнее сырой расшифровки. Гибридный поиск Zilliz Cloud сочетает семантический и ключевой поиск с ранжированием по убыванию и взвешиванием типа документа, поэтому Ask Plaud и его агенты выдают память, которая не просто релевантна, но и своевременна, и нужного типа.

Помимо этих ключевых направлений, нагрузка Plaud опирается на набор базовых возможностей, необходимых любой продакшн-системе памяти агентов:

Возможность	Почему это важно для Plaud
Условная скалярная фильтрация вместе с векторным поиском	Личная память всегда привязана к пользователю и метаданным, поэтому фильтрация должна работать вместе с семантическим поиском на полной скорости
Изоляция чтения и записи	Непрерывная высокообъёмная загрузка данных работает одновременно с низкозадержными запросами, не снижая производительность друг друга
Управляемое клиентом шифрование (CMEK)	Plaud и его пользователи хранят ключи; отзовите ключ — и данные больше нельзя будет расшифровать
Холодное/горячее многоуровневое хранение	«Холодная» память длинного хвоста остаётся недорогой в хранении и автоматически «прогревается» при обращении
Управляемое резервное копирование и восстановление	Полное резервное копирование данных выполняется с пренебрежимо малым влиянием на производительность живых запросов
Эластичное масштабирование ёмкости	Ёмкость растёт вместе с пользовательской базой без изменения архитектуры системы

Результаты и преимущества

• Низкозадержный поиск в масштабе — поиск возвращает результаты в среднем менее чем за 200 мс и менее чем за 800 мс на уровне P99, что даёт сквозному конвейеру Ask AI запас для отзывчивости даже при росте данных до миллиардов.
• Миллиарды векторов без изменения архитектуры — Plaud вырос от сотен миллионов до миллиардов чанков на регион, с понятным путём к десяткам миллиардов, всё на том же фундаменте и без превращения поиска в узкое место.
• Более быстрые операции с данными, нулевое время простоя — исторические бэкфиллы миллиардного масштаба выполняются за дни, а обновления схемы и кластера проходят без простоев, поэтому команда непрерывно выпускает обновления глобального приложения, работающего 24/7.
• Глобальное соответствие требованиям и производительность — нативное мультирегиональное развёртывание хранит данные каждого пользователя в его регионе, удовлетворяя требованиям к резидентности данных и обеспечивая низкую задержку для пользователей по всему миру.
• Снижение операционных издержек — полностью управляемый сервис устраняет скрытые затраты на самостоятельно развёрнутые кластеры (настройку, оптимизацию, масштабирование и дежурства), поэтому инженеры фокусируются на продукте, а не на инфраструктуре.

Самое очевидное преимущество — стратегическое: надёжная и масштабируемая основа позволяет инженерам Plaud переключить внимание с вопроса "выдержит ли инфраструктура?" обратно на "насколько хорошим может быть продукт?" — что открывает путь к более объёмной семантической памяти, более совершенным стратегиям поиска и более быстрой итерации функций.

Советы Plaud командам, создающим потребительские AI-системы

Пройдя весь цикл роста, команда Plaud предлагает четыре урока для тех, кто создаёт AI-запись, личную AI-память или другие потребительские AI-продукты:

1. Выбирайте инфраструктуру под свой конечный масштаб. Как только потребительский продукт взлетает, данные прыгают от сотен миллионов до миллиардов чанков. Выбирайте специализированный движок, который плавно масштабируется, и избегайте одной дорогой миграции в будущем.
2. Тестируйте скалярную фильтрацию и семантический поиск вместе. Условная фильтрация в сочетании с семантическим поиском — самый реалистичный и самый требовательный тест векторного движка для реальных AI-приложений.
3. Учитывайте операционные расходы в своих расчётах. Самостоятельное шардирование, масштабирование и дежурства — это скрытые и высокие издержки. Полностью управляемый вариант сводит их к нулю, позволяя команде сосредоточиться на продукте.
4. Планируйте глобальный охват и соответствие требованиям заранее. Для глобальной пользовательской базы резидентность данных и низкая задержка в нескольких регионах становятся жёсткими требованиями раньше, чем вы ожидаете.

Что дальше

Plaud планирует расширить использование Zilliz Cloud — от сегодняшних Agentic RAG и памяти агентов до центральной роли в инженерии контекста агентов, поскольку его уровень памяти масштабируется до десятков миллиардов векторов и далее.

«Plaud — именно та компания, которая переопределяет возможности потребительского AI — и делает это прибыльно, с поразительной скоростью. Мы гордимся тем, что Zilliz Cloud является поисковой основой успеха Plaud, и рады продолжать совместную работу по мере их масштабирования к следующему этапу агентного AI.»

— Джеймс Луан, технический директор Zilliz

Попробуйте Zilliz Cloud бесплатно

Zilliz Cloud — это полностью управляемая векторная база данных и Vector Lakebase для корпоративного ИИ, совместимые с API Milvus. Платформа обеспечивает векторный поиск в масштабе ста миллиардов с высокой производительностью, безопасностью корпоративного уровня и эксплуатацией без технического обслуживания. Расширенная теперь за счет открытости, масштабируемости и экономичности мультимодальных озер данных, она предоставляет предприятиям единую платформу для поиска, анализа и управления неструктурированными данными для производственного ИИ.

Независимо от того, масштабируете ли вы RAG или создаете память для агентов, Zilliz Cloud предоставляет ту же поисковую основу, которая лежит в основе Plaud. Начните работать с Zilliz Cloud бесплатно прямо сейчас или свяжитесь с нашей командой.