Представляем ключи шифрования, управляемые клиентом (CMEK), в Zilliz Cloud
Поскольку предприятия переводят все больше рабочих нагрузок ИИ в production, векторные базы данных все чаще оказываются за критически важными приложениями, такими как RAG, семантический поиск и AI agents. Эти рабочие нагрузки часто опираются на чувствительный бизнес-контекст, поэтому командам безопасности нужны понятные средства контроля того, как данные шифруются, как управляются ключи и как доступ может быть проверен или отозван.
Zilliz Cloud уже по умолчанию шифрует данные в состоянии покоя с использованием AES-256. Сегодня мы добавляем еще один уровень контроля для клиентов, объявляя об общей доступности Customer-Managed Encryption Keys (CMEK) в Zilliz Cloud.
С CMEK клиенты могут приносить и управлять собственными ключами в AWS Key Management Service (KMS). Это дает командам безопасности и комплаенса прямое владение управлением жизненным циклом ключей, политиками доступа, журналами аудита и средствами отзыва, продолжая использовать Zilliz Cloud как полностью управляемую векторную базу данных.
Почему корпоративные команды хотят прямой контроль над ключами
Шифрование, управляемое платформой по умолчанию, является важной базовой мерой для любого управляемого облачного сервиса. Для многих рабочих нагрузок оно обеспечивает надежную защиту, не добавляя операционной сложности для клиента.
Однако некоторые корпоративные и регулируемые среды требуют более высокого уровня контроля со стороны клиента. Командам безопасности может потребоваться управлять ключами в собственной облачной учетной записи, отделять владение ключами от обработки данных, отслеживать использование ключей в существующих системах аудита или отзывать доступ без создания обращения в поддержку и без зависимости от процесса на стороне поставщика.
CMEK разработан для таких команд. Он сохраняет опыт использования управляемой базы данных Zilliz Cloud, одновременно предоставляя клиентам прямой контроль над корневыми ключами, используемыми для защиты их данных.
Представляем CMEK в Zilliz Cloud
Zilliz Cloud уже по умолчанию шифрует все данные в состоянии покоя с использованием AES-256. Для организаций со строгими требованиями к безопасности, комплаенсу или управлению данными CMEK добавляет дополнительный уровень контроля со стороны клиента. Вместо того чтобы полагаться только на ключи, управляемые платформой, вы управляете корневым ключом в KMS вашего собственного облачного провайдера.
С CMEK вы контролируете корневой ключ, используемый для защиты ваших данных. Вот архитектура:
Вы создаете и храните Customer Master Key (CMK) в своем KMS. Он никогда не покидает границы вашего KMS. Zilliz Cloud никогда не владеет мастер-ключом — ему предоставляется только временный, ограниченный доступ для его использования при необходимости.
CMK шифрует промежуточный Encryption Zone Key (EZK), уникальный для каждой базы данных. Когда Zilliz Cloud необходимо обработать данные, он запрашивает у вашего KMS расшифровку EZK. Расшифрованный EZK находится только в памяти и только в течение необходимого времени. Такая конструкция устраняет вызовы KMS для каждой операции без ослабления границы безопасности.
EZK шифруют Data Encryption Keys (DEKs) для каждого файла, которые защищают фактические векторные блоки, индексы и журналы. Эта трехуровневая архитектура ограничивает радиус поражения: если один DEK когда-либо будет раскрыт, ущерб будет ограничен одним файлом.
В результате получается шифрование под контролем клиента без миллисекундной задержки, связанной с вызовом вашего KMS при каждом векторном поиске. Ваш мастер-ключ остается корнем доверия, а Zilliz Cloud может продолжать обеспечивать низколатентный векторный поиск.
Что шифруется
CMEK в Zilliz Cloud предназначен для защиты данных на протяжении всего жизненного цикла, а не только на уровне хранения:
- Object storage — binlogs, index files и snapshots в S3
- Local SSD caches — данные, кэшированные на вычислительных узлах для низколатентного поиска
- Message queues — операции вставки и удаления при передаче между внутренними компонентами
Независимо от того, находятся ли ваши данные в состоянии покоя в долговременном хранилище, кэшируются для повышения производительности или проходят через внутренние конвейеры обработки, они остаются зашифрованными вашим ключом с использованием AES-256.
Три результата, которые наиболее важны для команд безопасности
1. Разделение обязанностей — четкое и проверяемое
Zilliz Cloud обрабатывает и хранит ваши данные. Ключи находятся у вас в вашем собственном KMS. Это отдельные сущности с отдельными ролями. Ваша команда по комплаенсу может четко определить эту границу во время аудитов, помогая поддерживать контроль разделения обязанностей и управления ключами, который многие команды сопоставляют с такими фреймворками, как GDPR, HIPAA, PCI-DSS и SOC 2.
2. Мгновенная отзывность — прямой контроль клиента
Если вы обнаружите нарушение, вам нужно прекратить отношения с поставщиком или необходимо ответить на юридическое удержание, вы можете отключить свой CMK напрямую в KMS. Эффект наступает немедленно: данные в затронутом кластере Zilliz не могут быть прочитаны или обработаны сервисом, пока доступ к ключу не будет восстановлен. Это не удаляет и не перемещает данные и не зависит от рабочего процесса на стороне поставщика.
Это дает командам сильную точку контроля для суверенитета данных, реагирования на инциденты и управления доступом поставщиков.
3. Единый журнал аудита — внутри вашей существующей инфраструктуры
Каждый запрос на доступ к ключу от Zilliz Cloud регистрируется в AWS CloudTrail. Ваша команда безопасности может видеть, когда и как осуществляется доступ к ключам, в той же инфраструктуре аудита AWS, которую она уже использует, вместо того чтобы полагаться на отдельный рабочий процесс, специфичный для поставщика. Ваши ключи шифрования Zilliz находятся рядом с другими вашими ключами AWS KMS, управляются теми же политиками и отслеживаются теми же командами.
Начало работы с CMEK
Мы постарались сделать внедрение CMEK максимально простым:
- Шаг 1 — Сгенерируйте IAM policy. В Zilliz Console мы автоматически генерируем точный фрагмент IAM policy, необходимый вашей учетной записи AWS, предварительно настроенный с правильными principal IDs для вашего кластера. Ручное редактирование JSON не требуется.
- Шаг 2 — Создайте ключ и авторизуйте доступ. Создайте ключ в вашем AWS KMS, примените policy и предоставьте Zilliz строго ограниченные разрешения — Decrypt и GenerateDataKey только. Ничего шире, чем необходимо.
- Шаг 3 — Включите CMEK на вашем кластере. Вставьте Key ARN в Zilliz Console и переключите Customer-Managed Key в положение ON при создании нового Dedicated cluster.
Вся настройка занимает минуты, а не дни. Ротация ключей поддерживается без простоя — AWS KMS выполняет ротацию, а Zilliz Cloud бесшовно следует за Key ARN.
Доступность
CMEK доступен сегодня для Dedicated clusters в business-critical plan на AWS. Несколько вещей, которые нужно знать перед началом:
- Ключи шифрования управляются на уровне проекта
- До 20 уникальных ключей на проект (добавление дублирующихся ключей приведет к сбоям)
- После того как кластер зашифрован, миграция коллекций между базами данных не поддерживается
- Облачный провайдер и регион вашего KMS key должны совпадать с провайдером и регионом вашего кластера Zilliz Cloud
- Чтобы включить CMEK на существующих кластерах, работающих на Milvus v2.5.x, создайте резервную копию данных и восстановите ее в новом кластере на Milvus v2.6.x — обновление существующего кластера не шифрует ретроактивно ранее существовавшие данные
- Для регионов за пределами AWS свяжитесь с нами, чтобы обсудить доступность.
Вопросы о CMEK или корпоративной безопасности в Zilliz Cloud? Ознакомьтесь с этим документом CMEK или обратитесь к нашей команде решений для получения дополнительной информации.
Читать далее
Introducing Loon: A New Storage Engine for Vector Data That Never Stops Changing
Loon is a new storage engine for Milvus 3.0 and Zilliz Vector Lakebase, built to manage evolving vector datasets with ColumnGroups, row ID alignment, and Manifests.
Zilliz Cloud On-Demand Compute: Pay Only for What You Use
The customer case behind Zilliz Cloud On-Demand: how a $10K vector search bill came down to under $500, and the engineering changes that made it possible.
A Developer's Guide to Exploring Milvus 2.6 Features on Zilliz Cloud
Milvus 2.6 marks a shift from “vector search + glue code” to a more advanced retrieval engine, and it is now Generally Available (GA) on Zilliz Cloud (a managed Milvus service).