Как Milvus помогает Credal в реализации миссии «Полезный ИИ, сделанный безопасным»
В современном мире, основанном на данных, интеграция искусственного интеллекта (AI) в корпоративные процессы стала необходимой для сохранения конкурентоспособности. Но вместе с возможностями AI возникает и задача безопасного управления данными, контроля доступа и обеспечения конфиденциальности. Именно здесь на помощь приходит Credal, предлагая решение, которое позволяет организациям использовать потенциал Generative AI, одновременно снижая риски. В основе их решения лежит Milvus, векторная база данных с открытым исходным кодом, которая играет ключевую роль в реализации видения Credal: «Полезный AI, сделанный безопасным».
Credal: преодоление разрыва между GenAI и безопасностью корпоративных данных
Credal стремится сделать интеграцию GenAI более безопасной и доступной для предприятий. Их основной фокус — бесшовная интеграция данных из различных источников, таких как Microsoft Office, Google Drive, Google Workspace, Slack, Confluence и других, с предоставлением этих данных пользователям с полными разрешениями и отражениями. В результате получается удобная для пользователей, удобная для IT и безопасная среда для аналитики и принятия решений на основе AI.
Credal: комплексное решение для безопасного корпоративного развертывания GenAI
С точки зрения пользователя это означает, что он может использовать огромный объем данных, задействуя мощь GenAI без необходимости владеть программированием или сложными алгоритмами. Credal также позволяет пользователям создавать агентов и экспертов на основе своих данных, обеспечивая максимальную пользу от технологии GenAI.
Для администраторов и IT-команд Credal предлагает инструменты наблюдаемости и управления. Эти инструменты включают функции для обеспечения соблюдения политик допустимого использования, аудиторских журналов, логирования, каталогизации данных и управления данными — все это критически важные элементы для эффективного развертывания GenAI в крупных предприятиях. Chat UI и API Credal реализуют важные функции, такие как редактирование PII, аудиторское логирование и контроль доступа к данным, предоставляя прагматичное решение для интеграции LLM с корпоративными данными.
Необходимость в векторной базе данных, готовой к production
Компания столкнулась со значительными техническими проблемами до того, как Credal интегрировала Milvus в свою платформу. Потребность в векторной базе данных изначально возникла, когда Credal стремилась внедрить решение для семантического поиска, размещенное у стороннего провайдера. Это привело к пониманию, что векторные базы данных могут иметь более широкое применение, включая возможность для пользователей искать свои данные и создавать пользовательские рабочие процессы внутри платформы Credal.
Экспериментируя с векторным поиском, они обнаружили, что многие решения, доступные на рынке, подходят для прототипирования и proof of concept, но нуждаются в большей надежности для внедрений корпоративного масштаба. Необходимость в масштабируемой векторной базе данных, готовой к production, стала очевидной.
Выбор Milvus: осознанное решение
Чтобы удовлетворить свои потребности в векторной базе данных, Credal начала процесс оценки. Их критерии включали самостоятельное размещение, активную разработку, масштабируемость и поддержку сообщества. В этой оценке Milvus стала явным победителем. Credal была впечатлена активной разработкой Milvus и уровнем вовлеченности сообщества. Звезды GitHub Milvus указывали на процветающее open-source-сообщество, что было хорошим признаком долгосрочной надежности и поддержки. Milvus также предлагала официальный Helm chart для развертывания в Kubernetes, демонстрируя приверженность удобным для пользователя путям установки и развертывания.
Доступность гибридного поиска, объединяющего векторный поиск с фильтрацией по метаданным, стала еще одним ключевым фактором, повлиявшим на решение Credal. Эта функция, как оказалось, заметно отсутствовала в других рассмотренных ими вариантах.
Масштабируемость и разделение хранения и вычислений
Credal осознала важность масштабируемости и разделения ресурсов хранения и вычислений. Архитектура Milvus, в которой хранение и вычисления намеренно разделены, обеспечила необходимую им гибкость и масштабируемость. В отличие от одноузловых решений, архитектура Milvus позволила более гибко реагировать на меняющиеся требования.
Сооснователь и CTO Credal, Джек Фишер, подчеркивает значимость этого архитектурного решения: «Особенно когда мы только начинали, мы точно не знали, какими будут наши паттерны доступа. По мере развития нашего продукта наши паттерны доступа определенно меняются... Поэтому мы были рады увидеть разделение между хранением и вычислениями. Мы были уверены, что сможем заставить это работать на нас, независимо от того, в каком направлении мы будем развивать продукт».
Milvus: очевидный выбор для потребностей Credal в векторной базе данных
Milvus превзошел все рассмотренные open-source альтернативы. Оценка Credal показала, что только одна платформа соответствовала всем их требованиям к векторной базе данных. Способность Milvus поддерживать различные сценарии использования и его техническая мощь сделали его идеальным выбором для миссии Credal.
«К счастью для нас, нам не пришлось выбирать наименее плохой вариант, а тот, который действительно превосходно справлялся со всем, что мы хотели», — говорит Фишер. «Если взять середину диаграммы Венна с восемью кругами, и все они пересекаются, я вижу, что в центре есть только один вариант, и это Milvus, так что Milvus соответствовал всему, а ничто другое не соответствовало всему. Поэтому, если вам важны только некоторые из этих аспектов, вы могли бы выбрать другие варианты, но если вы хотите, чтобы работало все, это должен быть Milvus».
Интеграция Milvus в экосистему приложений Credal оказалась переломным моментом. Благодаря текстовым эмбеддингам Milvus Credal может эффективно обрабатывать и сжимать большие объемы контента, делая их доступными для продвинутых LLM-приложений. Универсальность текстовых эмбеддингов значительно расширяет возможности Credal в области поиска, фильтрации и курирования данных.
Архитектура Credal сосредоточена не только на передовых технологиях, но и на высококачественных интеграциях данных. Они уделяют приоритетное внимание интерпретации данных из исходных систем в их проприетарном формате и обеспечивают эффективную передачу этих данных моделям GenAI. Такой тщательный подход отличает Credal от типичной разработки демоверсий и позволяет им предоставлять точные и интуитивно понятные результаты.
Преимущества и планы на будущее
Milvus позволяет Credal предлагать своим клиентам масштабируемое и простое в использовании решение. Это устраняет необходимость в значительных инженерных усилиях с нуля и снижает операционные накладные расходы. Масштабируемость и надежность Milvus гарантируют, что платформа сможет расти вместе с Credal по мере развития ее продукта.
Что касается планов на будущее, Credal рассматривает использование Zilliz Cloud для своих облачных клиентов. Безопасность, управление и эффективная функциональность GenAI занимают центральное место в их дорожной карте. Credal в основном обслуживает предприятия с численностью от 1 000 до 5 000 сотрудников и стремится обеспечить бесперебойную работу GenAI в реальных корпоративных сценариях. С Milvus в основе Credal готова стать лидером в предоставлении «полезного ИИ, сделанного безопасным» компаниям по всему миру.
Читать далее
Data Deduplication at Trillion Scale: How to Solve the Biggest Bottleneck of LLM Training
Explore how MinHash LSH and Milvus handle data deduplication at the trillion-scale level, solving key bottlenecks in LLM training for improved AI model performance.
Cosmos World Foundation Model Platform for Physical AI
NVIDIA's Cosmos platform enables safe, digital twin training of GenAI models for physical applications, overcoming data scarcity and safety challenges.
Milvus WebUI: A Visual Management Tool for Your Vector Database
Explore Milvus WebUI to monitor, manage, and optimize your vector database with real-time insights, performance tracking, and system health monitoring.