Откройте возможности поиска на базе ИИ с Fivetran и Milvus
Этот блог изначально был опубликован на Fivetran.
Fivetran теперь поддерживает векторную базу данных Milvus в качестве назначения, что упрощает подключение любого источника данных для RAG и поиска на базе ИИ.
Данные — основа ИИ, а бесшовная связность — ключ к раскрытию их полного потенциала. Неструктурированные данные теперь составляют около 80% всех данных и обладают огромной ценностью для ИИ-приложений, таких как корпоративный поиск и чат-боты, работающие на основе генерации с дополнением извлечёнными данными (RAG). По мере роста объёмов данных масштабируемые векторные базы данных такие как Milvus становятся необходимыми для эффективного хранения и поиска по информации организации.
Данные для поиска хранятся в различных местах, таких как облачные хранилища, бизнес-приложения и реляционные базы данных. Типичный подход заключается в объединении этих источников в единое хранилище, преобразовании неструктурированных данных, таких как текст, в векторные эмбеддинги и сохранении их в векторной базе данных вместе с метаданными. Такой подход позволяет ИИ-приложениям получать доступ к широкому разнообразию наборов данных и адаптироваться к изменениям в источниках данных.
Назначение Milvus в Fivetran упрощает этот процесс и устраняет необходимость создавать, поддерживать и отслеживать сложные конвейеры данных. Всего за несколько кликов инженеры данных могут создавать быстрые, эффективные и масштабируемые решения для ИИ-поиска, освобождая время для сосредоточения на создании бизнес-ценности вместо управления сложностями инфраструктуры.
Как настроить назначение Fivetran Milvus
Как Milvus и Fivetran создают основу для ИИ
Milvus — это высокопроизводительная векторная база данных с открытым исходным кодом, созданная для масштабирования. Один кластер Milvus, развернутый в Kubernetes, может обрабатывать миллиарды векторов. Zilliz Cloud — это полностью управляемая версия Milvus, добавляющая готовность к использованию на уровне предприятия, такую как RBAC и SOC2, а также еще более высокую производительность благодаря проприетарному векторному поисковому движку Cardinal. Milvus и Zilliz Cloud широко используются в современных AI-приложениях, таких как семантический поиск, RAG и мультимодальный поиск.
Одна из сложностей при создании поисковых решений на базе AI — загрузка данных из различных источников в Milvus, чтобы сделать их доступными для семантического поиска в реальном времени. Milvus Destination от Fivetran упрощает загрузку данных из любого источника в Milvus, позволяя компаниям получать инсайты без необходимости управлять перемещением данных. Используя расширенные возможности Milvus для векторного поиска и этот оптимизированный поток данных, разработчики могут быстро создавать AI-приложения, которые в полной мере используют разнообразные источники данных своей организации.
С назначением Fivetran Milvus вы можете:
Загружать данные из более чем 600 источников через коннекторы Fivetran в Milvus/Zilliz.
Оптимизировать извлечение, загрузку и векторизацию неструктурированных данных с помощью embedding-моделей OpenAI.
Включать фильтрацию метаданных в векторном поиске путем передачи столбцов структурированных данных.
Создавать поиск почти в реальном времени с инкрементальной синхронизацией.
Partner SDK от Fivetran: создание пользовательских коннекторов и назначений
Fivetran Partner SDK дает технологическим поставщикам возможность создавать исходные или целевые коннекторы для своих сервисов и бесшовно интегрироваться с автоматизированной платформой перемещения данных Fivetran. Ключевые преимущества SDK включают:
Независимость от языка: SDK на базе gRPC позволяет писать исходные и целевые коннекторы на любом поддерживаемом языке программирования, предоставляя разработчикам гибкость для повторного использования или написания нового кода на выбранном ими языке.
Снижение сложности: Благодаря шаблонам и локальной тестовой среде сторонние поставщики могут легко тестировать и развертывать коннекторы.
Новые возможности для data platforms: SDK открывает новые каналы для активации продукта, позволяя хранилищам данных, озерам данных и платформам хранения легко получать доступ к более чем 600 коннекторам Fivetran.
Zilliz, компания, стоящая за Milvus, создала интеграцию с Fivetran, тесно сопоставив операции своей векторной базы данных с реляционной моделью обновлений Fivetran. Они также оптимизировали сторонние решения, такие как сервис эмбеддингов OpenAI, для генерации векторов во время загрузки.
Поиск на базе ИИ в действии
Неструктурированные данные, хотя часто и являются самыми ценными, также наиболее сложны в управлении. С Fivetran и Milvus компании могут быстро и легко создавать инструменты поиска на базе ИИ, чтобы извлекать инсайты из своих самых богатых наборов данных.
Полностью управляемые коннекторы Fivetran автоматически, надежно и безопасно перемещают данные из основных бизнес-приложений со встроенной поддержкой миграции схемы. Например, представьте компанию, которая хочет создать внутренний инструмент поиска по сообщениям Slack. Используя коннектор Slack от Fivetran, данные сначала реплицируются и сохраняются в нормализованном формате в хранилище данных или data lakehouse, таком как Snowflake. Затем эти данные могут быть денормализованы, объединены, разбиты на фрагменты и преобразованы, после чего их можно подключить к Milvus с помощью исходного коннектора Snowflake от Fivetran. Достаточно просто сохранить текстовые фрагменты в столбце с именем original_text, и целевое хранилище Milvus автоматически вызовет сервис эмбеддингов OpenAI для генерации векторов из текста. Векторы хранятся в Milvus вместе со всеми другими метками как скалярные поля и используются совместно для эффективного семантического поиска на основе векторного сходства с фильтрацией по метаданным.
Рисунок — как создать поисковый конвейер для источников данных с интеграцией Fivetran и Milvus
Заключение
Недавно представленное целевое хранилище Milvus от Fivetran еще больше расширяет ландшафт данных в ИИ, позволяя сделать каждый источник данных доступным для семантического поиска. Загружая исходные данные из разнообразного набора баз данных/хранилищ и бизнес-приложений в векторную базу данных Milvus, эта интеграция упрощает разработку рабочих процессов ИИ. Вы можете начать использовать целевое хранилище Milvus от Fivetran, следуя инструкциям по настройке.
Чтобы узнать больше об этой интеграции и увидеть, как создать поиск в реальном времени на практике, присоединяйтесь к нашему вебинару по запуску продукта 26 сентября 2024 года. Мы рассмотрим возможности этой интеграции и продемонстрируем, как использовать этот коннектор для создания RAG-чатбота для issues GitHub!
Jiang ChenJiang is currently Director of Technical GTM at Zilliz. He has years of experience in data infrastructures and cloud security. Before joining Zilliz, he had previously served as a tech lead and product manager at Google, where he led the development of web-scale semantic understanding and search indexing that powers innovative search products such as short video search. He has extensive industry experience handling massive unstructured data and multimedia content retrieval. He has also worked on cloud authorization systems and research on data privacy technologies. Jiang holds a Master's degree in Computer Science from the University of Michigan.
Charles WangLead Product Evangelist, Fivetran
Читать далее
How to Build an Enterprise-Ready RAG Pipeline on AWS with Bedrock, Zilliz Cloud, and LangChain
Build production-ready enterprise RAG with AWS Bedrock, Nova models, Zilliz Cloud, and LangChain. Complete tutorial with deployable code.
Data Deduplication at Trillion Scale: How to Solve the Biggest Bottleneck of LLM Training
Explore how MinHash LSH and Milvus handle data deduplication at the trillion-scale level, solving key bottlenecks in LLM training for improved AI model performance.
How to Use Anthropic MCP Server with Milvus
MCP + Milvus: Streamline AI agent development with standardized data access, eliminating integration hassles while enhancing context and flexibility.