Airbyte
Real-time data ingestion for your RAG applications with Airbyte and Zilliz Cloud or Milvus vector database
Используйте эту интеграцию бесплатноЧто такое Airbyte?
Airbyte - это инфраструктура перемещения данных с открытым исходным кодом для построения конвейеров извлечения и загрузки данных (EL). В то время как другие платформы для построения конвейеров данных могут похвастаться множеством интеграций с такими известными источниками, как Stripe и Salesforce, им часто приходится уделять больше внимания интеграционным потребностям более мелких сервисов.
Airbyte восполняет этот важнейший пробел, разрабатывая и поддерживая коннекторы и создавая активное сообщество пользователей, которые могут использовать пользовательские коннекторы друг друга. Обычно компании создают свои собственные коннекторы для поддержки своих уникальных приложений. Модель Airbyte с открытым исходным кодом поощряет сотрудничество и взаимную поддержку между организациями для поддержки этих коннекторов.
Преимущества интеграции Airbyte и Milvus/Zilliz
Milvus и Zilliz Cloud (управляемый Milvus) интегрировались с Airbyte, предоставив Milvus destination connector, который позволяет пользователям извлекать неструктурированные данные из различных подключенных источников, кодировать их в векторные вкрапления с помощью предварительно обученной модели вкрапления и затем вводить их в Milvus или Zilliz Cloud для эффективного хранения и поиска сходства.
Обеспечивая удобство передачи и обработки данных, Airbyte открывает совершенно новые возможности для приложений, работающих в режиме реального времени и основанных на искусственном интеллекте. Например, интеграция Milvus и Zilliz Cloud позволяет создавать семантический поиск в реальном времени в таких источниках данных, как системы поддержки клиентов, что позволяет системе мгновенно предоставлять пользователям необходимую информацию. В результате значительно снижается зависимость от агентов поддержки, что приводит к значительному улучшению общего впечатления пользователей. Эта интеграция также может быть использована для создания систем Retrieval Augmented Generation (RAG), систем рекомендаций товаров, генеративных чат-ботов и других приложений GenAI.
Ключевые преимущества интеграции Airbyte и Milvus/Zilliz:
Получите связь с обширными источниками данных: Airbyte соединяется с сотнями популярных источников данных, включая базы данных, хранилища данных и SaaS-продукты. Коннектор назначения Milvus позволяет подключиться к этому обширному массиву данных и обеспечивает беспрепятственный поток данных для улучшения ваших проектов, основанных на данных, или приложений GenAI.
Эффективная передача данных: Airbyte беспрепятственно передает данные из различных источников в Milvus/Zilliz, обеспечивая расчет векторных вложений "на лету" и упрощая обработку данных.
Упрощенный рабочий процесс ИИ: Эта интеграция помогает загружать неструктурированные данные непосредственно в векторную базу данных Milvus/Zilliz, обрабатывая данные, их фрагментацию, форматирование, векторизацию, индексирование, хранение и поиск по сходству.
Усовершенствованная поисковая функциональность: Эта интеграция расширяет возможности семантического поиска в векторных базах данных. Используя векторные вкрапления, система может автоматически определять и представлять тесно связанный контент на основе семантического сходства, что неоценимо для приложений, требующих эффективного поиска в неструктурированных данных.
Простой процесс установки: Установка кластера Milvus и настройка Airbyte для синхронизации данных не представляет сложности, как и создание приложений с использованием Streamlit и OpenAI embedding API при желании.
Как работает интеграция Airbyte и Zilliz/Milvus
Коннектор назначения Milvus выполняет следующие задачи:
- Обработка - разбиение отдельных записей на фрагменты, чтобы они поместились в контекстное окно, и принятие решения о том, какие поля использовать в качестве контекста, а какие - в качестве дополнительных метаданных.
- Встраивание - преобразование фрагментов в векторные вкрапления с помощью предварительно обученной модели встраивания. В настоящее время наша интеграция поддерживает модель OpenAI's text-embedding-ada-002 и модель Cohere's embed-english-light-v2.0).
- Индексирование - хранение векторов в Milvus или Zilliz Cloud для поиска по сходству.
На схеме ниже показана совместная работа Airbyte и Zilliz Cloud:
Как работают вместе Airbyte и Zilliz Cloud
Как использовать Airbyte с Zilliz/Milvus