Databricks & Spark Connectors
Leverage Databricks' powerful data processing alongside Milvus & Zilliz Cloud's vector index and search with no custom code required
Используйте эту интеграцию бесплатно
Сочетание возможностей обработки данных и векторного поиска в Milvus & Zilliz Cloud
Databricks - это унифицированная аналитическая платформа, упрощающая обработку данных и задачи машинного обучения. Она построена на базе Apache Spark, системы распределенных вычислений с открытым исходным кодом. Она представляет собой среду для совместной работы инженеров по обработке данных, специалистов по анализу данных и аналитиков над проектами, связанными с большими данными. Databricks абстрагируется от сложностей управления кластерами Spark, позволяя пользователям сосредоточиться на анализе данных и задачах машинного обучения. Они предлагают интерактивные блокноты, автоматическое управление кластерами и встроенную поддержку различных источников данных и библиотек машинного обучения. В целом Databricks повышает удобство использования и масштабируемость Spark, облегчая организациям извлечение информации из больших массивов данных.
Spark Milvus Connector создает синергию между Apache Spark и Milvus, позволяя пользователям использовать возможности обработки данных Spark вместе с функциями хранения векторных данных и запросов Milvus. Эта интеграция открывает целый ряд ценных приложений, таких как бесшовная передача данных и интеграция между Milvus и различными системами хранения или базами данных, оптимизированная обработка и анализ данных внутри Milvus, а также эффективные операции векторной обработки с использованием Spark MLlib и других библиотек искусственного интеллекта.
Этот же коннектор можно использовать между Zilliz Cloud и Databricks, упрощая переход данных из автономной обработки в онлайн, что важно для поиска, основанного на искусственном интеллекте.
Ключевые моменты интеграции включают:
- Возможность загрузки данных в Milvus с помощью простого вызова служебной функции для генерирующих вектор заданий Spark, что устраняет необходимость в использовании пользовательского кода клея или дополнительных заданий Spark.
- Прямая вставка записей Spark DataFrame в Milvus с помощью коннектора Spark-Milvus упрощает интеграцию, устраняя необходимость в коде установления соединения и вызовах API.
Как это работает
Давайте погрузимся в процесс передачи данных из Spark в Milvus. Традиционно для выполнения этой задачи требовался сложный код для склеивания бэкэнда. Однако с помощью коннектора Spark-Milvus эта задача упрощается до одного вызова функции в вашем Spark-приложении.
Streamlined Dataflow with the Databricks Connector.png
С помощью коннектора Spark/Databricks Connector вы можете импортировать данные в Zilliz Cloud (или Milvus) двумя способами: потоковым для обновлений в реальном времени и пакетным для больших наборов данных. Ознакомьтесь с нашими примерными блокнотами, чтобы получить пошаговое руководство по эффективному использованию этого коннектора.
Узнайте, как использовать коннекторы Sparks и Databricks
Ознакомьтесь с этими ресурсами, которые помогут вам начать работу с Zilliz Cloud, коннекторами Spark и Databricks.
Spark Milvus Connector
Databricks Connector