Databricks & Spark Connectors
Leverage Databricks' powerful data processing alongside Milvus & Zilliz Cloud's vector index and search with no custom code required
Utilice esta integración de forma gratuita
Combinación de las capacidades de procesamiento de datos y búsqueda vectorial de Milvus & Zilliz Cloud
Databricks es una plataforma analítica unificada que simplifica las tareas de procesamiento de datos y aprendizaje automático. Se basa en Apache Spark, un sistema informático distribuido de código abierto. Proporciona un entorno de colaboración para que ingenieros de datos, científicos de datos y analistas colaboren en proyectos de big data. Databricks elimina las complejidades de la gestión de clústeres Spark, permitiendo a los usuarios centrarse en el análisis de datos y las tareas de aprendizaje automático. Ofrece cuadernos interactivos, gestión automatizada de clústeres y soporte integrado para diversas fuentes de datos y bibliotecas de aprendizaje automático. En general, Databricks mejora la usabilidad y escalabilidad de Spark, facilitando a las organizaciones la obtención de información a partir de grandes conjuntos de datos.
El conector Spark Milvus Connector crea sinergias entre Apache Spark y Milvus, permitiendo a los usuarios aprovechar las capacidades de procesamiento de Spark junto con las funcionalidades de almacenamiento y consulta de datos vectoriales de Milvus. Esta integración desbloquea una serie de valiosas aplicaciones, como la transferencia de datos sin fisuras y la integración entre Milvus y diferentes sistemas de almacenamiento o bases de datos, el procesamiento y análisis de datos agilizados dentro de Milvus, y las operaciones de procesamiento vectorial eficientes aprovechando Spark MLlib y otras bibliotecas de IA.
Este mismo conector puede utilizarse entre Zilliz Cloud y Databricks, simplificando la transición de los datos del procesamiento offline al online, importante para la búsqueda impulsada por IA.
Los aspectos más destacados de la integración incluyen:
- Permitir que los trabajos Spark generadores de vectores carguen datos directamente en Milvus con una simple llamada a una función de utilidad, eliminando la necesidad de código glue personalizado o trabajos Spark adicionales.
- Insertar directamente registros Spark DataFrame en Milvus utilizando el conector Spark-Milvus agiliza la integración, eliminando la necesidad de código de establecimiento de conexión y llamadas API.
Cómo funciona
Sumerjámonos en el proceso de transferencia de datos de Spark a Milvus. Tradicionalmente, esta tarea requería un complejo código backend glue. Sin embargo, con el conector Spark-Milvus, se simplifica en una sola llamada a una función dentro de su aplicación Spark.
Flujo de datos simplificado con el conector Databricks.png](https://assets.zilliz.com/Streamlined_Dataflow_with_the_Databricks_Connector_52b6554a4e.png)
Con el conector Spark/Databricks, puede importar datos a Zilliz Cloud (o Milvus) de dos maneras: streaming para actualizaciones en tiempo real y batch para grandes conjuntos de datos. Consulta nuestros cuadernos de ejemplo para obtener una guía paso a paso sobre cómo utilizarlo eficazmente.
Aprenda a utilizar los conectores Sparks y Databricks
Echa un vistazo a estos recursos que te ayudarán a empezar a utilizar Zilliz Cloud y los conectores de Spark y Databricks
Conector Spark Milvus
- Documentación](https://milvus.io/docs/integrate_with_spark.md)
- Github Repo](https://github.com/zilliztech/spark-milvus)
Conector Databricks
- Cuaderno de ejemplo](https://zilliz.com/databricks_zilliz_demos)