Desbloquea la búsqueda impulsada por IA con Fivetran y Milvus
Este blog se publicó originalmente en Fivetran.
Fivetran ahora admite la base de datos vectorial Milvus como destino, lo que facilita la incorporación de cada fuente de datos para RAG y búsqueda impulsada por IA.
Los datos son la columna vertebral de la IA, y la conectividad fluida es clave para desbloquear todo su potencial. Los datos no estructurados ahora representan alrededor del 80% de todos los datos y tienen un valor inmenso para aplicaciones de IA como la búsqueda empresarial y los chatbots impulsados por generación aumentada por recuperación (RAG). A medida que crecen los volúmenes de datos, las bases de datos vectoriales escalables como Milvus se vuelven esenciales para almacenar y buscar de manera eficiente en la información de una organización.
Los datos para la búsqueda se almacenan en varios lugares, como almacenamiento en la nube, aplicaciones empresariales y bases de datos relacionales. El enfoque típico es unir estas fuentes en un único repositorio, convertir datos no estructurados como texto en incrustaciones vectoriales y almacenarlas en una base de datos vectorial con metadatos. Este enfoque permite que las aplicaciones de IA accedan a una amplia variedad de conjuntos de datos y se adapten a los cambios en las fuentes de datos.
El destino Milvus de Fivetran simplifica este proceso y elimina la necesidad de crear, mantener y supervisar complejas canalizaciones de datos. Con solo unos pocos clics, los ingenieros de datos pueden crear soluciones de búsqueda de IA rápidas, eficientes y escalables, lo que les permite centrarse en crear valor empresarial en lugar de gestionar complejidades de infraestructura.
Cómo configurar el destino Milvus de Fivetran
Cómo Milvus y Fivetran construyen una base para la IA
Milvus es una base de datos vectorial de código abierto y alto rendimiento creada para escalar. Un único clúster de Milvus implementado en Kubernetes puede gestionar miles de millones de vectores. Zilliz Cloud es una versión totalmente gestionada de Milvus, que añade preparación empresarial como RBAC y SOC2, y un rendimiento aún mejor gracias al motor propietario de búsqueda vectorial Cardinal. Milvus y Zilliz Cloud se utilizan ampliamente en aplicaciones modernas de IA como la búsqueda semántica, RAG y la búsqueda multimodal.
Uno de los desafíos al crear soluciones de búsqueda impulsadas por IA es ingerir datos de diversas fuentes en Milvus para que sean buscables semánticamente en tiempo real. Milvus Destination de Fivetran simplifica la ingesta de datos desde cualquier fuente hacia Milvus, lo que permite a las empresas obtener información sin la complicación de gestionar el movimiento de datos. Al utilizar las capacidades avanzadas de búsqueda vectorial de Milvus y este flujo de datos optimizado, los desarrolladores pueden crear rápidamente aplicaciones de IA que aprovechen por completo las diversas fuentes de datos de su organización.
Con el destino Milvus de Fivetran, puedes:
Ingerir datos desde más de 600 fuentes mediante conectores de Fivetran en Milvus/Zilliz.
Optimizar la extracción, carga y vectorización de datos no estructurados con modelos de incrustaciones de OpenAI.
Habilitar el filtrado de metadatos en la búsqueda vectorial mediante la propagación de columnas de datos estructurados.
Crear búsquedas casi en tiempo real con sincronización incremental.
Partner SDK de Fivetran: Creación de conectores y destinos personalizados
Partner SDK de Fivetran permite a los proveedores tecnológicos crear conectores de origen o destino para sus servicios e integrarse sin problemas con la plataforma automatizada de movimiento de datos de Fivetran. Los beneficios clave del SDK incluyen:
Independiente del lenguaje: El SDK basado en gRPC permite que los conectores de origen y destino se escriban en cualquier lenguaje de programación compatible, ofreciendo flexibilidad a los desarrolladores para reutilizar o escribir código nuevo en el lenguaje de su elección.
Complejidad reducida: Con plantillas y un entorno de prueba local, los proveedores externos pueden probar e implementar conectores fácilmente.
Nuevas oportunidades para plataformas de datos: El SDK abre nuevos canales para la activación de productos, lo que permite que los almacenes de datos, lagos de datos y plataformas de almacenamiento accedan fácilmente a los más de 600 conectores de Fivetran.
Zilliz, la empresa detrás de Milvus, creó una integración con Fivetran mediante la asignación precisa de sus operaciones de base de datos vectorial al modelo de actualización relacional de Fivetran. También optimizaron soluciones de terceros, como el servicio de embeddings de OpenAI, para generar vectores durante la ingesta.
Búsqueda impulsada por IA en acción
Los datos no estructurados, aunque a menudo son los más valiosos, también son los más difíciles de gestionar. Con Fivetran y Milvus, las empresas pueden crear rápida y fácilmente herramientas de búsqueda impulsadas por IA para extraer insights de sus conjuntos de datos más ricos.
Los conectores totalmente gestionados de Fivetran mueven datos de forma automática, fiable y segura desde las principales aplicaciones empresariales con soporte integrado para la migración de esquemas. Por ejemplo, imagina una empresa que quiere crear una herramienta de búsqueda interna para mensajes de Slack. Usando el conector de Slack de Fivetran, los datos primero se replican y almacenan en un formato normalizado en un data warehouse o data lakehouse como Snowflake. Luego, estos datos pueden desnormalizarse, concatenarse, dividirse en fragmentos y transformarse, tras lo cual pueden conectarse a Milvus usando el conector de origen de Snowflake de Fivetran. Con solo almacenar los fragmentos de texto en una columna llamada original_text, el destino Milvus llama automáticamente al servicio de embeddings de OpenAI para generar vectores a partir del texto. Los vectores se almacenan en Milvus junto con todas las demás etiquetas como campos escalares y se utilizan conjuntamente para una búsqueda semántica eficiente basada en similitud vectorial con filtrado de metadatos.
Figura: Cómo crear una canalización de búsqueda para fuentes de datos con la integración de Fivetran y Milvus
Conclusión
El nuevo destino Milvus de Fivetran amplía aún más el panorama de datos en IA para hacer que cada fuente de datos sea semánticamente buscable. Al ingerir los datos de origen desde un conjunto diverso de bases de datos/warehouses y aplicaciones empresariales hacia la base de datos vectorial Milvus, esta integración facilita el desarrollo de flujos de trabajo de IA. Puedes empezar a usar el destino Milvus de Fivetran siguiendo las instrucciones de configuración.
Para obtener más información sobre esta integración y ver cómo crear una búsqueda en tiempo real en acción, únete a nuestro webinar de lanzamiento de producto el 26 de septiembre de 2024. Repasaremos las funciones de esta integración y demostraremos cómo usar este conector para crear un chatbot RAG para incidencias de GitHub!
Jiang ChenJiang is currently Director of Technical GTM at Zilliz. He has years of experience in data infrastructures and cloud security. Before joining Zilliz, he had previously served as a tech lead and product manager at Google, where he led the development of web-scale semantic understanding and search indexing that powers innovative search products such as short video search. He has extensive industry experience handling massive unstructured data and multimedia content retrieval. He has also worked on cloud authorization systems and research on data privacy technologies. Jiang holds a Master's degree in Computer Science from the University of Michigan.
Charles WangLead Product Evangelist, Fivetran
Sigue leyendo
A Developer's Guide to Exploring Milvus 2.6 Features on Zilliz Cloud
Milvus 2.6 marks a shift from “vector search + glue code” to a more advanced retrieval engine, and it is now Generally Available (GA) on Zilliz Cloud (a managed Milvus service).
Introducing Zilliz MCP Server: Natural Language Access to Your Vector Database
Developers can easily manage and query vector databases with natural language via Zilliz MCP Server in AI-native environments.
Democratizing AI: Making Vector Search Powerful and Affordable
Zilliz democratizes AI vector search with Milvus 2.6 and Zilliz Cloud for powerful, affordable scalability, cutting costs in infrastructure, operations, and development.