KI-gestützte Suche mit Fivetran und Milvus freischalten
Dieser Blog wurde ursprünglich auf Fivetran veröffentlicht.
Fivetran unterstützt jetzt die Milvus Vektordatenbank als Ziel, wodurch es einfacher wird, jede Datenquelle für RAG und KI-gestützte Suche einzubinden.
Daten sind das Rückgrat der KI, und nahtlose Konnektivität ist der Schlüssel, um ihr volles Potenzial auszuschöpfen. Unstrukturierte Daten machen inzwischen etwa 80 % aller Daten aus und besitzen einen enormen Wert für KI-Anwendungen wie Unternehmenssuche und Chatbots, die durch Retrieval-Augmented Generation (RAG) unterstützt werden. Mit wachsendem Datenvolumen werden skalierbare Vektordatenbanken wie Milvus unverzichtbar, um Informationen eines Unternehmens effizient zu speichern und zu durchsuchen.
Daten für die Suche werden an verschiedenen Orten gespeichert, etwa in Cloud-Speichern, Geschäftsanwendungen und relationalen Datenbanken. Der typische Ansatz besteht darin, diese Quellen in einem einzigen Repository zusammenzuführen, unstrukturierte Daten wie Text in Vektor-Embeddings umzuwandeln und sie zusammen mit Metadaten in einer Vektordatenbank zu speichern. Dieser Ansatz ermöglicht es KI-Anwendungen, auf eine große Vielfalt von Datensätzen zuzugreifen und sich an Änderungen in Datenquellen anzupassen.
Fivetrans Milvus-Ziel vereinfacht diesen Prozess und macht es überflüssig, komplexe Datenpipelines zu erstellen, zu warten und zu überwachen. Mit nur wenigen Klicks können Data Engineers schnelle, effiziente und skalierbare KI-Suchlösungen erstellen, sodass sie sich darauf konzentrieren können, geschäftlichen Mehrwert zu schaffen, statt Infrastrukturkomplexitäten zu verwalten.
So richten Sie das Fivetran Milvus-Ziel ein
Wie Milvus und Fivetran eine Grundlage für KI schaffen
Milvus ist eine leistungsstarke Open-Source-Vektordatenbank, die für Skalierbarkeit entwickelt wurde. Ein einzelner Milvus-Cluster, der auf Kubernetes bereitgestellt wird, kann Milliarden von Vektoren verarbeiten. Zilliz Cloud ist eine vollständig verwaltete Version von Milvus, die Enterprise-Fähigkeit wie RBAC und SOC2 sowie dank der proprietären Cardinal vector search engine eine noch bessere Leistung bietet. Milvus und Zilliz Cloud werden häufig in modernen KI-Anwendungen wie semantischer Suche, RAG und multimodaler Suche eingesetzt.
Eine der Herausforderungen beim Aufbau KI-gestützter Suchlösungen besteht darin, Daten aus verschiedenen Quellen in Milvus aufzunehmen, um sie in Echtzeit semantisch durchsuchbar zu machen. Fivetrans Milvus Destination vereinfacht die Datenaufnahme aus jeder Quelle in Milvus und ermöglicht es Unternehmen, Erkenntnisse zu gewinnen, ohne sich mit der Verwaltung von Datenbewegungen befassen zu müssen. Durch die Nutzung der fortschrittlichen Vektorsuch-Funktionen von Milvus und dieses optimierten Datenflusses können Entwickler schnell KI-Anwendungen erstellen, die die vielfältigen Datenquellen ihrer Organisation vollständig nutzen.
Mit der Fivetran Milvus Destination können Sie:
Daten aus über 600 Quellen über Fivetran-Konnektoren in Milvus/Zilliz aufnehmen.
Die Extraktion, das Laden und die Vektorisierung unstrukturierter Daten mit OpenAI-Embedding-Modellen optimieren.
Metadatenfilterung in der Vektorsuche ermöglichen, indem strukturierte Datenspalten weitergegeben werden.
Nahezu Echtzeitsuche mit inkrementeller Synchronisierung aufbauen.
Fivetrans Partner SDK: Erstellen benutzerdefinierter Konnektoren und Destinations
Fivetrans Partner SDK ermöglicht Technologieanbietern, Quell- oder Zielkonnektoren für ihre Dienste zu erstellen und sich nahtlos in Fivetrans automatisierte Datenbewegungsplattform zu integrieren. Zu den wichtigsten Vorteilen des SDK gehören:
Sprachunabhängig: Das gRPC-basierte SDK ermöglicht es, Quell- und Zielkonnektoren in jeder unterstützten Programmiersprache zu schreiben, und bietet Entwicklern die Flexibilität, vorhandenen Code wiederzuverwenden oder neuen Code in der Sprache ihrer Wahl zu schreiben.
Reduzierte Komplexität: Mit Vorlagen und einer lokalen Testumgebung können Drittanbieter Konnektoren einfach testen und bereitstellen.
Neue Möglichkeiten für Datenplattformen: Das SDK eröffnet neue Kanäle für die Produktaktivierung und ermöglicht es Data Warehouses, Data Lakes und Speicherplattformen, einfach auf Fivetrans über 600 Konnektoren zuzugreifen.
Zilliz, das Unternehmen hinter Milvus, hat eine Integration mit Fivetran entwickelt, indem es seine Vektordatenbank-Operationen eng an Fivetrans relationales Aktualisierungsmodell angelehnt hat. Außerdem wurden Drittanbieterlösungen wie der OpenAI-Embedding-Service optimiert, um während der Ingestion Vektoren zu erzeugen.
KI-gestützte Suche in Aktion
Unstrukturierte Daten sind zwar oft die wertvollsten, aber auch am schwierigsten zu verwalten. Mit Fivetran und Milvus können Unternehmen schnell und einfach KI-gestützte Suchtools erstellen, um Erkenntnisse aus ihren umfangreichsten Datensätzen zu gewinnen.
Die vollständig verwalteten Connectors von Fivetran verschieben Daten automatisch, zuverlässig und sicher aus wichtigen Geschäftsanwendungen mit integrierter Unterstützung für Schema-Migration. Stellen Sie sich zum Beispiel ein Unternehmen vor, das ein internes Suchtool für Slack-Nachrichten erstellen möchte. Mithilfe des Slack-Connectors von Fivetran werden die Daten zunächst repliziert und in einem normalisierten Format in einem Data Warehouse oder Data Lakehouse wie Snowflake gespeichert. Diese Daten können anschließend denormalisiert, verkettet, in Chunks aufgeteilt und transformiert werden; danach können sie mithilfe des Snowflake-Source-Connectors von Fivetran mit Milvus verbunden werden. Indem die Text-Chunks einfach in einer Spalte namens original_text gespeichert werden, ruft die Milvus-Destination automatisch den OpenAI-Embedding-Service auf, um Vektoren aus dem Text zu erzeugen. Die Vektoren werden in Milvus zusammen mit allen anderen Labels als skalare Felder gespeichert und gemeinsam für eine effiziente semantische Suche auf Basis von Vektorähnlichkeit mit Metadatenfilterung verwendet.
Abbildung: So erstellen Sie eine Suchpipeline für Datenquellen mit der Fivetran- und Milvus-Integration
Fazit
Die neu eingeführte Milvus-Destination von Fivetran erweitert die Datenlandschaft im Bereich KI weiter, um jede Datenquelle semantisch durchsuchbar zu machen. Durch die Ingestion der Quelldaten aus einer vielfältigen Auswahl an Datenbanken/Warehouses und Geschäftsanwendungen in die Milvus-Vektordatenbank erleichtert diese Integration die Entwicklung von KI-Workflows. Sie können die Milvus-Destination von Fivetran nutzen, indem Sie den Einrichtungsanweisungen folgen.
Um mehr über diese Integration zu erfahren und zu sehen, wie eine Echtzeitsuche in Aktion aufgebaut wird, nehmen Sie bitte an unserem Produkteinführungs-Webinar am 26. September 2024 teil. Wir werden die Funktionen dieser Integration erläutern und demonstrieren, wie dieser Connector verwendet wird, um einen RAG-Chatbot für GitHub-Issues zu erstellen!
Jiang ChenJiang is currently Director of Technical GTM at Zilliz. He has years of experience in data infrastructures and cloud security. Before joining Zilliz, he had previously served as a tech lead and product manager at Google, where he led the development of web-scale semantic understanding and search indexing that powers innovative search products such as short video search. He has extensive industry experience handling massive unstructured data and multimedia content retrieval. He has also worked on cloud authorization systems and research on data privacy technologies. Jiang holds a Master's degree in Computer Science from the University of Michigan.
Charles WangLead Product Evangelist, Fivetran
Weiterlesen
Notion's Vector Search Is Excellent. Their Next Problem Is Harder.
Notion solved vector search scaling in two years. The next bottleneck — offline context engineering, unified data, and the real-time/offline gap — is harder.
Zilliz Cloud Audit Logs Goes GA: Security, Compliance, and Transparency at Scale
Zilliz Cloud Audit Logs are now GA, giving enterprises real-time visibility, compliance-ready trails, and stronger security across AWS, GCP, and Azure.
Demystifying the Milvus Sizing Tool
Explore how to use the Sizing Tool to select the optimal configuration for your Milvus deployment.