Die Bedeutung von Data Engineering für erfolgreiche KI mit Airbyte und Zilliz
Dieser Artikel wurde ursprünglich am 17. Okt. 2024 auf DBTA veröffentlicht und mit Genehmigung erneut veröffentlicht.
Die Ermöglichung der Erfassung und Nutzung von Daten ist entscheidend, um KI-Projekte im Unternehmensmaßstab erfolgreich zu unterstützen. Von Datenintegration über Datenpipelines, KI-Performance, Data Governance, Compliance und mehr war die Einhaltung von Best Practices im Data Engineering noch nie so sinnvoll, um eine KI-gestützte Zukunft zu ermöglichen.
Im neuesten Webinar von DBTA, Data Engineering Best Practices for AI, teilten Brian Leonard, Director of Engineering bei Airbyte, und Tim Spann, Principal Developer Advocate, Milvus, Zilliz, ihre Expertise darüber, wie Data Engineering häufige Herausforderungen im Zusammenhang mit der Bereitstellung und Skalierung effektiver KI-Nutzung lösen kann.
Als Open-Source-Unternehmen für Datenbewegung macht Airbyte Daten überall nutzbar und ermöglicht laut Leonard mehr als 20.000 Daten- und KI-Fachleuten, vielfältige Daten über Multi-Cloud-Umgebungen hinweg zu verwalten. In Bezug auf den KI-Anwendungsfall von Airbyte nutzen viele Unternehmen die Airbyte-Plattform, um First-Party-Daten in KI-Apps zu laden, indem sie Datensätze aus unstrukturierten Quellen—wie Google Drive oder Salesforce—extrahieren und diese Daten in Lakehouses verschieben, wo Nutzer Retrieval-Augmented Generation (RAG) und Fine-Tuning ermöglichen können.
Leonard betrachtete anschließend die KI-Datenpipeline genauer und untersuchte den Weg von der Extraktion über Normalisierung, Verarbeitung und Nutzung. Jede Phase der Pipeline umfasst die folgenden Prozesse:
- Extraktion: Datenverschlüsselung, PII-Maskierung, Pushdown-Filter, Dateiübertragung, Berechtigungen
- Normalisierung: Schemanormalisierung, Datenbereinigung, Deduplizierung
- Verarbeitung: Anreicherung, Zusammenfassung, Optimierung von Anwendungsfällen, Dokument-Chunking, Berechnung von Embeddings
- Nutzung: Embeddings in einem abfragbaren Datenspeicher platzieren, wie etwa Milvus, einer Vektordatenbank
Spann erläuterte die Vorteile von Milvus von Zilliz, einer leistungsstarken Open-Source-Vektordatenbank, die für Skalierung entwickelt wurde. Die Vektorsuche, so Spann, sei das neue Paradigma für KI, denn „heute sind Bilder, Text, Video, Dokumente—alles Daten, und die Vektorsuche macht sie durchsuchbar.“ Tatsächlich prognostiziert IDC, dass 90 % der im Jahr 2025 neu generierten Daten unstrukturiert sein werden, was einen entscheidenden Bedarf an Vektorsuche widerspiegelt.
Vektordatenbanken sind dafür verantwortlich, Suche über eine Vielzahl von Anwendungsfällen hinweg zu ermöglichen—von RAG über molekulare Ähnlichkeitssuche, Betrugs- und Anomalieerkennung, multimodale Ähnlichkeitssuche und mehr. Im Kern sind unstrukturierte Daten—und die Fähigkeit, Wissen daraus zu extrahieren—grundlegend dafür, KI-Erfolg zu ermöglichen.
Seit 2017 hilft Zilliz Organisationen dabei, unstrukturierte Daten sinnvoll zu nutzen. Da Zilliz von einem erstklassigen Team aus Algorithmus- und Datenbankingenieuren mit starker Erfahrung in der Entwicklung leistungsstarker, skalierbarer und hochverfügbarer verteilter Systeme aufgebaut wurde, die speziell auf Vektorsuche zugeschnitten sind, wurde Zilliz von Grund auf entwickelt, um die verschiedenen mit KI verbundenen Data-Engineering-Herausforderungen zu adressieren, merkte Spann an.
Infolgedessen ist Milvus eine einfach einzurichtende, funktionsreiche Vektordatenbank, die elastische Skalierung, wiederverwendbaren Code und umfangreiche Integrationen bietet, gestützt durch eine robuste, unterstützende Community. Spann führte die Webinar-Zuschauer anschließend durch die Funktionsweise von Milvus und erläuterte dessen Struktur, Funktionen und mehr.
Für das vollständige, ausführliche Webinar über Data Engineering im Zeitalter der KI können Sie eine archivierte Version des Webinars hier ansehen.
Weiterlesen
Will Amazon S3 Vectors Kill Vector Databases—or Save Them?
AWS S3 Vectors aims for 90% cost savings for vector storage. But will it kill vectordbs like Milvus? A deep dive into costs, limits, and the future of tiered storage.
Zilliz Cloud Enterprise Vector Search Powers High-Performance AI on AWS
Zilliz Cloud on AWS powers secure, scalable, ultra-fast vector search for enterprise AI apps, with BYOC, sub-10ms latency, and zero-DevOps simplicity.
Introducing Zilliz MCP Server: Natural Language Access to Your Vector Database
Developers can easily manage and query vector databases with natural language via Zilliz MCP Server in AI-native environments.