Die Bedeutung von Data Engineering für erfolgreiche KI mit Airbyte und Zilliz
Dieser Artikel wurde ursprünglich am 17. Okt. 2024 auf DBTA veröffentlicht und mit Genehmigung erneut veröffentlicht.
Die Ermöglichung der Erfassung und Nutzung von Daten ist entscheidend, um KI-Projekte im Unternehmensmaßstab erfolgreich zu unterstützen. Von Datenintegration über Datenpipelines, KI-Performance, Data Governance, Compliance und mehr war die Einhaltung von Best Practices im Data Engineering noch nie so sinnvoll, um eine KI-gestützte Zukunft zu ermöglichen.
Im neuesten Webinar von DBTA, Data Engineering Best Practices for AI, teilten Brian Leonard, Director of Engineering bei Airbyte, und Tim Spann, Principal Developer Advocate, Milvus, Zilliz, ihre Expertise darüber, wie Data Engineering häufige Herausforderungen im Zusammenhang mit der Bereitstellung und Skalierung effektiver KI-Nutzung lösen kann.
Als Open-Source-Unternehmen für Datenbewegung macht Airbyte Daten überall nutzbar und ermöglicht laut Leonard mehr als 20.000 Daten- und KI-Fachleuten, vielfältige Daten über Multi-Cloud-Umgebungen hinweg zu verwalten. In Bezug auf den KI-Anwendungsfall von Airbyte nutzen viele Unternehmen die Airbyte-Plattform, um First-Party-Daten in KI-Apps zu laden, indem sie Datensätze aus unstrukturierten Quellen—wie Google Drive oder Salesforce—extrahieren und diese Daten in Lakehouses verschieben, wo Nutzer Retrieval-Augmented Generation (RAG) und Fine-Tuning ermöglichen können.
Leonard betrachtete anschließend die KI-Datenpipeline genauer und untersuchte den Weg von der Extraktion über Normalisierung, Verarbeitung und Nutzung. Jede Phase der Pipeline umfasst die folgenden Prozesse:
- Extraktion: Datenverschlüsselung, PII-Maskierung, Pushdown-Filter, Dateiübertragung, Berechtigungen
- Normalisierung: Schemanormalisierung, Datenbereinigung, Deduplizierung
- Verarbeitung: Anreicherung, Zusammenfassung, Optimierung von Anwendungsfällen, Dokument-Chunking, Berechnung von Embeddings
- Nutzung: Embeddings in einem abfragbaren Datenspeicher platzieren, wie etwa Milvus, einer Vektordatenbank
Spann erläuterte die Vorteile von Milvus von Zilliz, einer leistungsstarken Open-Source-Vektordatenbank, die für Skalierung entwickelt wurde. Die Vektorsuche, so Spann, sei das neue Paradigma für KI, denn „heute sind Bilder, Text, Video, Dokumente—alles Daten, und die Vektorsuche macht sie durchsuchbar.“ Tatsächlich prognostiziert IDC, dass 90 % der im Jahr 2025 neu generierten Daten unstrukturiert sein werden, was einen entscheidenden Bedarf an Vektorsuche widerspiegelt.
Vektordatenbanken sind dafür verantwortlich, Suche über eine Vielzahl von Anwendungsfällen hinweg zu ermöglichen—von RAG über molekulare Ähnlichkeitssuche, Betrugs- und Anomalieerkennung, multimodale Ähnlichkeitssuche und mehr. Im Kern sind unstrukturierte Daten—und die Fähigkeit, Wissen daraus zu extrahieren—grundlegend dafür, KI-Erfolg zu ermöglichen.
Seit 2017 hilft Zilliz Organisationen dabei, unstrukturierte Daten sinnvoll zu nutzen. Da Zilliz von einem erstklassigen Team aus Algorithmus- und Datenbankingenieuren mit starker Erfahrung in der Entwicklung leistungsstarker, skalierbarer und hochverfügbarer verteilter Systeme aufgebaut wurde, die speziell auf Vektorsuche zugeschnitten sind, wurde Zilliz von Grund auf entwickelt, um die verschiedenen mit KI verbundenen Data-Engineering-Herausforderungen zu adressieren, merkte Spann an.
Infolgedessen ist Milvus eine einfach einzurichtende, funktionsreiche Vektordatenbank, die elastische Skalierung, wiederverwendbaren Code und umfangreiche Integrationen bietet, gestützt durch eine robuste, unterstützende Community. Spann führte die Webinar-Zuschauer anschließend durch die Funktionsweise von Milvus und erläuterte dessen Struktur, Funktionen und mehr.
Für das vollständige, ausführliche Webinar über Data Engineering im Zeitalter der KI können Sie eine archivierte Version des Webinars hier ansehen.
Weiterlesen
VDBBench Adds Cost-Aware Benchmarking for Vector Databases
Compare Zilliz Cloud, Pinecone, and turbopuffer with VDBBench cost-aware vector database benchmarks across latency, freshness, multitenancy, and cold starts.
Data Deduplication at Trillion Scale: How to Solve the Biggest Bottleneck of LLM Training
Explore how MinHash LSH and Milvus handle data deduplication at the trillion-scale level, solving key bottlenecks in LLM training for improved AI model performance.
Zilliz Cloud BYOC Upgrades: Bring Enterprise-Grade Security, Networking Isolation, and More
Discover how Zilliz Cloud BYOC brings enterprise-grade security, networking isolation, and infrastructure automation to vector database deployments in AWS