BentoML
Choose models hosted on BentoML to generate vector embedding that you can store and retrieve from Zilliz Cloud
Verwenden Sie diese Integration kostenlosWas ist BentoML?
[BentoML] (https://www.bentoml.com/) ist eine Open-Source-KI-Inferenzplattform für die Bereitstellung und den Einsatz von Modellen für maschinelles Lernen. Sie wurde entwickelt, um die Lücke zwischen Data Science und DevOps zu schließen und die Bereitstellung von Machine-Learning-Modellen in Produktionsumgebungen zu erleichtern.
Hauptmerkmale Modell-Paketierung: Mit BentoML können Sie Modelle für maschinelles Lernen, ihre Abhängigkeiten und die Inferenzlogik in standardisierte Einheiten, sogenannte "Bentos", verpacken. Serving: BentoML bietet einen hochleistungsfähigen API-Server für die Bereitstellung Ihrer Modelle und unterstützt verschiedene Protokolle, darunter HTTP, gRPC und CLI. Bereitstellung: BentoML bietet Tools für die Bereitstellung von Modellen in verschiedenen Umgebungen, darunter Docker-Container, Kubernetes und Cloud-Plattformen. Anpassungsfähigkeit: Es unterstützt mehrere ML-Frameworks wie Sci-Kit-Learn, PyTorch, TensorFlow und andere. Skalierbarkeit: BentoML ist für Szenarien mit hohem Durchsatz bei der Modellbereitstellung ausgelegt und kann entsprechend der Nachfrage skaliert werden. Überwachung: Es umfasst Funktionen zur Überwachung der Modellleistung und des Systemzustands in der Produktion.
Anwendungsfälle Vereinfachung des Übergangs von der Modellentwicklung zum Produktionseinsatz Standardisierung der Modellbedienung in verschiedenen ML-Frameworks Ermöglichung der einfachen Integration von ML-Modellen in bestehende Softwaresysteme Erleichterung der Modellversionierung und A/B-Tests in Produktionsumgebungen
BentoML ist besonders nützlich für Datenwissenschaftler und ML-Ingenieure, die ihren Modellbereitstellungsprozess rationalisieren und die Konsistenz zwischen Entwicklungs- und Produktionsumgebungen sicherstellen möchten.
Wie BentoML mit Zilliz Cloud funktioniert
BentoML hat einen verwalteten Dienst namens BentoCloud. Er bietet eine Vielzahl von hochmodernen Open-Source-KI-Modellen, wie Llama 3, Stable Diffusion, CLIP und [Sentence Transformers] (https://zilliz.com/learn/transforming-text-the-rise-of-sentence-transformers-in-nlp). Diese Modelle sind vorgefertigt und können mit einem einzigen Klick auf der Inferenzplattform eingesetzt werden. Sie können BentoCloud nutzen, um ein Modell zu finden, das Ihre unstrukturierten Daten in eine Vektoreinbettung umwandelt, die Sie dann in Zilliz Cloud speichern und abrufen können. Alternativ können Sie denselben Einbettungsdienst auch selbst mit der Community-Version hosten.
Warum BentoML mit Zilliz Cloud verwenden?
- Benutzerfreundlichkeit: Vorgefertigte Modelle wie Llama 3, Stable Diffusion, CLIP und Sentence Transformers können mit einem einzigen Mausklick eingesetzt werden, was die Komplexität und den Zeitaufwand für die Modellbereitstellung erheblich reduziert.
- Zugang zu modernsten Modellen: Benutzer erhalten sofortigen Zugriff auf modernste KI-Modelle, ohne diese von Grund auf trainieren oder feinabstimmen zu müssen.
- Reduzierte Infrastrukturverwaltung: Der Managed-Service-Aspekt bedeutet, dass weniger Zeit für die Einrichtung und Wartung der Infrastruktur aufgewendet werden muss, so dass sich die Teams stärker auf ihre KI-Kernanwendungen konzentrieren können.
- Flexibilität: Die Option, denselben Einbettungsdienst mit der Community-Version selbst zu hosten, bietet Flexibilität für Unternehmen mit spezifischen Hosting-Anforderungen oder -Einschränkungen.
- Integration mit Vektordatenbanken: Die Möglichkeit, unstrukturierte Daten einfach in Vektoreinbettungen zu konvertieren, die in Zilliz Cloud gespeichert werden können, rationalisiert den Prozess der Erstellung durchsuchbarer Vektordatenbanken.
- Standardisierung: Die Verwendung einer Plattform wie BentoCloud kann dazu beitragen, die Prozesse der Modellbereitstellung innerhalb einer Organisation zu standardisieren.
Lernen Sie
Am besten beginnen Sie mit einem praktischen Lernprogramm. Dieses [Tutorial] (https://milvus.io/docs/integrate_with_bentoml.md) zeigt Ihnen, wie Sie mit BentoML und Zilliz Cloud eine Augmented Generation-Lösung erstellen.
Und hier sind noch ein paar weitere Ressourcen