Einführung von Funktionen und Modellinferenz auf Zilliz Cloud: Automatisches Embedding und Reranking mit gehosteten Modellen
KI-Suchpipelines, die auf Vektordatenbanken aufbauen, erfordern in der Regel, dass Sie Embeddings selbst erzeugen, sie zur Ähnlichkeitssuche in die Vektordatenbank einfügen, jede Abfrage auf die gleiche Weise einbetten und einen separaten Reranking-Dienst anbinden, wenn Sie eine bessere Ergebnisqualität wünschen. Das funktioniert, bedeutet aber mehr Glue Code und mehr Stellen, an denen Dinge auseinanderdriften können.
Heute kündigen wir Functions and Inference Services auf Zilliz Cloud an — jetzt in Public Preview für Drittanbietermodelle und in Private Preview für Zilliz Hosted Models. Sie können Rohtext einfügen und mit natürlicher Sprache suchen. Zilliz Cloud übernimmt dann automatisch die Embedding-Erzeugung, die Vektorspeicherung und das Reranking der Ergebnisse.
Was sind Functions and Inference Services auf Zilliz Cloud?
Eine Function Function ist eine deklarative Operation, die an eine Collection angehängt ist und Zilliz Cloud mitteilt, wie Ihre Daten verarbeitet werden sollen. Anstatt Vektoren zu senden, müssen Sie jetzt nur noch Rohtext senden. Anstatt Abfragen clientseitig einzubetten, senden Sie Textabfragen direkt. Zilliz Cloud übernimmt dann den Rest.
Functions fallen in zwei Kategorien:
- Pre-search Functions laufen bei der Aufnahme und zur Abfragezeit und wandeln Text in durchsuchbare Repräsentationen um. Dazu gehören BM25 für Volltext-Keyword-Suche (kein Modell erforderlich) und modellbasierte Ansätze, die Dense Embeddings für semantische Suche erzeugen.
- Post-search Functions laufen nach dem Retrieval und verfeinern sowie ordnen Ergebnisse neu. Dazu gehören Hybrid-Ranker, die mehrere Ergebnismengen zusammenführen, regelbasierte Ranker für Geschäftslogik und modellbasierte Ranker, die die Relevanz zwischen Abfragen und Dokumenten bewerten.
Das folgende Diagramm bietet eine Abstraktion davon, wie Functions im Such-Workflow funktionieren.
Inference Services treiben die modellbasierten Functions an. Wenn eine Function ein Embedding erzeugen oder ein Abfrage-Dokument-Paar bewerten muss, ruft sie ein Modell aus einer von zwei Quellen auf:
| Quelle | Funktionsweise |
|---|---|
| Drittanbieter (OpenAI, Voyage AI, Cohere) | Sie bringen Ihren API-Schlüssel mit. Zilliz Cloud verwaltet die Integration. |
| Zilliz Hosted Models | Vollständig verwaltete Modellinstanzen auf Zilliz' GPU-Infrastruktur. Ihre Daten verlassen die Plattform nie. |
Die einfachste Unterscheidung: Functions definieren, was mit Ihren Daten geschieht. Inference Services definieren, welches Modell die Arbeit erledigt.
Warum Embedding und Reranking in Zilliz Cloud verlagern?
Wenn Sie heute eine Embedding-API aufrufen und Vektoren in Zilliz Cloud einfügen, funktioniert das bereits. Doch mit zunehmender Skalierung von Anwendungen entstehen mehrere Reibungspunkte.
Modellkonsistenz wird zu Ihrem Problem
Ihr Aufnahme-Pfad und Ihr Abfrage-Pfad müssen exakt dasselbe Modell verwenden. Wenn sie auseinanderdriften — sagen wir, ein Deployment aktualisiert eine Seite, aber nicht die andere — verschlechtert sich die Suchqualität unbemerkt. Mit Functions gehört die Modellkonfiguration zur Collection. Aufnahme und Abfrage stimmen garantiert überein.
Reranking wird übersprungen, weil es zu viel Reibung verursacht
Modellbasiertes Reranking verbessert die Ergebnisqualität spürbar, insbesondere bei hybrider Suche. Aber das Hinzufügen eines weiteren Service-Aufrufs nach jeder Abfrage — mit eigenem API-Schlüssel, Latenzbudget und Fehlerbehandlung — verursacht genug Reibung, dass viele Teams ohne es ausliefern. Wenn Reranking eine integrierte Function ist, verschwindet diese Reibung.
Zugangsdaten-Wildwuchs über Services hinweg
Jeder Dienst, der Daten schreibt oder durchsucht, benötigt den API-Schlüssel Ihres Embedding-Anbieters. Mit Functions befinden sich Anmeldedaten in Zilliz Clouds Model Provider Integration — ein Ort zum Verwalten, ein Ort zum Rotieren von Schlüsseln, keine Secrets im Anwendungscode.
Daten verlassen Ihr Netzwerk bei jedem Inferenzaufruf
Für Teams mit Datenschutz- oder Compliance-Anforderungen ist das Senden von Rohtext an eine externe API bei jedem Insert und jeder Abfrage ein echtes Problem. Hosted Models halten alles — Daten, Inferenz, Speicherung, Suche — innerhalb des privaten Netzwerks von Zilliz.
Was in der Public Preview verfügbar ist
Modellbasierte Embedding Functions
Hängen Sie ein Embedding-Modell an eine Collection an. Ab diesem Zeitpunkt:
- Rohtext einfügen über Insert, Upsert oder Import — Zilliz Cloud erzeugt und speichert dichte Vektor-Embeddings automatisch.
- Mit Text suchen — das System bettet Ihre Abfrage mit demselben Modell ein und führt eine ANN-Suche aus.
Kein clientseitiger Embedding-Code. Keine Sorgen um Modellkonsistenz. Ihre Anwendung arbeitet einfach mit Text.
Modellbasierte Reranking Functions
Wählen Sie ein Reranking-Modell aus und wenden Sie es als integrierten Schritt nach der Suche an. Das ist besonders leistungsstark für die hybride Suche, bei der Sie semantisches und Keyword-Retrieval zu einer Ergebnisliste kombinieren.
Modellbasierte Reranker gehen über Vektorähnlichkeit hinaus — sie lesen den Inhalt jedes Kandidaten und bewerten, wie gut er die Anfrage tatsächlich beantwortet. Es ist der Unterschied zwischen „diese Vektoren liegen nah beieinander“ und „dieses Dokument beantwortet die Frage“.
Unterstützte Anbieter
| Anbieter | Embedding | Reranking |
|---|---|---|
| OpenAI | Ja | -- |
| Voyage AI | Ja | Ja |
| Cohere | Ja | Ja |
Model Provider Integration
Registrieren Sie Ihre API-Anmeldedaten von Drittanbietern einmal in der Zilliz Cloud-Konsole über Model Provider Integration. Collections referenzieren die Integration per ID — keine Schlüssel im Code. Rotieren Sie Anmeldedaten an einem Ort; jede Collection, die diese Integration verwendet, übernimmt die Änderung automatisch.
Was in der Private Preview ist: Hosted Models
Für Teams, bei denen Latenz, Kosten oder Datenresidenz Priorität haben, führen Hosted Models vollständig verwaltete Modellinstanzen auf der GPU-Infrastruktur von Zilliz aus. Der architektonische Unterschied: Anstatt Daten an eine externe API zu senden, läuft das Modell direkt neben Ihren Daten.
Das folgende Diagramm zeigt die Verfahren zur Verwendung gehosteter Modelle.
| Vorteil | Was es bedeutet |
|---|---|
| Keine Datenübertragungsgebühren | Inferenz erfolgt innerhalb des Zilliz-Netzwerks |
| Geringere Latenz | Kein externer Roundtrip für Embedding oder Reranking |
| Verbesserter Datenschutz | Rohtext verlässt niemals die Zilliz-Umgebung |
| Dedizierte Ressourcen | Keine Performance-Probleme durch Noisy Neighbors |
Verfügbare Modelle
| Kategorie | Modelle |
|---|---|
| Embedding | Qwen3-Embedding (0.6B, 4B, 8B), BAAI BGE series (small, base, large — EN & ZH) |
| Reranking | Qwen3-Reranker (0.6B, 4B, 8B), BAAI BGE Reranker (base, large) |
| Semantic Highlighter | zilliz/semantic-highlight-bilingual-v1 — hebt relevante Textsegmente in Ergebnissen hervor |
Hosted Models sind auf Anfrage verfügbar. Kontaktieren Sie das Zilliz-Team, um Zugang zu erhalten.
Vollständige Function- und Inferenzfunktionen auf einen Blick
Pre-Search Functions
| Funktion | Beschreibung | Status |
|---|---|---|
| BM25 | Sparse Embeddings für die Volltext-Keyword-Suche — kein Modell erforderlich | GA |
| Model-Based Embedding (3rd-party) | Dense Embeddings über OpenAI, Voyage AI, Cohere | Public Preview |
| Model-Based Embedding (Hosted) | Dense Embeddings über von Zilliz gehostete Qwen3, BGE | Private Preview |
Post-Search-Funktionen
| Funktion | Beschreibung | Status |
|---|---|---|
| Hybrid Rankers | Ergebnisse aus mehreren Retrieval-Strategien zusammenführen (z. B. semantisch + Keyword) | GA |
| Rule-Based Rankers | Geschäftslogik anwenden — Aktualität, Beliebtheit, benutzerdefinierte Scores | GA |
| Model-Based Rankers (3rd-party) | Semantisches Reranking über Voyage AI, Cohere | Public Preview |
| Model-Based Rankers (Hosted) | Semantisches Reranking über von Zilliz gehostete Qwen3, BGE | Private Preview |
BM25, Hybrid Rankers und Rule-Based Rankers sind allgemein verfügbar. Die heutige Veröffentlichung ergänzt modellgestützte Intelligenz sowohl für Embedding als auch für Ranking — plus die Infrastruktur, um diese Modelle über Drittanbieter-APIs oder direkt auf Zilliz Cloud auszuführen.
Erste Schritte mit Zilliz Cloud Functions
Public Preview (jetzt verfügbar):
- Registrieren oder bei Zilliz Cloud anmelden — neue Konten, die mit einer geschäftlichen E-Mail registriert werden, erhalten $100 an kostenlosen Credits
- Eine Model Provider Integration in der Konsole einrichten
- Eine Collection mit einer Embedding-Funktion erstellen
- Rohtext einfügen und mit Text suchen — das war's
Private Preview (auf Anfrage):
Kontaktieren Sie uns, um Hosted Models mit dedizierter Inferenz auszuprobieren.
Vollständige Dokumentation: Function and Model Inference Guide
Häufig gestellte Fragen
Einige Fragen, die im Zusammenhang mit Embedding, Reranking und verwalteter Inferenz für die Vektorsuche häufig auftauchen:
Kann eine Vektordatenbank Embeddings automatisch generieren?
Ja. Mit Zilliz Cloud Functions verknüpfen Sie ein Embedding-Modell mit einer Collection und fügen Rohtext ein — die Datenbank generiert und speichert Dense Vector Embeddings in Ihrem Namen. Abfragen funktionieren auf die gleiche Weise: Senden Sie eine Textabfrage, und das System bettet sie mit demselben Modell ein, bevor die ANN-Suche ausgeführt wird. Dadurch entfällt clientseitiger Embedding-Code, und die Modellkonsistenz zwischen Aufnahme und Suche wird garantiert.
Was ist modellbasiertes Reranking, und wie verbessert es die Vektorsuche?
Modellbasiertes Reranking ist ein Schritt nach dem Retrieval, bei dem ein Sprachmodell bewertet, wie gut jedes Kandidatendokument die Abfrage tatsächlich beantwortet — anstatt sich ausschließlich auf Vektorähnlichkeitswerte zu verlassen. Es ist besonders effektiv für hybride Such-Pipelines, die Keyword- und semantisches Retrieval kombinieren. Auf Zilliz Cloud können Sie modellbasiertes Reranking als integrierte Function mit Anbietern wie Voyage AI oder Cohere oder über Zilliz Hosted Models anwenden.
Was ist der Unterschied zwischen gehosteten und Drittanbieter-Embedding-Modellen?
Drittanbieter-Modelle (OpenAI, Voyage AI, Cohere) laufen auf der Infrastruktur des Anbieters — Sie stellen einen API-Schlüssel bereit und zahlen pro Aufruf. Hosted Models laufen auf von Zilliz verwalteter GPU-Infrastruktur, sodass Ihre Daten die Plattform nie verlassen. Hosted Models bieten geringere Latenz, keine Datenübertragungsgebühren und dedizierte Rechenleistung ohne Noisy-Neighbor-Probleme. Der Kompromiss: Pay-per-Call bei Drittanbietern kann bei geringem Volumen günstiger sein, während gehostete Instanzen im großen Maßstab kosteneffizienter sind.
Wie kombiniert man Keyword-Suche und semantische Suche in einer Abfrage?
In Zilliz Cloud können Sie sowohl eine BM25 Function (für die Stichwortsuche über Sparse Embeddings) als auch eine modellbasierte Embedding Function (für die semantische Suche über Dense Embeddings) an dieselbe Collection anhängen. Zur Abfragezeit führt ein hybrider Ranker oder modellbasierter Reranker die Ergebnisse zu einer einzigen sortierten Liste zusammen. Die Collection verarbeitet Sparse Embeddings, Dense Embeddings und Reranking gemeinsam — keine externe Orchestrierung erforderlich.
Weiterlesen
Top 10 Context Engineering Techniques You Should Know for Production RAG
A practical guide to context engineering for production LLM systems, covering RAG, context processing, memory, agents, and multimodal context.
Migrating from S3 Vectors to Zilliz Cloud: Unlocking the Power of Tiered Storage
Learn how Zilliz Cloud bridges cost and performance with tiered storage and enterprise-grade features, and how to migrate data from AWS S3 Vectors to Zilliz Cloud.
Optimizing Embedding Model Selection with TDA Clustering: A Strategic Guide for Vector Databases
Discover how Topological Data Analysis (TDA) reveals hidden embedding model weaknesses and helps optimize vector database performance.