Comment intégrer l’API d’embedding OpenAI avec Zilliz Cloud
En 2018, Zilliz a développé la base de données vectorielle Milvus pour transformer la façon dont nous gérons la recherche et le stockage (nous avons précédemment abordé l’impact des embeddings et des bases de données vectorielles). Initialement, Milvus s’est concentré sur la fourniture des fonctionnalités de base essentielles à une base de données vectorielle, en mettant l’accent sur l’amélioration de l’expérience utilisateur, la garantie de la fiabilité et l’amélioration des performances et de l’évolutivité. Cette approche a entraîné une croissance substantielle au sein de la communauté Milvus, notamment des utilisateurs, des contributeurs et des étoiles—qui approchent désormais les 30 000.
Récemment, en particulier avec la sortie de Milvus 2.4, la communauté a exprimé un fort intérêt pour l’élargissement de l’écosystème des bases de données vectorielles afin d’inclure davantage d’outils, de visualisations et de connecteurs. Une demande clé a été une intégration plus étroite avec les modèles d’embedding. Ces retours reflètent l’évolution des besoins des utilisateurs et l’importance croissante des modèles d’embedding dans le paysage des bases de données vectorielles.
Intégrations de modèles d’embedding
Pour répondre à cette demande croissante, nous sommes ravis de présenter les intégrations de modèles d’embedding, qui connecteront de manière transparente votre base de données Milvus ou Zilliz Cloud à des modèles open source et commerciaux. Ces intégrations sont conçues pour prendre en charge la grande diversité de modèles de machine learning disponibles aujourd’hui, répondant à différents types de données et cas d’utilisation. Que vous travailliez avec du texte, des images ou d’autres types de données, cette fonctionnalité vous garantit de pouvoir exploiter facilement la puissance des modèles d’embedding pour améliorer vos capacités de recherche par similarité sémantique.
En réponse à l’évolution du paysage des modèles d’embedding et des besoins des utilisateurs, nous proposerons deux ensembles d’intégrations parallèles. Le premier ensemble se concentre sur les modèles d’embedding open source populaires, offrant flexibilité et rentabilité aux utilisateurs qui préfèrent les solutions portées par la communauté. Le second ensemble inclut des intégrations avec des modèles d’embedding premium et commerciaux, offrant des fonctionnalités avancées et des performances améliorées aux utilisateurs ayant des exigences plus spécialisées. Cette double approche garantit que tous les utilisateurs, quels que soient leurs besoins en embedding ou leur budget, ont accès à des outils puissants pour optimiser leurs bases de données Milvus ou Zilliz Cloud.
Pourquoi l’intégration avec Zilliz Cloud est essentielle
L’intégration de l’API OpenAI Embedding avec Zilliz Cloud est importante pour les développeurs qui cherchent à améliorer leurs capacités de recherche vectorielle, comme le traitement du langage naturel. En combinant les embeddings puissants et pré-entraînés d’OpenAI avec la base de données vectorielle haute performance de Zilliz Cloud, vous pouvez créer des systèmes de recherche et de récupération plus précis et plus efficaces. Les embeddings d’OpenAI capturent des relations sémantiques complexes dans vos données, tandis que Zilliz Cloud fournit l’évolutivité et la vitesse nécessaires pour gérer de grands volumes de données vectorielles. Cette intégration permet aux développeurs d’exploiter des modèles d’IA avancés pour une meilleure pertinence des résultats de recherche, facilitant la création d’applications qui comprennent les requêtes des utilisateurs et y répondent avec une plus grande précision.
De plus, cette intégration simplifie le processus de développement en offrant une manière rationalisée de gérer et de rechercher dans des jeux de données massifs. Avec Zilliz Cloud qui gère l’infrastructure backend et l’API OpenAI Embedding qui fournit les représentations de données sophistiquées, les développeurs peuvent se concentrer davantage sur la création de leurs applications et moins sur les complexités de la gestion des données. Cette configuration améliore non seulement les performances, mais réduit également le temps de développement, permettant
Exemples dans Zilliz Cloud
Le premier ensemble d’intégrations est une série d’exemples prêts pour POC et de scripts exécutables utilisant Milvus et Zilliz Cloud. Ces exemples sont conçus pour fournir un point de départ entièrement personnalisable aux ingénieurs logiciels afin de créer des applications couvrant une variété de cas d’utilisation. La plupart de ces exemples seront des scripts assez simples combinant des modèles d’embedding en amont et le SDK Milvus. Vous pouvez les trouver dans nos notebooks, où chaque exemple pourrait ressembler à ceci (fortement simplifié pour plus de lisibilité) :
from pymilvus import connections, Collection
import openai
...
connections.connect(uri=URI, user=USER, password=PASSWORD, secure=True)
collection = Collection(name=COLLECTION_NAME, schema=schema)
collection.create_index(field_name="embedding", index_params=index_params)
...
for text in document:
embedding = openai.Embedding.create(
input=text,
engine=OPENAI_ENGINE)["data"][0]["embedding"]
collection.insert([embedding])
...
Bien que les petits scripts d’exemple soient adaptés à un usage général, nous avons constaté qu’il y avait une réutilisation importante d’un script à l’autre ; l’inférence de modèle et l’interrogation de base de données, par exemple, sont deux actions exécutées dans presque tous les exemples. Pour résoudre ce problème récurrent, nous avons lancé Towhee, un projet Zilliz au sein de l’écosystème Milvus. Towhee intègre des centaines de modèles open source, d’API d’embedding et de modèles internes, offrant aux praticiens du ML la possibilité d’assembler des pipelines de recherche de bout en bout soutenus par Milvus ou Zilliz Cloud en seulement quelques lignes de code. Un exemple de pipeline pour vectoriser des titres de livres (en utilisant l’API d’embedding d’OpenAI) et les insérer dans Milvus pourrait ressembler à ceci :
pipeline = (
pipe.input('id', 'text')
.map(
ops.text_embedding.openai(
engine='embedding-engine',
api_key='my-api-key'
)
)
.map(
ops.ann_insert.milvus_client(
host='my-vector-database.url',
port='19530',
collection_name='my-collection'
)
)
.output()
)
Vous pouvez voir davantage d’exemples Towhee dans le bootcamp Milvus, ainsi qu’un guide complet dans la documentation Towhee.
Contactez-nous
Pour faire court ; nous avons accompli beaucoup de progrès en cinq ans, mais il nous reste encore beaucoup de chemin à parcourir. Zilliz continuera d’être un soutien clé et la principale force motrice derrière le projet Milvus, mais nous nous concentrerons également sur les intégrations et les partenariats avec l’écosystème plus large du machine learning à l’avenir.
Si vous êtes un contributeur open source et souhaitez discuter d’une intégration potentielle, veuillez nous contacter ou nous envoyer un message sur Twitter. Nous avons hâte de vous compter parmi les membres de la communauté !
Continuer à lire
A Few Notes from Databricks Data + AI Summit 2026: Why the Data Layer Matters Again
James Luan shares notes from Databricks Data + AI Summit 2026 on why production AI is pushing the data layer back to the center of infrastructure.
Stop Building AI Data Infra for the Wrong Stage
Learn how AI data infrastructure should evolve from prototype to enterprise scale, and when Vector Lakebase becomes the right architecture for AI apps.
What Exactly Are AI Agents? Why OpenAI and LangChain Are Fighting Over Their Definition?
AI agents are software programs powered by AI that can perceive their environment, make decisions, and take actions to achieve a goal—often autonomously.