Cómo integrar la API de Embeddings de OpenAI con Zilliz Cloud
En 2018, Zilliz desarrolló la base de datos vectorial Milvus para transformar la forma en que gestionamos la búsqueda y el almacenamiento (anteriormente hemos hablado del impacto de los embeddings y las bases de datos vectoriales). Inicialmente, Milvus se centró en ofrecer las funciones principales esenciales para una base de datos vectorial, con énfasis en mejorar la experiencia del usuario, garantizar la fiabilidad y optimizar el rendimiento y la escalabilidad. Este enfoque condujo a un crecimiento sustancial dentro de la comunidad de Milvus, incluidos usuarios, colaboradores y estrellas, que ahora se acercan a las 30.000.
Recientemente, en particular con el lanzamiento de Milvus 2.4, la comunidad ha expresado un gran interés en ampliar el ecosistema de la base de datos vectorial para incluir más herramientas, visualizaciones y conectores. Una solicitud clave ha sido una integración más estrecha con los modelos de embedding. Estos comentarios reflejan las necesidades cambiantes de los usuarios y la creciente importancia de los modelos de embedding en el panorama de las bases de datos vectoriales.
Integraciones de modelos de embedding
Para responder a esta creciente demanda, nos complace presentar las integraciones de modelos de embeddings, que conectarán sin problemas tu base de datos Milvus o Zilliz Cloud con modelos tanto de código abierto como comerciales. Estas integraciones están diseñadas para dar cabida a la diversa gama de modelos de aprendizaje automático disponibles hoy en día, adaptándose a distintos tipos de datos y casos de uso. Ya sea que trabajes con texto, imágenes u otros tipos de datos, esta función garantiza que puedas aprovechar fácilmente el poder de los modelos de embedding para mejorar tus capacidades de búsqueda por similitud semántica.
En respuesta al panorama cambiante de los modelos de embeddings y las necesidades de los usuarios, ofreceremos dos conjuntos paralelos de integraciones. El primer conjunto se centra en modelos de embeddings populares de código abierto, proporcionando flexibilidad y rentabilidad para los usuarios que prefieren soluciones impulsadas por la comunidad. El segundo conjunto incluye integraciones con modelos de embeddings premium y comerciales, que ofrecen funciones avanzadas y un rendimiento mejorado para usuarios con requisitos más especializados. Este enfoque dual garantiza que todos los usuarios, independientemente de sus necesidades de embedding o presupuesto, tengan acceso a herramientas potentes para optimizar sus bases de datos Milvus o Zilliz Cloud.
Por qué integrarse con Zilliz Cloud es clave
Integrar la OpenAI Embedding API con Zilliz Cloud es importante para los desarrolladores que buscan mejorar sus capacidades de búsqueda vectorial, como el procesamiento del lenguaje natural. Al combinar los potentes embeddings preentrenados de OpenAI con la base de datos vectorial de alto rendimiento de Zilliz Cloud, puedes crear sistemas de búsqueda y recuperación más precisos y eficientes. Los embeddings de OpenAI capturan relaciones semánticas complejas en tus datos, mientras que Zilliz Cloud proporciona la escalabilidad y la velocidad necesarias para manejar grandes volúmenes de datos vectoriales. Esta integración permite a los desarrolladores aprovechar modelos avanzados de IA para lograr una mayor relevancia en los resultados de búsqueda, lo que facilita la creación de aplicaciones que entienden y responden a las consultas de los usuarios con mayor precisión.
Además, esta integración simplifica el proceso de desarrollo al ofrecer una forma optimizada de gestionar y buscar en conjuntos de datos masivos. Con Zilliz Cloud gestionando la infraestructura backend y la OpenAI’s Embedding API proporcionando las representaciones de datos sofisticadas, los desarrolladores pueden centrarse más en crear sus aplicaciones y menos en las complejidades del manejo de datos. Esta configuración no solo mejora el rendimiento, sino que también reduce el tiempo de desarrollo, permitiendo
Ejemplos en Zilliz Cloud
El primer conjunto de integraciones es una serie de ejemplos listos para POC y scripts ejecutables que utilizan Milvus y Zilliz Cloud. Estos ejemplos están pensados para proporcionar un punto de partida totalmente personalizable para que los ingenieros de software creen aplicaciones en una variedad de casos de uso. La mayoría de estos ejemplos serán scripts bastante sencillos que combinan modelos de embedding upstream y el SDK de Milvus. Puedes encontrarlos en nuestros notebooks, donde cada ejemplo podría verse más o menos así (simplificado significativamente para facilitar la lectura):
from pymilvus import connections, Collection
import openai
...
connections.connect(uri=URI, user=USER, password=PASSWORD, secure=True)
collection = Collection(name=COLLECTION_NAME, schema=schema)
collection.create_index(field_name="embedding", index_params=index_params)
...
for text in document:
embedding = openai.Embedding.create(
input=text,
engine=OPENAI_ENGINE)["data"][0]["embedding"]
collection.insert([embedding])
...
Aunque los scripts de ejemplo pequeños son buenos para uso general, descubrimos que había una reutilización significativa en cada script; la inferencia de modelos y las consultas a la base de datos, por ejemplo, son dos acciones que se ejecutan en casi todos los ejemplos. Para resolver este problema recurrente, lanzamos Towhee, un proyecto de Zilliz dentro del ecosistema de Milvus. Towhee integra cientos de modelos de código abierto, API de embedding y modelos internos, lo que brinda a los profesionales de ML la capacidad de ensamblar pipelines de búsqueda de extremo a extremo respaldados por Milvus o Zilliz Cloud en solo unas pocas líneas de código. Un pipeline de ejemplo para vectorizar títulos de libros (usando la API de embeddings de OpenAI) e insertarlos en Milvus podría verse más o menos así:
pipeline = (
pipe.input('id', 'text')
.map(
ops.text_embedding.openai(
engine='embedding-engine',
api_key='my-api-key'
)
)
.map(
ops.ann_insert.milvus_client(
host='my-vector-database.url',
port='19530',
collection_name='my-collection'
)
)
.output()
)
Puedes ver más ejemplos de Towhee en el bootcamp de Milvus, junto con una guía completa en la documentación de Towhee.
Conecta con nosotros
En resumen; hemos avanzado mucho en cinco años, pero todavía nos queda un largo camino por recorrer. Zilliz seguirá siendo un patrocinador clave y la principal fuerza impulsora detrás del proyecto Milvus, pero también nos centraremos en integraciones y asociaciones con el ecosistema más amplio de machine learning de cara al futuro.
Si eres un committer de código abierto y te gustaría conversar sobre una posible integración, por favor ponte en contacto con nosotros o envíanos un mensaje en Twitter. ¡Esperamos contar contigo como parte de la comunidad!
Sigue leyendo
Announcing the General Availability of Single Sign-On (SSO) on Zilliz Cloud
SSO is GA on Zilliz Cloud, delivering the enterprise-grade identity management capabilities your teams need to deploy vectorDB with confidence.
Build for the Boom: Why AI Agent Startups Should Build Scalable Infrastructure Early
Explore strategies for developing AI agents that can handle rapid growth. Don't let inadequate systems undermine your success during critical breakthrough moments.
AI Integration in Video Surveillance Tools: Transforming the Industry with Vector Databases
Discover how AI and vector databases are revolutionizing video surveillance with real-time analysis, faster threat detection, and intelligent search capabilities for enhanced security.