Jiang Chen: Por qué me uní a Zilliz
Nuevos desafíos
Durante la última década, me he especializado en diversos aspectos de la infraestructura de datos, incluido el control de acceso, la privacidad de los datos, las bases de datos NoSQL y, más recientemente, la indexación de datos a escala web. Durante la era web y móvil, el big data surgió como una innovación significativa en infraestructura, con tecnologías como MapReduce, la computación distribuida y el almacenamiento de datos estructurados liderando el camino. La era de la IA requiere pilas tecnológicas diferentes, especialmente con la creciente popularidad de los Grandes Modelos de Lenguaje. Los embeddings y los almacenes vectoriales están en el centro del escenario, y también son el foco de Zilliz.
Justo antes de unirme a Zilliz, mi enfoque estaba en la indexación de búsqueda en Google. Trabajé en la creación de infraestructuras ultraflexibles para comprender miles de millones de imágenes y videos en la web pública, generar etiquetas estructuradas para páginas web que abarcan diferentes datos multimedia y transformarlas en índices buscables. Estas tecnologías sentaron las bases para innovaciones de productos orientadas al usuario, como la búsqueda de videos cortos. Sin embargo, los métodos tradicionales para comprender datos no estructurados, como texto, imágenes y videos, requerían generar muchas etiquetas utilizando múltiples modelos de aprendizaje automático. Este proceso dependía de una infraestructura compleja que involucraba inferencia de modelos de ML, orquestación de lógica de negocio y algoritmos de recuperación, lo que presentaba desafíos significativos.
Además, la recuperación de contenido de búsqueda también enfrentaba limitaciones con los sistemas tradicionales basados en reglas (emparejar palabras clave con índices invertidos). Se hizo evidente que la recuperación basada en embeddings ofrecía mejoras poderosas en la relevancia de los resultados de búsqueda. Si bien los embeddings no son nuevos en la búsqueda y se han utilizado en la búsqueda web tradicional durante años, adoptar la recuperación basada en embeddings, o un enfoque híbrido, para numerosos productos de búsqueda nuevos resultó ser un desafío significativo, incluso para Google.
Cuando me reuní por primera vez con Robert, el responsable de producto en Zilliz, me impresionó la ambición de democratizar las tecnologías de embeddings y búsqueda vectorial. También me motiva participar en esta fantástica ola de IA.
Empoderar a los desarrolladores para liberar el potencial de los datos no estructurados
A pesar de reconocer el potencial de los embeddings, muchos desarrolladores y empresas necesitan más infraestructura para organizar eficazmente los datos no estructurados como embeddings vectoriales. Sin embargo, en la era moderna de la IA, creo firmemente que la infraestructura nativa de IA tiene la clave del futuro de los negocios. Estas infraestructuras utilizan grandes modelos de redes neuronales, almacenamiento vectorial y sistemas de computación especializados diseñados específicamente para ellos. Tras haber observado el funcionamiento de dicha infraestructura a escala global, estoy entusiasmado con democratizar esta infraestructura altamente compleja, permitiendo que startups con recursos limitados aprovechen la tecnología de IA y creen aplicaciones revolucionarias que impulsen a la humanidad hacia adelante.
Personas increíbles
He estado antes en el mundo de las startups. Habiendo experimentado la montaña rusa de fundar un nuevo proyecto, el agotamiento por encontrar un mal ajuste producto-mercado y la búsqueda de la siguiente ronda de financiación, sé firmemente que, al abordar problemas complejos en un contexto incierto, lo más importante es trabajar con un equipo de grandes personas en las que puedas confiar.
Al conocer al equipo excepcional de Charles, Robert y James, pude darme cuenta de inmediato de que son emprendedores experimentados, plenamente conscientes de la incertidumbre del emprendimiento y aun así dispuestos a dedicarse a ello. Sabía que eran el grupo perfecto con el que trabajar, así que decidí unirme al extraordinario equipo sin dudarlo.
En última instancia, esta es la razón por la que me uní a Zilliz: para navegar por la incertidumbre; necesitas tanto una misión vital como un grupo de personas inteligentes y resilientes con quienes trabajar, algo que Zilliz tiene, y mucho más, por lo que nos esforzaríamos juntos.
Lo que más me entusiasma aquí en Zilliz
Lo que más me entusiasma ahora es el desafío de crear productos altamente utilizables y prácticos que simplifiquen los datos no estructurados para los desarrolladores. Es un problema complejo sin una solución única para todos, que nos exige encontrar una hoja de ruta para el futuro. En Zilliz, tenemos la libertad de hacer lo que sea correcto, una ventaja de trabajar para una startup. Resolver este problema requiere una sólida formación en ingeniería, una profunda visión de producto y empatía por los desarrolladores. Mi rutina diaria implica:
Participar en conversaciones con ventas y arquitectos de soluciones.
Definir detalles del producto.
Orientar el diseño técnico.
Realizar revisiones de código.
Este estilo de trabajo es algo que disfruto, y aprendo cosas nuevas todos los días.
Únete a nosotros en la frontera de las infraestructuras de IA
Aquí en Zilliz, creamos un conjunto de herramientas y servicios que facilitan el proceso de recuperación de información en datos no estructurados. Tenemos Towhee, la solución todo en uno de ETL y embeddings para datos no estructurados; Akcio, la implementación de código abierto de la Generación aumentada por recuperación; y la base de datos vectorial que almacena y busca eficientemente embeddings vectoriales.
Si lo que he descrito aquí te interesa, ¡háznoslo saber! Tenemos una variedad de vacantes en roles de ingeniería. Si construir infraestructuras para gestionar y utilizar datos no estructurados de manera eficaz es lo que te entusiasma, no deberías perder la oportunidad de trabajar con nosotros. También tenemos vacantes para roles de marketing y producto; no dudes en visitar nuestra página de carreras para obtener más información.
Sigue leyendo
Zilliz Cloud Now Available in AWS Europe (Ireland)
Zilliz Cloud launches in AWS eu-west-1 (Ireland) — bringing low-latency vector search, EU data residency, and full GDPR-ready infrastructure to European AI teams. Now live across 30 regions on five cloud providers.
Balancing Precision and Performance: How Zilliz Cloud's New Parameters Help You Optimize Vector Search
Optimize vector search with Zilliz Cloud’s level and recall features to tune accuracy, balance performance, and power AI applications.
How to Build RAG with Milvus, QwQ-32B and Ollama
Hands-on tutorial on how to create a streamlined, powerful RAG pipeline that balances efficiency, accuracy, and scalability using the QwQ-32B and Milvus.