Frank Liu: Por qué me uní a una empresa de bases de datos vectoriales
«Los modelos de aprendizaje automático son como un lenguaje para las computadoras, y los embeddings son las palabras». A menudo uso esta analogía para describir los modelos de aprendizaje automático (ML) y sus embeddings correspondientes, ya sea en una conversación individual o durante una presentación principal. He estado trabajando en y alrededor del aprendizaje automático (principalmente en el subcampo de la visión por computadora) durante casi una década desde que me gradué. Esta analogía es una forma sucinta de explicar la importancia de los embeddings a un público más amplio.
Así como el cerebro humano tiene una región dedicada a los recuerdos y las emociones (el hipocampo), las máquinas también necesitan una solución permanente para almacenar e indexar las palabras y pensamientos de una máquina. Esta área es donde entra en juego la base de datos vectorial: es un hipocampo para las máquinas. Es exactamente lo que estamos construyendo en Zilliz.
La misión de Zilliz no habría resonado conmigo si no entendiera el poder de los embeddings. En esta publicación de blog, te guiaré a través de mi recorrido en este espacio y te mostraré cómo terminé en Zilliz.
Una introducción rápida a los embeddings
Durante décadas, hemos intentado «enseñar» a las computadoras a entender el mundo como lo hacemos nosotros. Los primeros intentos de crear chatbots, por ejemplo, se centraban en reconocer palabras clave y frases, creando la ilusión de una comprensión general. Hasta hace poco, hemos logrado avances increíbles hacia un chatbot de propósito general con LLMs como Claude, Bard y ChatGPT, dando lugar a la posibilidad de «agentes» inteligentes que pueden planificar y ejecutar tareas complejas. En esencia, estos chatbots son redes neuronales especializadas: modelos de ML entrenados con una de las muchas variantes del descenso de gradiente estocástico. Si no estás familiarizado con las redes neuronales, puedes pensar en ellas como grandes modelos informáticos que usan «capas» sucesivas para construir representaciones poderosas que son imposibles con algoritmos hechos a mano.
En el núcleo de todos los modelos de ML se encuentran conceptos conocidos como embeddings, que son vectores de alta dimensión. Proporcionan una forma abstracta pero convincente de representar los datos de entrada en el modelo. Estos embeddings tienen propiedades únicas, pero no las cubriré en esta publicación. Si te interesa aprender más, puedes leer mi publicación sobre búsqueda vectorial, que cubre la mayoría de los conceptos básicos.
Mis (muchos) encuentros con la búsqueda vectorial
Mi primer encuentro con el potencial de los embeddings fue en 2014, cuando comencé a trabajar con redes neuronales en Yahoo. En ese momento, el aprendizaje automático todavía era el «salvaje oeste», y no había herramientas disponibles para redes neuronales. Las plataformas de orquestación basadas en contenedores apenas comenzaban a ganar popularidad (la primera versión de Docker se lanzó en 2013). Fue una época increíblemente emocionante para involucrarse en la visión por computadora y el aprendizaje automático.
Como parte de nuestros esfuerzos por mejorar las plataformas y servicios de Yahoo con capacidades de aprendizaje automático, nos convertimos en uno de los primeros adoptantes de la búsqueda vectorial. Esta decisión dio como resultado un proyecto de varios meses para llevar la búsqueda semántica a gran escala a Flickr, un producto que Yahoo poseía en ese momento. Aunque no participé directamente en este proyecto, lo seguí de cerca. Una iteración temprana de esta búsqueda vectorial se incorporó a Vespa, otro actor en el espacio de las bases de datos vectoriales.
Aproximadamente al mismo tiempo, muchas grandes corporaciones comenzaron a darse cuenta del potencial de la búsqueda vectorial, especialmente para aplicaciones en visión por computadora, como el reconocimiento de imágenes. Aunque apreciaba el poder de las redes neuronales y las representaciones de embeddings, tenía ganas de trabajar más en hardware, ya que estudié Ingeniería Eléctrica en la universidad. Como resultado, dejé ese campo y fundé una empresa de localización en interiores con sede en Shanghái. Durante los siguientes 2-3 años, aprendí una gran lección: fundar una empresa de hardware es un desafío.
En 2019, cambiamos de rumbo para utilizar aprendizaje automático y datos en streaming de unidades de medición inercial (IMU). Los embeddings desempeñaron un papel crucial en nuestro éxito, y conseguimos contratos para implementar nuestra solución para varios clientes, incluidas muchas empresas Fortune 500. Seguí trabajando en la startup durante dos años más hasta que finalmente alcanzamos el punto de equilibrio. En ese momento, decidí que era hora de una nueva aventura.
Avanzando rápidamente hasta 2021, tuve la oportunidad de sentarme con Charles (nuestro CEO) y Robert (Head of Product). A lo largo de los años, los embeddings y la búsqueda vectorial se han vuelto fundamentales para mi identidad y mi éxito dentro del ámbito más amplio del ML. Así que la misión de Zilliz resonó de inmediato conmigo. Tras revisar el espacio más amplio de las bases de datos vectoriales, me sorprendió que el mercado carezca de una solución de búsqueda vectorial asequible y escalable, pese a ser una herramienta conocida y potente. Para mí, estaba clara la capacidad de las bases de datos vectoriales para servir como solución de almacenamiento de facto en la era de la IA/ML. Así que di el salto aquí.
Democratizando la infraestructura de IA empresarial
En Zilliz, hemos encontrado algunos desafíos al adoptar bases de datos vectoriales escalables y nativas de la nube. Por poderosos que sean los embeddings, los ingenieros de ML (yo incluido) a menudo subestiman la importancia de la infraestructura y las herramientas. Somos constructores de corazón y casi siempre preferimos dedicar tiempo a manejar los datos de entrenamiento o perfeccionar la arquitectura del modelo antes que preocuparnos por cómo desplegar una aplicación en producción. En el ámbito de los embeddings, Zilliz está firmemente situada en el centro de un esfuerzo más amplio para democratizar la infraestructura de IA empresarial.
¡Te damos la bienvenida a unirte a nosotros!
Si este mensaje resuena contigo, ¡háznoslo saber! Tenemos una variedad de vacantes en GTM, producto e ingeniería. Si también te apasionan los sistemas de recomendación, la búsqueda semántica y hacer que las computadoras sean más "humanas" en general, no dudes en consultar nuestra página de carreras.
Sigue leyendo
How to Choose the Best Embedding Model for RAG in 2026: 10 Models Benchmarked
We benchmarked 10 embedding models on cross-modal, cross-lingual, long-document, and dimension compression tasks. See which one fits your RAG pipeline.
Democratizing AI: Making Vector Search Powerful and Affordable
Zilliz democratizes AI vector search with Milvus 2.6 and Zilliz Cloud for powerful, affordable scalability, cutting costs in infrastructure, operations, and development.
What is the K-Nearest Neighbors (KNN) Algorithm in Machine Learning?
KNN is a supervised machine learning technique and algorithm for classification and regression. This post is the ultimate guide to KNN.