Zilliz en CalHacks 2023
Estoy escribiendo esto desde el corazón del Metreon de San Franciso en una soleada tarde de domingo. Desde el viernes por la tarde (27-29 de octubre), CalHacks ha estado en marcha. Con $137,650 en premios, además de premios de patrocinadores, hubo:
1949 personas en el chat de Slack de CalHacks durante el evento.
Más de 1000 estudiantes de todo el mundo reuniéndose en persona para hackear.
764 estudiantes compitiendo oficialmente en el evento.
240 presentaciones de proyectos para la competencia.
12 proyectos destacados compitiendo por el premio de patrocinador de Zilliz “Best Use of Milvus”.
Fuente de la imagen: CalHacks 2023.
¡Acabamos de otorgar nuestros premios de Zilliz y los proyectos fueron innovadores e impresionantes!
Best Use of Milvus - Primer lugar
El primer lugar fue para el proyecto Second Search. Por
Catherine Jin (BS EECS ‘25 UC Berkeley)
Kanishk Garg (BS CS ‘24 University of Texas at Dallas)
Lo que hicieron: Tomaron videos de clases de CS162 que se habían subido a Youtube. Luego tomaron el texto de los subtítulos de esos videos, incrustaron el texto y guardaron los vectores de incrustación en Milvus.
Los usuarios podían escribir un tema sobre el que querían saber. Yo escribí “Explica la caché LRU”. Mi compañero de trabajo escribió “Explica los sockets de Linux”. La búsqueda devolvía 3 segmentos de video. Cada video estaba vinculado al segundo de ese video en el que el profesor estaba explicando el tema buscado. Todo lo que tenías que hacer era hacer clic en “Play” para escuchar esa sección del video. Además, se mostraba un resumen de texto debajo del video, mostrando 1) la métrica de distancia de búsqueda vectorial, 2) la marca de tiempo en el video que se estaba reproduciendo, 3) un resumen de texto de lo que el profesor decía en ese segmento de video.
Pensamos que la interfaz de usuario era fácil de usar, tenía una sensación en tiempo real (~1 segundo de tiempo de respuesta), funcionaba (mostraba videos con contenido relevante), usaba Milvus de una manera creativa y sonaba muy útil. ¡Nos encantaría ver un producto así disponible en YouTube!
Cómo lo construyeron: Construyeron SecondSearch sobre una base de datos vectorial open-source Milvus ejecutándose localmente, usando OpenAI para generar las incrustaciones, y luego completaron el producto con un frontend complementario en React construido con la biblioteca de componentes Chakra UI. El backend se hizo usando FastAPI y los contenedores docker de Milvus se poblaron usando notebooks de Jupyter. Milvus es aún más rápido en Zilliz (cloud), pero hubo dificultades con el wifi en la sala durante el hackathon.
Best Use of Milvus - Segundo lugar
El segundo lugar fue para el proyecto Jarvis. Por
Dhruv Roongta (BS CS ‘27 Georgia Institute of Technology)
Arnav Chintawar (BS CS ‘27 Georgia Institute of Technology)
Shanttanu Oberoi (BTech Engineering Physics ‘26 IIT Bombay)
Sahib Singh (BS CS ‘27 Georgia Institute of Technology)
Lo que hicieron: Construyeron un sistema que describe lo que ve una cámara según la solicitud o las preguntas de un usuario sobre lo que está ocurriendo visualmente. La solicitud del usuario se convierte de voz a texto (similar a Siri/Alexa). Al mismo tiempo, la imagen de la cámara se convierte en texto. Finalmente, la conversión de texto a voz puede describir lo que está pasando a una persona con discapacidad visual.
El modelo podía reconocer expresiones faciales, proporcionando señales sociales a las personas ciegas. Los usuarios podían hacer preguntas que podrían requerir razonamiento crítico, como qué pedir de un menú o cómo navegar mapas complejos de transporte público. El sistema se extendió a Amazfit, lo que permitió a los usuarios obtener una descripción de su entorno o identificar a las personas a su alrededor con una sola pulsación.
Me acerqué a la cámara, y pudo decir que era una mujer con gafas, probablemente una jueza.
Cómo lo construyeron: Usaron Hume, LlaVa, OpenCV, Resnet-50 y next.js para crear el frontend, que se estableció con ZeppOS usando el smartwatch Amazfit. Usaron Zilliz (cloud) para alojar Milvus en línea, y almacenaron un conjunto de datos de imágenes y sus embeddings vectoriales. Cada imagen se clasificó como una persona para construir una herramienta de clasificación de identidad usando la herramienta de búsqueda inversa de imágenes de Zilliz. Se estableció un umbral mínimo, por debajo del cual las identidades de las personas no eran reconocidas, es decir, sus datos no estaban en Zilliz. La precisión estimada de este modelo fue de alrededor del 95%.
Mejor uso de Milvus - Mención honorífica uno
Leo Liu (BS CS ‘26 U Michigan College of Engineering)
Brian Travis (BE CS ‘25 U Michigan College of Engineering)
Qué hicieron: Siguiendo el protocolo del 911, construyeron un agente de IA para el 911 que escucha lo que dice una persona que llama para evaluar la situación, hacer preguntas de seguimiento, averiguar si alguien está en peligro inmediato, valorar y clasificar la situación, asignándole una urgencia. Esta urgencia se usa como el paso 0 para priorizar la asignación de recursos. La motivación fue que los recientes incendios de Lahaina, HI supuestamente tardaron 45 minutos en despachar servicios de emergencia desde la primera llamada reportada.
Durante la demo, simulando a una persona de Lahaina atrapada por el fuego, este sistema pudo evaluar la situación de peligro en unos 15 segundos.
calhacks-2023-image4.png
Cómo lo construyeron: Almacenaron PDFs de manuales de capacitación del 911 en la base de datos vectorial Milvus, y luego la consultaron en conjunto con LLMs (OpenAI) para crear respuestas para la persona que llamaba y evaluar la situación. Patrón clásico de RAG. Servidor local de Milvus ejecutándose en Docker, usando el SDK de node.js. Stack completo: cliente, servidor y Milvus DB usando FastAPI y NextJS construido sobre React.
Mejor uso de Milvus - Mención honorífica dos
Mental Maps de
Anirudh Pai (BS EECS ‘26 UC Berkeley)
Kushal Kodnad (BS EECS ‘26 UC Berkeley)
Rushil Desai (BS EECS ‘26 UC Berkeley)
Raghav Punnam (BS EECS ‘25 UC Berkeley)
Qué hicieron: Crearon un chatbot de IA que pregunta cómo te sientes y cómo van tus experiencias. Cada interacción está sujeta a análisis de sentimiento, lo que permite a la app extraer el estado de ánimo predominante del usuario. Al final de cada semana, la aplicación analiza tus emociones, genera resúmenes semanales y te ayuda a comprender mejor tu bienestar mental, todo ello con el fin de fomentar la autoconciencia y promover una mejor salud mental.
Cómo lo construyeron: Usaron la API de Hume para el análisis de sentimientos basado en texto, con el fin de medir las respuestas emocionales del usuario a la interfaz de chat cada día. Se utilizó el modelo BERT de Hugging Face para convertir las respuestas de los usuarios en incrustaciones vectoriales de alta dimensionalidad, que se almacenaron usando la base de datos vectorial Milvus, lo que facilitó las búsquedas de similitud entre respuestas. Para el frontend, utilizaron React Native para crear una aplicación iOS. El servidor REST Flask del front-end usó "axios" para enviar solicitudes HTTP. La navegación de la aplicación se controló con enrutadores de navegación de base de datos, que almacenan de forma segura las sesiones de usuario.
¡Gracias a todos los organizadores de CalHacks! Nos impresionaron mucho todos los proyectos, y nuestra experiencia de patrocinio con Zilliz fue fantástica (un agradecimiento especial a Chris Churilo por involucrarnos y a Chris Chou, organizador de patrocinadores de CalHacks).
Arriba a la izquierda: taller en una sala de cine. Derecha: Chris Churilo en la mesa de patrocinio de Zilliz. Abajo a la izquierda: calcetines promocionales de Zilliz, imagen del autor. Todas las demás fuentes de imagen: CalHacks 2023.
Sigue leyendo
Will Amazon S3 Vectors Kill Vector Databases—or Save Them?
AWS S3 Vectors aims for 90% cost savings for vector storage. But will it kill vectordbs like Milvus? A deep dive into costs, limits, and the future of tiered storage.
Democratizing AI: Making Vector Search Powerful and Affordable
Zilliz democratizes AI vector search with Milvus 2.6 and Zilliz Cloud for powerful, affordable scalability, cutting costs in infrastructure, operations, and development.
AI Integration in Video Surveillance Tools: Transforming the Industry with Vector Databases
Discover how AI and vector databases are revolutionizing video surveillance with real-time analysis, faster threat detection, and intelligent search capabilities for enhanced security.