Zilliz à CalHacks 2023
J’écris ceci depuis le cœur du Metreon de San Franciso, par un dimanche après-midi ensoleillé. Depuis vendredi après-midi (27-29 oct.), CalHacks est en cours. Avec 137 650 $ de prix en argent, plus les récompenses des sponsors, il y avait :
1949 personnes sur le chat Slack de CalHacks pendant l’événement.
Plus de 1000 étudiants du monde entier réunis en personne pour hacker.
764 étudiants officiellement en compétition lors de l’événement.
240 projets soumis à la compétition.
12 projets exceptionnels en compétition pour le prix sponsor de Zilliz « Best Use of Milvus ».
Source de l’image : CalHacks 2023.
Nous venons de remettre nos prix Zilliz et les projets étaient innovants et impressionnants !
Best Use of Milvus - Première place
La première place est revenue au projet Second Search. Par
Catherine Jin (BS EECS ‘25 UC Berkeley)
Kanishk Garg (BS CS ‘24 University of Texas at Dallas)
Ce qu’ils ont fait : Ils ont pris des vidéos de cours CS162 qui avaient été téléversées sur Youtube. Ensuite, ils ont pris le texte des sous-titres de ces vidéos, ont intégré le texte, puis ont enregistré les vecteurs d’intégration dans Milvus.
Les utilisateurs pouvaient saisir un sujet sur lequel ils voulaient en savoir plus. J’ai tapé « Explique le cache LRU ». Mon collègue a tapé « Explique les sockets Linux ». La recherche renvoyait 3 segments vidéo. Chaque vidéo était liée à la seconde précise dans cette vidéo où le professeur expliquait le sujet recherché. Tout ce que vous aviez à faire était de cliquer sur « Play » pour entendre cette section de la vidéo. De plus, un résumé textuel était affiché sous la vidéo, montrant 1) la métrique de distance de la recherche vectorielle, 2) l’horodatage dans la vidéo en cours de lecture, 3) un résumé textuel de ce que le professeur disait dans ce segment vidéo.
Nous avons trouvé que l’interface utilisateur était simple à utiliser, qu’elle donnait une impression de temps réel (~1 seconde de temps de réponse), qu’elle fonctionnait (elle montrait des vidéos avec du contenu pertinent), qu’elle utilisait Milvus de manière créative et qu’elle semblait très utile ! Nous aimerions beaucoup voir un produit comme celui-ci disponible sur YouTube !
Comment ils l’ont construit : Ils ont construit SecondSearch sur une base de données vectorielle open-source Milvus exécutée localement, en utilisant OpenAI pour générer les intégrations, puis ont finalisé le produit avec un frontend React compagnon construit avec la bibliothèque de composants Chakra UI. Le backend a été réalisé avec FastAPI et les conteneurs docker Milvus ont été peuplés à l’aide de notebooks Jupyter. Milvus est encore plus rapide sur Zilliz (cloud), mais il y avait des difficultés de wifi dans la salle pendant le hackathon.
Best Use of Milvus - Deuxième place
La deuxième place est revenue au projet Jarvis. Par
Dhruv Roongta (BS CS ‘27 Georgia Institute of Technology)
Arnav Chintawar (BS CS ‘27 Georgia Institute of Technology)
Shanttanu Oberoi (BTech Engineering Physics ‘26 IIT Bombay)
Sahib Singh (BS CS ‘27 Georgia Institute of Technology)
Ce qu’ils ont fait : Ils ont construit un système qui décrit ce qu’une caméra voit en fonction de la demande d’un utilisateur ou de ses questions sur ce qui se passe visuellement. La demande de l’utilisateur est convertie de la parole en texte (similaire à Siri/Alexa). En même temps, l’image de la caméra est convertie en texte. Enfin, la synthèse vocale peut décrire ce qui se passe à une personne malvoyante.
Le modèle pouvait reconnaître les expressions faciales, fournissant aux personnes aveugles des indices sociaux. Les utilisateurs pouvaient poser des questions susceptibles de nécessiter un raisonnement critique, comme quoi commander dans un menu ou comment naviguer dans des cartes complexes de transports publics. Le système a été étendu à Amazfit, permettant aux utilisateurs d’obtenir une description de leur environnement ou d’identifier les personnes autour d’eux d’une simple pression.
Je me suis avancée vers la caméra, elle a pu dire que j’étais une femme avec des lunettes, probablement une juge.
Comment ils l’ont construit : Ils ont utilisé Hume, LlaVa, OpenCV, Resnet-50 et next.js pour créer le frontend, qui a été établi avec ZeppOS en utilisant la smartwatch Amazfit. Ils ont utilisé Zilliz (cloud) pour héberger Milvus en ligne, et ont stocké un jeu de données d’images et leurs plongements vectoriels. Chaque image a été classée comme une personne afin de construire un outil de classification d’identité à l’aide de l’outil de recherche d’image inversée de Zilliz. Un seuil minimal a été défini, en dessous duquel les identités des personnes n’étaient pas reconnues, c.-à-d. que leurs données n’étaient pas dans Zilliz. La précision estimée de ce modèle était d’environ 95 %.
Meilleure utilisation de Milvus - Mention honorable numéro un
Zeroth Responder par
Leo Liu (BS CS ‘26 U Michigan College of Engineering)
Brian Travis (BE CS ‘25 U Michigan College of Engineering)
Ce qu’ils ont fait : En suivant le protocole 911, ils ont construit un agent IA 911 qui écoute ce qu’un appelant dit pour juger la situation, poser des questions de suivi, déterminer si quelqu’un est en danger immédiat, évaluer et classer la situation, en attribuant un degré d’urgence. Cette urgence est utilisée comme étape 0 pour prioriser l’allocation des ressources. La motivation était que les récents incendies de Lahaina, HI auraient supposément mis 45 minutes avant que les services d’urgence ne soient envoyés après le premier appel signalé.
Pendant la démo, simulant un appelant de Lahaina piégé par le feu, ce système a été capable d’évaluer la situation de danger en environ 15 secondes.
calhacks-2023-image4.png
Comment ils l’ont construit : Ils ont stocké des pdfs de manuels de formation 911 dans la base de données vectorielle Milvus, puis l’ont interrogée conjointement avec des LLMs (OpenAI) pour créer des réponses à l’appelant et évaluer la situation. Modèle RAG classique. Serveur Milvus local exécuté sur Docker, utilisant le SDK node.js. Full stack : client, serveur et Milvus DB utilisant FastAPI et NextJS construit sur React.
Meilleure utilisation de Milvus - Mention honorable numéro deux
Mental Maps par
Anirudh Pai (BS EECS ‘26 UC Berkeley)
Kushal Kodnad (BS EECS ‘26 UC Berkeley)
Rushil Desai (BS EECS ‘26 UC Berkeley)
Raghav Punnam (BS EECS ‘25 UC Berkeley)
Ce qu’ils ont fait : Ils ont créé un chatbot IA qui prend de vos nouvelles concernant vos sentiments et expériences. Chaque interaction est soumise à une analyse des sentiments, permettant à l’application d’extraire l’humeur dominante de l’utilisateur. À la fin de chaque semaine, l’application analyse vos émotions, génère des résumés hebdomadaires et vous aide à mieux comprendre votre bien-être mental — le tout dans le but de favoriser la conscience de soi et de promouvoir une meilleure santé mentale.
Comment ils l'ont construit : Ils ont utilisé l’API Hume pour l’analyse des sentiments basée sur le texte afin d’évaluer chaque jour les réponses émotionnelles de l’utilisateur à l’interface de chat. Le modèle BERT Hugging Face a été utilisé pour convertir les réponses des utilisateurs en embeddings vectoriels de grande dimension, qui ont été stockés à l’aide de la base de données vectorielle Milvus, facilitant les recherches de similarité entre les réponses. Pour le frontend, ils ont utilisé React Native pour créer une application iOS. Le serveur REST Flask front-end utilisait "axios" pour envoyer des requêtes HTTP. La navigation dans l’application était contrôlée avec des routeurs de navigation de base de données, qui stockent de manière sécurisée les sessions utilisateur.
Merci à tous les organisateurs de CalHacks ! Nous avons été vraiment impressionnés par tous les projets, et notre expérience de sponsoring avec Zilliz a été fantastique (un merci spécial à Chris Churilo pour nous avoir fait participer et à Chris Chou, organisateur des sponsors de CalHacks).
En haut à gauche : atelier dans une salle de cinéma. À droite : Chris Churilo à la table de sponsor Zilliz. En bas à gauche : chaussettes promotionnelles Zilliz, image par l’auteur. Toutes les autres sources d’images : CalHacks 2023.
Continuer à lire
Zilliz Cloud Just Landed in Claude Code
The Zilliz Cloud Plugin brings the full power of Zilliz Cloud directly into your Claude Code terminal as natural-language conversations.
Introducing Business Critical Plan: Enterprise-Grade Security and Compliance for Mission-Critical AI Applications
Discover Zilliz Cloud’s Business Critical Plan—offering advanced security, compliance, and uptime for mission-critical AI and vector database workloads.
DeepSeek Always Busy? Deploy It Locally with Milvus in Just 10 Minutes—No More Waiting!
Learn how to set up DeepSeek-R1 on your local machine using Ollama, AnythingLLM, and Milvus in just 10 minutes. Bypass busy servers and enhance AI responses with custom data.