Zilliz al CalHacks 2023
Lo sto scrivendo dal cuore del Metreon di San Franciso in una soleggiata domenica pomeriggio. Da venerdì pomeriggio (27-29 ottobre), CalHacks è in corso. Con $137,650 in premi in denaro, più i premi degli sponsor, c’erano:
1949 persone nella chat Slack di CalHacks durante l’evento.
Oltre 1000 studenti da tutto il mondo riuniti di persona per fare hacking.
764 studenti ufficialmente in gara nell’evento.
240 candidature di progetti in concorso.
12 progetti eccezionali in gara per il premio sponsor di Zilliz “Best Use of Milvus”.
Fonte immagine: CalHacks 2023.
Abbiamo appena assegnato i nostri premi Zilliz e i progetti erano innovativi e impressionanti!
Best Use of Milvus - Primo posto
Il primo posto è andato al progetto Second Search. Di
Catherine Jin (BS EECS ‘25 UC Berkeley)
Kanishk Garg (BS CS ‘24 University of Texas at Dallas)
Cosa hanno fatto: Hanno preso i video delle lezioni di CS162 caricati su Youtube. Poi hanno preso il testo delle didascalie di quei video, hanno incorporato il testo e hanno salvato i vettori di embedding in Milvus.
Gli utenti potevano digitare un argomento di cui volevano sapere di più. Io ho digitato “Spiega la cache LRU”. Il mio collega ha digitato “Spiega i socket Linux”. La ricerca restituiva 3 segmenti video. Ogni video era collegato al secondo di quel video in cui il professore stava spiegando l’argomento cercato. Tutto ciò che dovevi fare era cliccare su “Play” per ascoltare quella sezione del video. Inoltre, sotto il video veniva visualizzato un riepilogo testuale, che mostrava 1) la metrica di distanza della ricerca vettoriale, 2) il timestamp nel video in riproduzione, 3) il riepilogo testuale di ciò che il professore stava dicendo in quel segmento video.
Abbiamo pensato che l’interfaccia fosse semplice da usare, avesse una sensazione in tempo reale (~1 secondo di tempo di risposta), funzionasse (mostrava video con contenuti pertinenti), usasse Milvus in modo creativo e sembrasse molto utile! Ci piacerebbe vedere un prodotto come questo disponibile su YouTube!
Come l’hanno costruito: Hanno costruito SecondSearch su un database vettoriale open-source Milvus eseguito localmente, usando OpenAI per generare gli embedding, poi hanno completato il prodotto con un frontend React di accompagnamento costruito con la libreria di componenti Chakra UI. Il backend è stato realizzato usando FastAPI e i container docker di Milvus sono stati popolati usando notebook Jupyter. Milvus è ancora più veloce su Zilliz (cloud), ma durante l’hackathon c’erano difficoltà con il wifi nella stanza.
Best Use of Milvus - Secondo posto
Il secondo posto è andato al progetto Jarvis. Di
Dhruv Roongta (BS CS ‘27 Georgia Institute of Technology)
Arnav Chintawar (BS CS ‘27 Georgia Institute of Technology)
Shanttanu Oberoi (BTech Engineering Physics ‘26 IIT Bombay)
Sahib Singh (BS CS ‘27 Georgia Institute of Technology)
Cosa hanno fatto: Hanno costruito un sistema che descrive ciò che una telecamera vede in base alla richiesta di un utente o alle domande su ciò che sta accadendo visivamente. La richiesta dell’utente viene convertita da parlato a testo (in modo simile a Siri/Alexa). Allo stesso tempo l’immagine della telecamera viene convertita in testo. Infine, la sintesi vocale può descrivere ciò che sta accadendo a una persona ipovedente.
Il modello poteva riconoscere le espressioni facciali, fornendo alle persone cieche segnali sociali. Gli utenti potevano porre domande che potevano richiedere un ragionamento critico, come cosa ordinare da un menu o orientarsi in complesse mappe del trasporto pubblico. Il sistema è stato esteso ad Amazfit, consentendo agli utenti di ottenere una descrizione dell'ambiente circostante o identificare le persone intorno a loro con una sola pressione.
Mi sono avvicinata alla fotocamera, è stata in grado di dire che ero una donna con gli occhiali, probabilmente una giudice.
Come l'hanno costruito: Hanno usato Hume, LlaVa, OpenCV, Resnet-50, e next.js per creare il frontend che è stato realizzato con ZeppOS usando lo smartwatch Amazfit. Hanno usato Zilliz (cloud) per ospitare Milvus online, e hanno archiviato un dataset di immagini e i relativi embedding vettoriali. Ogni immagine è stata classificata come una persona per costruire uno strumento di classificazione dell'identità usando lo strumento di reverse-image-search di Zilliz. È stata impostata una soglia minima, al di sotto della quale le identità delle persone non venivano riconosciute, cioè i loro dati non erano in Zilliz. L'accuratezza stimata di questo modello era intorno al 95%.
Miglior uso di Milvus - Menzione d'onore Uno
Leo Liu (BS CS ‘26 U Michigan College of Engineering)
Brian Travis (BE CS ‘25 U Michigan College of Engineering)
Cosa hanno fatto: Seguendo il protocollo 911, hanno costruito un agente AI 911 che ascolta ciò che un chiamante sta dicendo per valutare la situazione, porre domande di approfondimento, scoprire se qualcuno è in pericolo immediato, valutare, e classificare la situazione, assegnando un'urgenza. Questa urgenza viene utilizzata come passaggio 0 per dare priorità all'allocazione delle risorse. La motivazione era che i recenti incendi di Lahaina, HI, avrebbero presumibilmente impiegato 45 minuti per inviare i servizi di emergenza dalla prima chiamata segnalata.
Durante la demo, simulando un chiamante di Lahaina intrappolato dal fuoco, questo sistema è stato in grado di valutare la situazione di pericolo in circa 15 secondi.
calhacks-2023-image4.png
Come l'hanno costruito: Hanno archiviato pdf di manuali di formazione 911 nel database vettoriale Milvus, poi li hanno interrogati insieme agli LLM (OpenAI) per creare risposte al chiamante e valutare la situazione. Classico pattern RAG. Server Milvus locale in esecuzione su Docker, usando node.js SDK. Full stack: client, server, e Milvus DB usando FastAPI e NextJS costruito sopra React.
Miglior uso di Milvus - Menzione d'onore Due
Mental Maps di
Anirudh Pai (BS EECS ‘26 UC Berkeley)
Kushal Kodnad (BS EECS ‘26 UC Berkeley)
Rushil Desai (BS EECS ‘26 UC Berkeley)
Raghav Punnam (BS EECS ‘25 UC Berkeley)
Cosa hanno fatto: Hanno creato un chatbot AI che controlla i tuoi sentimenti e le tue esperienze. Ogni interazione è soggetta ad analisi del sentiment, consentendo all'app di estrarre l'umore prevalente dell'utente. Alla fine di ogni settimana, l'applicazione analizza le tue emozioni, genera riepiloghi settimanali, e ti aiuta a ottenere una migliore comprensione del tuo benessere mentale, il tutto nel tentativo di favorire l'autoconsapevolezza e promuovere una migliore salute mentale.
Come l'hanno costruito: Hanno utilizzato l'API di Hume per l'analisi del sentiment basata su testo, al fine di valutare ogni giorno le risposte emotive dell'utente all'interfaccia di chat. Il modello BERT di Hugging Face è stato utilizzato per convertire le risposte degli utenti in embedding vettoriali ad alta dimensionalità, che sono stati archiviati utilizzando il database vettoriale Milvus, facilitando le ricerche di similarità tra le risposte. Per il frontend, hanno utilizzato React Native per creare un'applicazione iOS. Il server REST Flask del front-end ha utilizzato "axios" per inviare richieste HTTP. La navigazione dell'applicazione era controllata con router di navigazione del database, che archiviano in modo sicuro le sessioni degli utenti.
Grazie a tutti gli organizzatori di CalHacks! Siamo rimasti davvero colpiti da tutti i progetti e la nostra esperienza di sponsorizzazione con Zilliz è stata fantastica (un ringraziamento speciale a Chris Churilo per averci coinvolti e a Chris Chou, organizzatore degli sponsor di CalHacks).
In alto a sinistra: workshop in una sala cinematografica. A destra: Chris Churilo al tavolo dello sponsor Zilliz. In basso a sinistra: calzini promozionali Zilliz, immagine dell'autore. Tutte le altre fonti delle immagini: CalHacks 2023.
Continua a leggere
From Vector Database to Vector Lakebase
Zilliz offers a fully managed Vector Lakebase powered by Milvus, unifying real-time vector search, lake-scale discovery, and Al data operations.
Creating Collections in Zilliz Cloud Just Got Way Easier
We've enhanced the entire collection creation experience to bring advanced capabilities directly into the interface, making it faster and easier to build production-ready schemas without switching tools.
DeepSeek Always Busy? Deploy It Locally with Milvus in Just 10 Minutes—No More Waiting!
Learn how to set up DeepSeek-R1 on your local machine using Ollama, AnythingLLM, and Milvus in just 10 minutes. Bypass busy servers and enhance AI responses with custom data.