Zilliz na CalHacks 2023
Estou escrevendo isto do coração do Metreon de San Franciso em uma tarde ensolarada de domingo. Desde sexta-feira à tarde (27 a 29 de outubro), o CalHacks está acontecendo. Com US$ 137.650 em premiação, além de prêmios de patrocinadores, houve:
1949 pessoas no chat Slack do CalHacks durante o evento.
Mais de 1000 estudantes de todo o mundo reunidos presencialmente para hackear.
764 estudantes competindo oficialmente no evento.
240 submissões de projetos para a competição.
12 projetos excepcionais competindo pelo prêmio de patrocinador da Zilliz “Melhor Uso do Milvus”.
Fonte da imagem: CalHacks 2023.
Acabamos de conceder nossos prêmios da Zilliz, e os projetos foram inovadores e impressionantes!
Melhor Uso do Milvus - Primeiro Lugar
O primeiro lugar foi para o projeto Second Search. Por
Catherine Jin (BS EECS ‘25 UC Berkeley)
Kanishk Garg (BS CS ‘24 University of Texas at Dallas)
O que eles fizeram: Eles pegaram vídeos de aulas de CS162 que foram enviados para o Youtube. Depois, pegaram o texto das legendas desses vídeos, incorporaram o texto e salvaram os vetores de incorporação no Milvus.
Os usuários podiam digitar um tópico sobre o qual queriam saber. Eu digitei “Explique cache LRU”. Meu colega de trabalho digitou “Explique sockets Linux”. A busca retornava 3 segmentos de vídeo. Cada vídeo era vinculado ao segundo daquele vídeo em que o professor estava explicando o tópico pesquisado. Tudo o que você precisava fazer era clicar em “Play” para ouvir aquela seção do vídeo. Além disso, um resumo em texto era exibido abaixo do vídeo, mostrando 1) a métrica de distância da busca vetorial, 2) o timestamp no vídeo sendo reproduzido, 3) resumo em texto do que o professor estava dizendo naquele segmento de vídeo.
Achamos que a UI era simples de usar, tinha uma sensação de tempo real (~1 segundo de tempo de resposta), funcionava (mostrava vídeos com conteúdo relevante), usava o Milvus de uma forma criativa e parecia muito útil! Adoraríamos ver um produto como este disponível no YouTube!
Como eles construíram: Eles construíram o SecondSearch em um banco de dados vetorial open-source Milvus executado localmente, usando a OpenAI para gerar as incorporações, e então completaram o produto com um frontend React complementar construído com a biblioteca de componentes Chakra UI. O backend foi feito usando FastAPI e os containers docker do Milvus foram populados usando notebooks Jupyter. O Milvus é ainda mais rápido na Zilliz (cloud), mas houve dificuldades com o wifi na sala durante o hackathon.
Melhor Uso do Milvus - Segundo Lugar
O segundo lugar foi para o projeto Jarvis. Por
Dhruv Roongta (BS CS ‘27 Georgia Institute of Technology)
Arnav Chintawar (BS CS ‘27 Georgia Institute of Technology)
Shanttanu Oberoi (BTech Engineering Physics ‘26 IIT Bombay)
Sahib Singh (BS CS ‘27 Georgia Institute of Technology)
O que eles fizeram: Eles construíram um sistema que descreve o que uma câmera vê com base na solicitação ou nas perguntas de um usuário sobre o que está acontecendo visualmente. A solicitação do usuário é convertida de fala para texto (semelhante à Siri/Alexa). Ao mesmo tempo, a imagem da câmera é convertida em texto. Por fim, a conversão de texto para fala pode descrever o que está acontecendo para uma pessoa com deficiência visual.
O modelo conseguia reconhecer expressões faciais, fornecendo pistas sociais a pessoas cegas. Os usuários podiam fazer perguntas que talvez exigissem raciocínio crítico, como o que pedir de um menu ou como navegar por mapas complexos de transporte público. O sistema foi estendido para o Amazfit, permitindo que os usuários obtivessem uma descrição do ambiente ao redor ou identificassem as pessoas ao seu redor com um único toque.
Eu caminhei até a câmera, e ela conseguiu dizer que eu era uma mulher de óculos, provavelmente uma jurada.
Como eles construíram: Eles usaram Hume, LlaVa, OpenCV, Resnet-50 e next.js para criar o frontend, que foi estabelecido com ZeppOS usando o smartwatch Amazfit. Eles usaram Zilliz (cloud) para hospedar o Milvus online e armazenaram um conjunto de dados de imagens e seus embeddings vetoriais. Cada imagem foi classificada como uma pessoa para construir uma ferramenta de classificação de identidade usando a ferramenta de busca reversa de imagens da Zilliz. Um limite mínimo foi definido, abaixo do qual as identidades das pessoas não eram reconhecidas, ou seja, seus dados não estavam na Zilliz. A precisão estimada deste modelo foi de cerca de 95%.
Melhor Uso do Milvus - Menção Honrosa Um
Zeroth Responder por
Leo Liu (BS CS ‘26 U Michigan College of Engineering)
Brian Travis (BE CS ‘25 U Michigan College of Engineering)
O que eles fizeram: Seguindo o protocolo 911, eles construíram um agente de IA 911 que escuta o que uma pessoa que liga está dizendo para avaliar a situação, fazer perguntas de acompanhamento, descobrir se alguém está em perigo imediato, avaliar e classificar a situação, atribuindo uma urgência. Essa urgência é usada como a etapa 0 para priorizar alocações de recursos. A motivação foi que os recentes incêndios em Lahaina, HI, supostamente levaram 45 minutos para despachar serviços de emergência a partir da primeira chamada relatada.
Durante a demonstração, simulando uma pessoa de Lahaina presa pelo fogo fazendo uma chamada, este sistema conseguiu avaliar a situação de perigo em cerca de 15 segundos.
calhacks-2023-image4.png
Como eles construíram: Eles armazenaram PDFs de manuais de treinamento do 911 no banco de dados vetorial Milvus e depois os consultaram em conjunto com LLMs (OpenAI) para criar respostas para a pessoa que ligava e avaliar a situação. Padrão RAG clássico. Servidor Milvus local rodando em Docker, usando SDK node.js. Stack completo: cliente, servidor e Milvus DB usando FastAPI e NextJS construídos sobre React.
Melhor Uso do Milvus - Menção Honrosa Dois
Mental Maps por
Anirudh Pai (BS EECS ‘26 UC Berkeley)
Kushal Kodnad (BS EECS ‘26 UC Berkeley)
Rushil Desai (BS EECS ‘26 UC Berkeley)
Raghav Punnam (BS EECS ‘25 UC Berkeley)
O que eles fizeram: Eles criaram um chatbot de IA que pergunta como você está se sentindo e quais experiências teve. Cada interação é submetida à análise de sentimento, permitindo que o aplicativo extraia o humor predominante do usuário. No final de cada semana, a aplicação analisa suas emoções, gera resumos semanais e ajuda você a obter uma melhor compreensão do seu bem-estar mental — tudo em um esforço para fomentar a autoconsciência e promover uma melhor saúde mental.
Como eles construíram: Eles usaram a API da Hume para análise de sentimentos baseada em texto para avaliar as respostas emocionais do usuário à interface de chat a cada dia. O modelo BERT da Hugging Face foi usado para converter as respostas dos usuários em embeddings vetoriais de alta dimensionalidade, que foram armazenados usando o banco de dados vetorial Milvus, facilitando buscas por similaridade entre respostas. Para o frontend, eles utilizaram React Native para criar uma aplicação iOS. O servidor REST Flask do front-end usou "axios" para enviar requisições HTTP. A navegação da aplicação foi controlada com roteadores de navegação de banco de dados, que armazenam sessões de usuário com segurança.
Obrigado a todos os organizadores do CalHacks! Ficamos realmente impressionados com todos os projetos, e nossa experiência de patrocínio com a Zilliz foi fantástica (agradecimentos especiais a Chris Churilo por nos envolver e a Chris Chou, organizador de patrocinadores do CalHacks).
Canto superior esquerdo: workshop em uma sala de cinema. À direita: Chris Churilo na mesa de patrocinador da Zilliz. Canto inferior esquerdo: meias promocionais da Zilliz, imagem do autor. Todas as outras fontes de imagem: CalHacks 2023.
Continue lendo
Top 10 Context Engineering Techniques You Should Know for Production RAG
A practical guide to context engineering for production LLM systems, covering RAG, context processing, memory, agents, and multimodal context.
Why I’m Against Claude Code’s Grep-Only Retrieval? It Just Burns Too Many Tokens
Learn how vector-based code retrieval cuts Claude Code token consumption by 40%. Open-source solution with easy MCP integration. Try claude-context today.
Data Deduplication at Trillion Scale: How to Solve the Biggest Bottleneck of LLM Training
Explore how MinHash LSH and Milvus handle data deduplication at the trillion-scale level, solving key bottlenecks in LLM training for improved AI model performance.