Zilliz на CalHacks 2023
Я пишу это из самого сердца Metreon в Сан-Франциско солнечным воскресным днём. С пятницы после полудня (27–29 октября) проходит CalHacks. При призовом фонде в $137,650 плюс награды от спонсоров было:
1949 человек в Slack-чате CalHacks во время мероприятия.
Более 1000 студентов со всего мира собрались лично, чтобы заниматься хакингом.
764 студента официально участвовали в соревновании.
240 конкурсных проектов было отправлено.
12 выдающихся проектов боролись за спонсорский приз Zilliz «Best Use of Milvus».
Источник изображения: CalHacks 2023.
Мы только что вручили наши призы Zilliz, и проекты были инновационными и впечатляющими!
Best Use of Milvus - Первое место
Первое место досталось проекту Second Search. Авторы:
Catherine Jin (BS EECS ‘25 UC Berkeley)
Kanishk Garg (BS CS ‘24 University of Texas at Dallas)
Что они сделали: Они взяли видеозаписи лекций CS162, загруженные на Youtube. Затем они взяли текст субтитров этих видео, создали эмбеддинги текста и сохранили векторы эмбеддингов в Milvus.
Пользователи могли ввести тему, о которой хотели узнать. Я набрал «Explain LRU cache». Мой коллега набрал «Explain Linux sockets». Поиск возвращал 3 видеосегмента. Каждый видеоролик был привязан к той секунде в видео, где профессор объяснял искомую тему. Всё, что нужно было сделать, — нажать «Play», чтобы услышать этот фрагмент видео. Кроме того, под видео отображалось текстовое резюме, показывающее 1) метрику расстояния векторного поиска, 2) временную метку в воспроизводимом видео, 3) текстовое резюме того, что профессор говорил в этом видеосегменте.
Мы сочли UI простым в использовании, с ощущением работы в реальном времени (~1 секунда времени отклика), он работал (показывал видео с релевантным содержанием), использовал Milvus творческим образом и казался очень полезным! Мы бы с радостью увидели такой продукт доступным на YouTube!
Как они это построили: Они построили SecondSearch на локально запущенной open-source векторной базе данных Milvus, используя OpenAI для генерации эмбеддингов, а затем завершили продукт сопутствующим React-фронтендом, созданным с библиотекой компонентов Chakra UI. Бэкенд был сделан с использованием FastAPI, а docker-контейнеры Milvus были заполнены с помощью Jupyter notebooks. Milvus ещё быстрее на Zilliz (cloud), но во время хакатона в помещении были трудности с wifi.
Best Use of Milvus - Второе место
Второе место досталось проекту Jarvis. Авторы:
Dhruv Roongta (BS CS ‘27 Georgia Institute of Technology)
Arnav Chintawar (BS CS ‘27 Georgia Institute of Technology)
Shanttanu Oberoi (BTech Engineering Physics ‘26 IIT Bombay)
Sahib Singh (BS CS ‘27 Georgia Institute of Technology)
Что они сделали: Они построили систему, которая описывает, что видит камера, на основе запроса пользователя или вопросов о том, что происходит визуально. Запрос пользователя преобразуется из речи в текст (похоже на Siri/Alexa). В то же время изображение с камеры преобразуется в текст. Наконец, преобразование текста в речь может описать происходящее человеку с нарушением зрения.
Модель могла распознавать выражения лиц, предоставляя слепым людям социальные подсказки. Пользователи могли задавать вопросы, требующие критического мышления, например что заказать из меню или как ориентироваться в сложных схемах общественного транспорта. Система была расширена на Amazfit, позволяя пользователям получать описание окружающей обстановки или идентифицировать людей вокруг них одним нажатием.
Я подошла к камере, и она смогла определить, что я женщина в очках, вероятно, судья.
Как они это создали: Они использовали Hume, LlaVa, OpenCV, Resnet-50 и next.js для создания фронтенда, который был реализован с ZeppOS с использованием смарт-часов Amazfit. Они использовали Zilliz (cloud) для размещения Milvus онлайн и хранили набор данных изображений и их векторных эмбеддингов. Каждое изображение классифицировалось как человек, чтобы создать инструмент классификации личности с использованием инструмента обратного поиска по изображениям от Zilliz. Был установлен минимальный порог, ниже которого личности людей не распознавались, т. е. их данных не было в Zilliz. Оценочная точность этой модели составляла около 95%.
Лучшее использование Milvus — почетное упоминание один
Leo Liu (BS CS ‘26 U Michigan College of Engineering)
Brian Travis (BE CS ‘25 U Michigan College of Engineering)
Что они сделали: Следуя протоколу 911, они создали AI-агента 911, который слушает, что говорит звонящий, чтобы оценить ситуацию, задать уточняющие вопросы, выяснить, находится ли кто-либо в непосредственной опасности, оценить и классифицировать ситуацию, присвоив ей уровень срочности. Эта срочность используется как нулевой шаг для приоритизации распределения ресурсов. Мотивация заключалась в том, что во время недавних пожаров в Лахаине, Гавайи, предположительно потребовалось 45 минут, чтобы отправить экстренные службы после первого зарегистрированного звонка.
Во время демонстрации, имитирующей звонящего из Лахаины, оказавшегося в ловушке огня, эта система смогла оценить опасную ситуацию примерно за 15 секунд.
calhacks-2023-image4.png
Как они это создали: Они сохранили pdf-файлы учебного руководства 911 в векторной базе данных Milvus, затем выполняли запросы к ней совместно с LLM (OpenAI), чтобы создавать ответы звонящему и оценивать ситуацию. Классический шаблон RAG. Локальный сервер Milvus, работающий на Docker, с использованием node.js SDK. Полный стек: клиент, сервер и Milvus DB с использованием FastAPI и NextJS, построенных поверх React.
Лучшее использование Milvus — почетное упоминание два
Mental Maps от
Anirudh Pai (BS EECS ‘26 UC Berkeley)
Kushal Kodnad (BS EECS ‘26 UC Berkeley)
Rushil Desai (BS EECS ‘26 UC Berkeley)
Raghav Punnam (BS EECS ‘25 UC Berkeley)
Что они сделали: Они создали AI-чатбота, который интересуется вашими чувствами и переживаниями. Каждое взаимодействие подвергается анализу тональности, что позволяет приложению извлекать преобладающее настроение пользователя. В конце каждой недели приложение анализирует ваши эмоции, генерирует еженедельные сводки и помогает вам лучше понять свое ментальное благополучие — всё это с целью развивать самоосознанность и способствовать лучшему ментальному здоровью.
Как они это создали: Они использовали Hume API для текстового анализа тональности, чтобы ежедневно оценивать эмоциональные реакции пользователя на интерфейс чата. Модель BERT Hugging Face использовалась для преобразования ответов пользователей в многомерные векторные эмбеддинги, которые сохранялись с помощью векторной базы данных Milvus, облегчая поиск сходства между ответами. Для фронтенда они использовали React Native, чтобы создать iOS-приложение. Фронтенд Flask REST-сервер использовал "axios" для отправки HTTP-запросов. Навигация в приложении управлялась с помощью маршрутизаторов навигации базы данных, которые безопасно хранят пользовательские сессии.
Спасибо всем организаторам CalHacks! Мы были по-настоящему впечатлены всеми проектами, а наш опыт спонсорства с Zilliz был фантастическим (особая благодарность Chris Churilo за то, что привлек нас к участию, и Chris Chou, организатору спонсоров CalHacks).
Вверху слева: воркшоп в кинотеатре. Справа: Chris Churilo за спонсорским столом Zilliz. Внизу слева: фирменные носки Zilliz, изображение автора. Все остальные источники изображений: CalHacks 2023.
Читать далее
Introducing Functions and Model Inference on Zilliz Cloud: Automatic Embedding and Reranking with Hosted Models
Zilliz Cloud Functions auto-generate embeddings via OpenAI, Voyage AI, Cohere, or Zilliz Hosted Models. Built-in reranking — just insert text and search.
Will Amazon S3 Vectors Kill Vector Databases—or Save Them?
AWS S3 Vectors aims for 90% cost savings for vector storage. But will it kill vectordbs like Milvus? A deep dive into costs, limits, and the future of tiered storage.
OpenAI o1: What Developers Need to Know
In this article, we will talk about the o1 series from a developer's perspective, exploring how these models can be implemented for sophisticated use cases.