46.6kЗаказать демоВойтиНачать бесплатно

Zilliz на CalHacks 2023

Nov 03, 20235 min read

Я пишу это из самого сердца Metreon в Сан-Франциско солнечным воскресным днём. С пятницы после полудня (27–29 октября) проходит CalHacks. При призовом фонде в $137,650 плюс награды от спонсоров было:

  • 1949 человек в Slack-чате CalHacks во время мероприятия.

  • Более 1000 студентов со всего мира собрались лично, чтобы заниматься хакингом.

  • 764 студента официально участвовали в соревновании.

  • 240 конкурсных проектов было отправлено.

  • 12 выдающихся проектов боролись за спонсорский приз Zilliz «Best Use of Milvus».

Источник изображения: CalHacks 2023. Источник изображения: CalHacks 2023.

Мы только что вручили наши призы Zilliz, и проекты были инновационными и впечатляющими!

Best Use of Milvus - Первое место

Первое место досталось проекту Second Search. Авторы:

Что они сделали: Они взяли видеозаписи лекций CS162, загруженные на Youtube. Затем они взяли текст субтитров этих видео, создали эмбеддинги текста и сохранили векторы эмбеддингов в Milvus.

Пользователи могли ввести тему, о которой хотели узнать. Я набрал «Explain LRU cache». Мой коллега набрал «Explain Linux sockets». Поиск возвращал 3 видеосегмента. Каждый видеоролик был привязан к той секунде в видео, где профессор объяснял искомую тему. Всё, что нужно было сделать, — нажать «Play», чтобы услышать этот фрагмент видео. Кроме того, под видео отображалось текстовое резюме, показывающее 1) метрику расстояния векторного поиска, 2) временную метку в воспроизводимом видео, 3) текстовое резюме того, что профессор говорил в этом видеосегменте.

Мы сочли UI простым в использовании, с ощущением работы в реальном времени (~1 секунда времени отклика), он работал (показывал видео с релевантным содержанием), использовал Milvus творческим образом и казался очень полезным! Мы бы с радостью увидели такой продукт доступным на YouTube!

Как они это построили: Они построили SecondSearch на локально запущенной open-source векторной базе данных Milvus, используя OpenAI для генерации эмбеддингов, а затем завершили продукт сопутствующим React-фронтендом, созданным с библиотекой компонентов Chakra UI. Бэкенд был сделан с использованием FastAPI, а docker-контейнеры Milvus были заполнены с помощью Jupyter notebooks. Milvus ещё быстрее на Zilliz (cloud), но во время хакатона в помещении были трудности с wifi.

Best Use of Milvus - Второе место

Второе место досталось проекту Jarvis. Авторы:

Что они сделали: Они построили систему, которая описывает, что видит камера, на основе запроса пользователя или вопросов о том, что происходит визуально. Запрос пользователя преобразуется из речи в текст (похоже на Siri/Alexa). В то же время изображение с камеры преобразуется в текст. Наконец, преобразование текста в речь может описать происходящее человеку с нарушением зрения.

Модель могла распознавать выражения лиц, предоставляя слепым людям социальные подсказки. Пользователи могли задавать вопросы, требующие критического мышления, например что заказать из меню или как ориентироваться в сложных схемах общественного транспорта. Система была расширена на Amazfit, позволяя пользователям получать описание окружающей обстановки или идентифицировать людей вокруг них одним нажатием.

Я подошла к камере, и она смогла определить, что я женщина в очках, вероятно, судья.

Как они это создали: Они использовали Hume, LlaVa, OpenCV, Resnet-50 и next.js для создания фронтенда, который был реализован с ZeppOS с использованием смарт-часов Amazfit. Они использовали Zilliz (cloud) для размещения Milvus онлайн и хранили набор данных изображений и их векторных эмбеддингов. Каждое изображение классифицировалось как человек, чтобы создать инструмент классификации личности с использованием инструмента обратного поиска по изображениям от Zilliz. Был установлен минимальный порог, ниже которого личности людей не распознавались, т. е. их данных не было в Zilliz. Оценочная точность этой модели составляла около 95%.

Лучшее использование Milvus — почетное упоминание один

Zeroth Responder от

  • Leo Liu (BS CS ‘26 U Michigan College of Engineering)

  • Brian Travis (BE CS ‘25 U Michigan College of Engineering)

Что они сделали: Следуя протоколу 911, они создали AI-агента 911, который слушает, что говорит звонящий, чтобы оценить ситуацию, задать уточняющие вопросы, выяснить, находится ли кто-либо в непосредственной опасности, оценить и классифицировать ситуацию, присвоив ей уровень срочности. Эта срочность используется как нулевой шаг для приоритизации распределения ресурсов. Мотивация заключалась в том, что во время недавних пожаров в Лахаине, Гавайи, предположительно потребовалось 45 минут, чтобы отправить экстренные службы после первого зарегистрированного звонка.

Во время демонстрации, имитирующей звонящего из Лахаины, оказавшегося в ловушке огня, эта система смогла оценить опасную ситуацию примерно за 15 секунд.

calhacks-2023-image4.png calhacks-2023-image4.png

Как они это создали: Они сохранили pdf-файлы учебного руководства 911 в векторной базе данных Milvus, затем выполняли запросы к ней совместно с LLM (OpenAI), чтобы создавать ответы звонящему и оценивать ситуацию. Классический шаблон RAG. Локальный сервер Milvus, работающий на Docker, с использованием node.js SDK. Полный стек: клиент, сервер и Milvus DB с использованием FastAPI и NextJS, построенных поверх React.

Лучшее использование Milvus — почетное упоминание два

Mental Maps от

Что они сделали: Они создали AI-чатбота, который интересуется вашими чувствами и переживаниями. Каждое взаимодействие подвергается анализу тональности, что позволяет приложению извлекать преобладающее настроение пользователя. В конце каждой недели приложение анализирует ваши эмоции, генерирует еженедельные сводки и помогает вам лучше понять свое ментальное благополучие — всё это с целью развивать самоосознанность и способствовать лучшему ментальному здоровью.

Как они это создали: Они использовали Hume API для текстового анализа тональности, чтобы ежедневно оценивать эмоциональные реакции пользователя на интерфейс чата. Модель BERT Hugging Face использовалась для преобразования ответов пользователей в многомерные векторные эмбеддинги, которые сохранялись с помощью векторной базы данных Milvus, облегчая поиск сходства между ответами. Для фронтенда они использовали React Native, чтобы создать iOS-приложение. Фронтенд Flask REST-сервер использовал "axios" для отправки HTTP-запросов. Навигация в приложении управлялась с помощью маршрутизаторов навигации базы данных, которые безопасно хранят пользовательские сессии.

Спасибо всем организаторам CalHacks! Мы были по-настоящему впечатлены всеми проектами, а наш опыт спонсорства с Zilliz был фантастическим (особая благодарность Chris Churilo за то, что привлек нас к участию, и Chris Chou, организатору спонсоров CalHacks).

Вверху слева: воркшоп в кинотеатре. Справа: Chris Churilo за спонсорским столом Zilliz. Внизу слева: фирменные носки Zilliz, изображение автора. Все остальные источники изображений: CalHacks 2023. Вверху слева: воркшоп в кинотеатре. Справа: Chris Churilo за спонсорским столом Zilliz. Внизу слева: фирменные носки Zilliz, изображение автора. Все остальные источники изображений: CalHacks 2023.

Обновлено Jul 09, 2026