Как создать 4 популярных AI-приложения с помощью Milvus
Обложка.
Milvus — это векторная база данных с открытым исходным кодом. Она поддерживает добавление, удаление, обновление и поиск в почти реальном времени по огромным наборам векторных данных, созданных путем извлечения векторов признаков из неструктурированных данных с помощью AI-моделей. Благодаря обширному набору интуитивно понятных API и поддержке нескольких широко используемых библиотек индексов (например, Faiss, NMSLIB и Annoy), Milvus ускоряет разработку приложений машинного обучения и операции машинного обучения (MLOps). С Milvus вы можете быстро разработать минимально жизнеспособный продукт (MVP), удерживая затраты на нижних пределах.
«Какие ресурсы доступны для разработки AI-приложения с Milvus?» — этот вопрос часто задают в сообществе Milvus. Zilliz, компания, стоящая за Milvus, разработала ряд демонстраций, которые используют Milvus для выполнения молниеносного поиска по сходству, лежащего в основе интеллектуальных приложений. Исходный код решений Milvus можно найти в zilliz-bootcamp. Следующие интерактивные сценарии демонстрируют обработку естественного языка (NLP), обратный поиск изображений, поиск аудио и компьютерное зрение.
Не стесняйтесь попробовать решения, чтобы получить практический опыт работы с конкретными сценариями! Делитесь своими собственными сценариями приложений через:
Обработка естественного языка (чат-боты)
Milvus можно использовать для создания чат-ботов, которые применяют обработку естественного языка, чтобы имитировать живого оператора, отвечать на вопросы, направлять пользователей к релевантной информации и снижать трудозатраты. Чтобы продемонстрировать этот сценарий применения, Zilliz создала чат-бота на базе AI, который понимает семантический язык, объединяя Milvus с BERT, моделью машинного обучения (ML), разработанной для предварительного обучения NLP.
👉Исходный код：zilliz-bootcamp/intelligent_question_answering_v2
Чат-бот на базе AI, созданный с Milvus и BERT.
Как использовать
Загрузите набор данных, включающий пары «вопрос-ответ». Разместите вопросы и ответы в двух отдельных столбцах.
После ввода вашего вопроса из загруженного набора данных будет получен список похожих вопросов.
Откройте ответ, выбрав вопрос, наиболее похожий на ваш.
👉Видео：[Демо] QA-система на базе Milvus
Как это работает
Вопросы преобразуются в векторы признаков с помощью модели BERT от Google, затем Milvus используется для управления набором данных и выполнения запросов к нему.
Обработка данных:
- BERT используется для преобразования загруженных пар «вопрос-ответ» в 768-мерные векторы признаков. Затем векторы импортируются в Milvus и им назначаются индивидуальные ID.
- Вопрос, соответствующий ответ и ID векторов хранятся в PostgreSQL.
Поиск похожих вопросов:
- BERT используется для извлечения векторов признаков из вопроса, введенного пользователем.
- Milvus извлекает ID векторов вопросов, которые наиболее похожи на введенный вопрос.
- Система ищет соответствующие ответы в PostgreSQL.
Системы обратного поиска изображений
Обратный поиск изображений трансформирует e-commerce благодаря персонализированным рекомендациям товаров и инструментам поиска похожих товаров, которые могут повысить продажи. В этом сценарии применения Zilliz создала систему обратного поиска изображений, объединив Milvus с VGG, ML-моделью, которая может извлекать признаки изображений.
👉Исходный код：zilliz-bootcamp/image_search
Система обратного поиска изображений, созданная с Milvus и VGG.
Как использовать
- Загрузите заархивированный набор данных изображений, состоящий только из изображений .jpg (другие типы файлов изображений не принимаются).
- Загрузите изображение, которое будет использоваться в качестве входных данных поиска для поиска похожих изображений.
👉Видео: [Demo] Image Search Powered by Milvus
Как это работает
Изображения преобразуются в 512-мерные векторы признаков с использованием модели VGG, затем Milvus используется для управления набором данных и выполнения запросов к нему.
Обработка данных:
- Модель VGG используется для преобразования загруженного набора данных изображений в векторы признаков. Затем векторы импортируются в Milvus и им присваиваются индивидуальные ID.
- Векторы признаков изображений и соответствующие пути к файлам изображений сохраняются в CacheDB.
Поиск похожих изображений:
- VGG используется для преобразования загруженного пользователем изображения в векторы признаков.
- ID векторов изображений, наиболее похожих на входное изображение, извлекаются из Milvus.
- Система ищет соответствующие пути к файлам изображений в CacheDB.
Системы аудиопоиска
Речь, музыка, звуковые эффекты и другие типы аудиопоиска позволяют быстро выполнять запросы к огромным объемам аудиоданных и находить похожие звуки. Сферы применения включают выявление похожих звуковых эффектов, минимизацию нарушений IP-прав и многое другое. Чтобы продемонстрировать этот сценарий применения, Zilliz создала высокоэффективную систему поиска похожего аудио, объединив Milvus с PANNs — крупномасштабными предобученными аудио нейронными сетями, созданными для распознавания аудиошаблонов.
👉Исходный код：zilliz-bootcamp/audio_search
Система аудиопоиска, созданная с использованием Milvus и PANNs.
Как использовать
- Загрузите заархивированный набор аудиоданных, состоящий только из файлов .wav (другие типы аудиофайлов не принимаются).
- Загрузите файл .wav, который будет использоваться в качестве входных данных поиска для поиска похожего аудио.
👉Видео: [Demo] Audio Search Powered by Milvus
Как это работает
Аудио преобразуется в векторы признаков с использованием PANNs, крупномасштабных предобученных аудио нейронных сетей, созданных для распознавания аудиошаблонов. Затем Milvus используется для управления набором данных и выполнения запросов к нему.
Обработка данных:
- PANNs преобразует аудио из загруженного набора данных в векторы признаков. Затем векторы импортируются в Milvus и им присваиваются индивидуальные ID.
- ID векторов признаков аудио и соответствующие пути к файлам .wav сохраняются в PostgreSQL.
Поиск похожего аудио:
- PANNs используется для преобразования загруженного пользователем аудиофайла в векторы признаков.
- ID векторов аудио, наиболее похожего на загруженный файл, извлекаются из Milvus путем вычисления расстояния внутреннего произведения (IP).
- Система ищет соответствующие пути к аудиофайлам в MySQL.
Обнаружение объектов в видео (компьютерное зрение)
Обнаружение объектов в видео применяется в компьютерном зрении, поиске изображений, автономном вождении и других областях. Чтобы продемонстрировать этот сценарий применения, Zilliz создала систему обнаружения объектов в видео, объединив Milvus с технологиями и алгоритмами, включая OpenCV, YOLOv3 и ResNet50.
👉Исходный код: zilliz-bootcamp/video_analysis
Система обнаружения объектов в видео с Milvus.
Как использовать
- Загрузите заархивированный набор данных изображений, состоящий только из файлов .jpg (другие типы файлов изображений не принимаются). Убедитесь, что каждый файл изображения назван по объекту, который на нем изображен.
- Загрузите видео, которое будет использоваться для анализа.
- Нажмите кнопку воспроизведения, чтобы просмотреть загруженное видео с результатами обнаружения объектов, отображаемыми в реальном времени.
👉Видео: [Demo] Video Object Detection System Powered by Milvus
Как это работает
Изображения объектов преобразуются в 2048-мерные векторы признаков с помощью ResNet50. Затем Milvus используется для управления набором данных и выполнения запросов к нему.
Обработка данных:
- ResNet50 преобразует изображения объектов в 2048-мерные векторы признаков. Затем векторы импортируются в Milvus и им присваиваются индивидуальные идентификаторы.
- Идентификаторы векторов аудиопризнаков и соответствующие им пути к файлам изображений сохраняются в MySQL.
Обнаружение объектов в видео:
- OpenCV используется для обрезки видео.
- YOLOv3 используется для обнаружения объектов в видео.
- ResNet50 преобразует изображения обнаруженных объектов в 2048-мерные векторы признаков.
Milvus ищет наиболее похожие изображения объектов в загруженном наборе данных. Соответствующие названия объектов и пути к файлам изображений извлекаются из MySQL.
Читать далее
Zilliz Cloud Now Available in AWS Europe (Ireland)
Zilliz Cloud launches in AWS eu-west-1 (Ireland) — bringing low-latency vector search, EU data residency, and full GDPR-ready infrastructure to European AI teams. Now live across 30 regions on five cloud providers.
8 Latest RAG Advancements Every Developer Should Know
Explore eight advanced RAG variants that can solve real problems you might be facing: slow retrieval, poor context understanding, multimodal data handling, and resource optimization.
VidTok: Rethinking Video Processing with Compact Tokenization
VidTok tokenizes videos to reduce redundancy while preserving spatial and temporal details for efficient processing.