Как создать 4 популярных AI-приложения с помощью Milvus
Обложка.
Milvus — это векторная база данных с открытым исходным кодом. Она поддерживает добавление, удаление, обновление и поиск в почти реальном времени по огромным наборам векторных данных, созданных путем извлечения векторов признаков из неструктурированных данных с помощью AI-моделей. Благодаря обширному набору интуитивно понятных API и поддержке нескольких широко используемых библиотек индексов (например, Faiss, NMSLIB и Annoy), Milvus ускоряет разработку приложений машинного обучения и операции машинного обучения (MLOps). С Milvus вы можете быстро разработать минимально жизнеспособный продукт (MVP), удерживая затраты на нижних пределах.
«Какие ресурсы доступны для разработки AI-приложения с Milvus?» — этот вопрос часто задают в сообществе Milvus. Zilliz, компания, стоящая за Milvus, разработала ряд демонстраций, которые используют Milvus для выполнения молниеносного поиска по сходству, лежащего в основе интеллектуальных приложений. Исходный код решений Milvus можно найти в zilliz-bootcamp. Следующие интерактивные сценарии демонстрируют обработку естественного языка (NLP), обратный поиск изображений, поиск аудио и компьютерное зрение.
Не стесняйтесь попробовать решения, чтобы получить практический опыт работы с конкретными сценариями! Делитесь своими собственными сценариями приложений через:
Обработка естественного языка (чат-боты)
Milvus можно использовать для создания чат-ботов, которые применяют обработку естественного языка, чтобы имитировать живого оператора, отвечать на вопросы, направлять пользователей к релевантной информации и снижать трудозатраты. Чтобы продемонстрировать этот сценарий применения, Zilliz создала чат-бота на базе AI, который понимает семантический язык, объединяя Milvus с BERT, моделью машинного обучения (ML), разработанной для предварительного обучения NLP.
👉Исходный код：zilliz-bootcamp/intelligent_question_answering_v2
Чат-бот на базе AI, созданный с Milvus и BERT.
Как использовать
Загрузите набор данных, включающий пары «вопрос-ответ». Разместите вопросы и ответы в двух отдельных столбцах.
После ввода вашего вопроса из загруженного набора данных будет получен список похожих вопросов.
Откройте ответ, выбрав вопрос, наиболее похожий на ваш.
👉Видео：[Демо] QA-система на базе Milvus
Как это работает
Вопросы преобразуются в векторы признаков с помощью модели BERT от Google, затем Milvus используется для управления набором данных и выполнения запросов к нему.
Обработка данных:
- BERT используется для преобразования загруженных пар «вопрос-ответ» в 768-мерные векторы признаков. Затем векторы импортируются в Milvus и им назначаются индивидуальные ID.
- Вопрос, соответствующий ответ и ID векторов хранятся в PostgreSQL.
Поиск похожих вопросов:
- BERT используется для извлечения векторов признаков из вопроса, введенного пользователем.
- Milvus извлекает ID векторов вопросов, которые наиболее похожи на введенный вопрос.
- Система ищет соответствующие ответы в PostgreSQL.
Системы обратного поиска изображений
Обратный поиск изображений трансформирует e-commerce благодаря персонализированным рекомендациям товаров и инструментам поиска похожих товаров, которые могут повысить продажи. В этом сценарии применения Zilliz создала систему обратного поиска изображений, объединив Milvus с VGG, ML-моделью, которая может извлекать признаки изображений.
👉Исходный код：zilliz-bootcamp/image_search
Система обратного поиска изображений, созданная с Milvus и VGG.
Как использовать
- Загрузите заархивированный набор данных изображений, состоящий только из изображений .jpg (другие типы файлов изображений не принимаются).
- Загрузите изображение, которое будет использоваться в качестве входных данных поиска для поиска похожих изображений.
👉Видео: [Demo] Image Search Powered by Milvus
Как это работает
Изображения преобразуются в 512-мерные векторы признаков с использованием модели VGG, затем Milvus используется для управления набором данных и выполнения запросов к нему.
Обработка данных:
- Модель VGG используется для преобразования загруженного набора данных изображений в векторы признаков. Затем векторы импортируются в Milvus и им присваиваются индивидуальные ID.
- Векторы признаков изображений и соответствующие пути к файлам изображений сохраняются в CacheDB.
Поиск похожих изображений:
- VGG используется для преобразования загруженного пользователем изображения в векторы признаков.
- ID векторов изображений, наиболее похожих на входное изображение, извлекаются из Milvus.
- Система ищет соответствующие пути к файлам изображений в CacheDB.
Системы аудиопоиска
Речь, музыка, звуковые эффекты и другие типы аудиопоиска позволяют быстро выполнять запросы к огромным объемам аудиоданных и находить похожие звуки. Сферы применения включают выявление похожих звуковых эффектов, минимизацию нарушений IP-прав и многое другое. Чтобы продемонстрировать этот сценарий применения, Zilliz создала высокоэффективную систему поиска похожего аудио, объединив Milvus с PANNs — крупномасштабными предобученными аудио нейронными сетями, созданными для распознавания аудиошаблонов.
👉Исходный код：zilliz-bootcamp/audio_search
Система аудиопоиска, созданная с использованием Milvus и PANNs.
Как использовать
- Загрузите заархивированный набор аудиоданных, состоящий только из файлов .wav (другие типы аудиофайлов не принимаются).
- Загрузите файл .wav, который будет использоваться в качестве входных данных поиска для поиска похожего аудио.
👉Видео: [Demo] Audio Search Powered by Milvus
Как это работает
Аудио преобразуется в векторы признаков с использованием PANNs, крупномасштабных предобученных аудио нейронных сетей, созданных для распознавания аудиошаблонов. Затем Milvus используется для управления набором данных и выполнения запросов к нему.
Обработка данных:
- PANNs преобразует аудио из загруженного набора данных в векторы признаков. Затем векторы импортируются в Milvus и им присваиваются индивидуальные ID.
- ID векторов признаков аудио и соответствующие пути к файлам .wav сохраняются в PostgreSQL.
Поиск похожего аудио:
- PANNs используется для преобразования загруженного пользователем аудиофайла в векторы признаков.
- ID векторов аудио, наиболее похожего на загруженный файл, извлекаются из Milvus путем вычисления расстояния внутреннего произведения (IP).
- Система ищет соответствующие пути к аудиофайлам в MySQL.
Обнаружение объектов в видео (компьютерное зрение)
Обнаружение объектов в видео применяется в компьютерном зрении, поиске изображений, автономном вождении и других областях. Чтобы продемонстрировать этот сценарий применения, Zilliz создала систему обнаружения объектов в видео, объединив Milvus с технологиями и алгоритмами, включая OpenCV, YOLOv3 и ResNet50.
👉Исходный код: zilliz-bootcamp/video_analysis
Система обнаружения объектов в видео с Milvus.
Как использовать
- Загрузите заархивированный набор данных изображений, состоящий только из файлов .jpg (другие типы файлов изображений не принимаются). Убедитесь, что каждый файл изображения назван по объекту, который на нем изображен.
- Загрузите видео, которое будет использоваться для анализа.
- Нажмите кнопку воспроизведения, чтобы просмотреть загруженное видео с результатами обнаружения объектов, отображаемыми в реальном времени.
👉Видео: [Demo] Video Object Detection System Powered by Milvus
Как это работает
Изображения объектов преобразуются в 2048-мерные векторы признаков с помощью ResNet50. Затем Milvus используется для управления набором данных и выполнения запросов к нему.
Обработка данных:
- ResNet50 преобразует изображения объектов в 2048-мерные векторы признаков. Затем векторы импортируются в Milvus и им присваиваются индивидуальные идентификаторы.
- Идентификаторы векторов аудиопризнаков и соответствующие им пути к файлам изображений сохраняются в MySQL.
Обнаружение объектов в видео:
- OpenCV используется для обрезки видео.
- YOLOv3 используется для обнаружения объектов в видео.
- ResNet50 преобразует изображения обнаруженных объектов в 2048-мерные векторы признаков.
Milvus ищет наиболее похожие изображения объектов в загруженном наборе данных. Соответствующие названия объектов и пути к файлам изображений извлекаются из MySQL.
Читать далее
How Zilliz Ended Up at the Center of NVIDIA’s Unstructured Data Story at GTC 2026
If unstructured data is the context of AI, then the ceiling of AI applications will be set not just by models, but by how mature the infrastructure for unstructured data becomes.
A Developer's Guide to Exploring Milvus 2.6 Features on Zilliz Cloud
Milvus 2.6 marks a shift from “vector search + glue code” to a more advanced retrieval engine, and it is now Generally Available (GA) on Zilliz Cloud (a managed Milvus service).
Demystifying the Milvus Sizing Tool
Explore how to use the Sizing Tool to select the optimal configuration for your Milvus deployment.