Milvus/Zilliz + видеонаблюдение: как векторные базы данных трансформируют отслеживание с нескольких камер
В мире видеонаблюдения отслеживание объектов между несколькими камерами традиционно было одной из самых сложных задач для решения. По мере того как люди перемещаются между зонами обзора камер в таких пространствах, как розничные магазины, склады и аэропорты, сохранение их идентичности становится всё более сложным. Векторные базы данных, особенно Milvus, помогают в этой области, обеспечивая быстрый и точный поиск сходства по визуальным данным, — фундаментально меняя то, как работают системы отслеживания с несколькими камерами.
Постоянные проблемы отслеживания с несколькими камерами
Любой, кто работал с системами наблюдения в больших пространствах, понимает фундаментальные проблемы:
Идентификация между камерами: Сопоставление одного и того же субъекта в нескольких видеопотоках с разных ракурсов и точек обзора требует сложных алгоритмов и моделей ИИ.
Сохранение идентичности: Поддержание согласованных идентификаторов по мере перемещения объектов между зонами обзора камер критически важно — без этого отслеживание полностью нарушается.
Окклюзия и исчезновение: Объекты часто временно исчезают или частично закрываются, что затрудняет непрерывное отслеживание.
Требования к обработке в реальном времени: Эффективное наблюдение требует задержки менее секунды и высокой пропускной способности для потоковой передачи данных в реальном времени, объединения нескольких потоков и обнаружения аномалий.
Вопросы конфиденциальности: Системы должны анонимизировать персональные данные, при этом всё ещё обеспечивая эффективный мониторинг для соблюдения нормативных требований.
Масштабируемость: По мере увеличения пространств система должна масштабироваться, чтобы обрабатывать тысячи камер и субъектов с помощью распределённых вычислений и облачно-нативной архитектуры.
Традиционные подходы, использующие отслеживание на основе правил или простое сопоставление признаков, часто терпят неудачу в сложных средах, приводя к фрагментированному отслеживанию и несогласованным идентичностям.
Как векторные базы данных меняют подход к проблеме
Векторные базы данных, такие как Milvus, решают эти проблемы с помощью принципиально иного подхода к идентичности объектов. Вместо использования простых правил или сопоставления метаданных векторные базы данных обеспечивают сопоставление идентичности на основе сходства с фильтрацией по метаданным, полнотекстовым поиском и многим другим:
Преимущество векторного представления
Когда объект появляется в поле зрения камеры, модели глубокого обучения извлекают отличительные визуальные признаки и кодируют их в виде многомерных векторов. Эти математические «отпечатки» (обычно 128–2048 измерений) фиксируют ключевые визуальные характеристики объекта. Даже когда внешний вид значительно меняется между камерами, базовое векторное представление сохраняет сходство. Такой подход создаёт мощную основу для повторной идентификации в разных зонах обзора камер.
Milvus: специально создан для поиска сходства
Milvus превосходно подходит для контекста отслеживания с несколькими камерами по нескольким ключевым причинам: Сверхбыстрый поиск сходства: специализированные структуры индексирования (HNSW, IVF, Nvidia cuVS и т. д.) обеспечивают запросы менее чем за секунду даже при миллионах векторов; Алгоритмы приближённого поиска ближайших соседей (ANN): балансируют точность и производительность для приложений реального времени; Масштабируемая архитектура: возможности распределённой обработки справляются с вычислительными требованиями сравнения векторов между многочисленными камерами; Гибкие варианты метрик: поддержка различных метрик расстояния (евклидово, косинусное, скалярное произведение) для оптимизации сопоставления под конкретные визуальные признаки.
Milvus: комплексная векторная база данных для видеонаблюдения
Open Source Milvus предоставляет мощный набор возможностей, который делает его идеальным для систем отслеживания с несколькими камерами:
Хранение векторов и поиск сходства: хранит многомерные векторы признаков и выполняет поиск сходства для сохранения идентичности между зонами обзора камер
Списки эмбеддингов: поддерживает списки эмбеддингов, которые могут представлять последовательности позиций, временные последовательности или любой набор эмбеддингов с сильными внутренними связями — идеально для сохранения временных последовательностей при анализе видео
Range Search: повышает релевантность результатов, определяя «кольцевую область» с внутренними и внешними границами, что позволяет системам находить «похожие, но не идентичные» внешние признаки — критически важно для сопоставления одного и того же человека при разных углах обзора камер
Filtered Search: сочетает векторное сходство с ограничениями метаданных (такими как здания, этажи или зоны камер), чтобы сузить результаты до векторов, соответствующих конкретным критериям
Grouping Search: агрегирует результаты по указанным полям для повышения разнообразия результатов, гарантируя, что система идентифицирует уникальных людей, а не несколько появлений одного и того же человека
Hybrid Search: объединяет результаты из нескольких векторных полей, обеспечивая мультимодальный поиск, который может интегрировать черты лица, атрибуты одежды и паттерны движения для более надежной идентификации
Этот комплексный набор функций позволяет Milvus справляться со сложными требованиями мультикамерного трекинга — от поддержания временных связей между последовательными кадрами до фильтрации результатов на основе физических ограничений того, как люди перемещаются в пространствах.
Расширенные возможности трекинга с Milvus
Разнообразные поисковые возможности Milvus открывают сложные сценарии трекинга, которые ранее были невозможны для традиционных систем:
Поддержание идентичности при сложных переходах
Когда человек выходит из поля зрения одной камеры и входит в поле зрения другой, его внешний вид может существенно измениться из-за освещения, угла и расстояния. Milvus решает эту задачу с помощью: Range Search: задавая подходящие пороги сходства, система может находить совпадения, которые похожи, но не идентичны, учитывая вариации внешнего вида; Multi-vector Search: объединение разных векторов признаков (лицо, одежда, походка) обеспечивает идентификацию даже тогда, когда некоторые признаки скрыты или изменились.
Трекинг с учетом времени
Перемещения людей через физические пространства подчиняются физическим ограничениям. Milvus использует это с помощью Filtered Search: применяйте ограничения временного окна, чтобы учитывать только те появления, которые реалистично могли бы относиться к одному и тому же человеку с учетом скорости ходьбы; Embedding Lists отслеживают последовательные появления, чтобы устанавливать паттерны движения, помогающие различать похожих людей. Embedding lists появятся в Milvus 2.6 всего через несколько недель!
Разрешение идентичности в переполненных сценах
В загруженных средах традиционный трекинг часто дает сбои. Milvus предоставляет Grouping Search: группирует результаты поиска по значениям в указанном поле, повышая разнообразие за счет возврата наиболее похожей сущности из каждой группы, а не нескольких результатов из одной и той же группы; Filtered Search: применяйте условия фильтрации метаданных (такие как временные окна, цвета одежды или переносимые предметы), чтобы сузить область поиска перед выполнением ANN-поисков, гарантируя, что учитываются только сущности, соответствующие заданным критериям. Эти возможности позволяют службам безопасности поддерживать непрерывный трекинг даже в сложных средах с плотными толпами, сложными схемами расположения камер и изменяющимися условиями освещения.
Реальные применения и преимущества
Такой подход к мультикамерному трекингу открывает возможности в разных отраслях:
Ритейл-аналитика: отслеживайте покупателей от входа до выхода, даже когда они перемещаются между этажами и отделами, обеспечивая полный анализ клиентского пути. Анализ маршрутов выявляет распространенные паттерны и помогает оптимизировать планировки магазинов на основе фактического движения клиентов. Инсайты о конверсии позволяют ритейлерам сравнивать паттерны просмотра между покупающими и не покупающими клиентами, выявляя, что влияет на решения о покупке.
Оптимизация склада: анализ перемещений работников выявляет неэффективные паттерны и помогает оптимизировать рабочие процессы в операциях объекта. Отслеживание оборудования контролирует паттерны использования погрузчиков и оборудования на крупных объектах, улучшая распределение ресурсов и планирование технического обслуживания. Мониторинг безопасности обнаруживает несанкционированный доступ или необычные паттерны поведения, повышая безопасность объекта и защищая запасы.
Транспортные узлы: Оптимизация потоков снижает загруженность благодаря пониманию того, как люди перемещаются по объектам, создавая более эффективный пассажирский опыт. Повышение уровня безопасности обеспечивает непрерывное отслеживание лиц, представляющих интерес, в нескольких зонах камер без пробелов в покрытии. Улучшение сервиса выявляет узкие места и помогает оптимизировать укомплектование персоналом на основе паттернов перемещения пассажиров, что приводит к сокращению времени ожидания и повышению удовлетворенности клиентов.
Создание собственной системы отслеживания на базе Milvus
Если вы заинтересованы во внедрении векторного отслеживания с Milvus, эталонный рабочий процесс NVIDIA для отслеживания по нескольким камерам станет отличной отправной точкой. Их комплексное решение демонстрирует, как интегрировать Milvus в полноценную архитектуру отслеживания.
Рабочий процесс показывает, как:
Обрабатывать видеопотоки с камер для извлечения признаков объектов и преобразования их в векторы
Сохранять и запрашивать эти векторы в Milvus для сопоставления идентичности
Использовать новые возможности Milvus для пространственно-временного отслеживания
Визуализировать результаты отслеживания через интуитивно понятные интерфейсы
Полное руководство NVIDIA по реализации можно найти на их сайте документации Metropolis, которое включает инструкции по развертыванию, подробности архитектуры и варианты настройки.
Заключение: будущее наблюдения — за векторным подходом
Векторные базы данных, такие как Milvus, представляют собой фундаментальный сдвиг в нашем подходе к отслеживанию по нескольким камерам. Используя комплексные возможности поиска Milvus — от поиска по диапазону до мультивекторного поиска, от поиска с группировкой до фильтрованного поиска — системы наблюдения могут поддерживать непрерывную идентичность в сложных средах с беспрецедентной точностью.
Что делает Milvus особенно мощным для приложений наблюдения, так это сочетание этих возможностей. Поиск по диапазону помогает учитывать различия во внешнем виде между камерами. Списки эмбеддингов сохраняют временные последовательности для анализа движения. Фильтрованный поиск применяет физические ограничения для сужения списка кандидатов. Поиск с группировкой обеспечивает разнообразие результатов для точного подсчета людей. Вместе эти функции создают комплексное решение для уникальных задач отслеживания по нескольким камерам.
По мере дальнейшего развития технологии векторных баз данных можно ожидать еще более сложных приложений наблюдения, которые объединят эти разнообразные возможности поиска для еще большей точности и более глубоких инсайтов. Для организаций, управляющих большими физическими пространствами, Milvus обеспечивает основу для нового поколения систем отслеживания, которые наконец смогут выполнить обещание бесшовной идентификации между камерами.
Читать далее
Zilliz Cloud On-Demand Compute: Pay Only for What You Use
The customer case behind Zilliz Cloud On-Demand: how a $10K vector search bill came down to under $500, and the engineering changes that made it possible.
Introducing Business Critical Plan: Enterprise-Grade Security and Compliance for Mission-Critical AI Applications
Discover Zilliz Cloud’s Business Critical Plan—offering advanced security, compliance, and uptime for mission-critical AI and vector database workloads.
Context Engineering Strategies for AI Agents: A Developer’s Guide
Learn practical context engineering strategies for AI agents. Explore frameworks, tools, and techniques to improve reliability, efficiency, and cost.