Как сделать отслеживание движения объекта

Добавил пользователь Владимир З.
Обновлено: 04.10.2024

Данная статья посвящена разработанной нейросетевой системе отслеживания объектов в видеопотоке. Предлагаемый алгоритм позволяет в режиме реального времени определять местоположение целевого объекта в текущем кадре видеопотока. Для отслеживания системе достаточно предоставить текущий и предыдущий кадры видео, а также положение целевого объекта на предыдущем кадре. Система предварительно не обучена для отслеживания определенного объекта – целевой объект определяется при запуске системы. Для повышения точности и надежности системы были использованы как методы отслеживания объектов, так и методы распознавания образов. Оценка смещения объекта от кадра к кадру была реализована на основе метода Лукаса – Канаде и медианного фильтра. Распознавание объекта осуществляется с помощью свёрточной нейронной сети, в частности, архитектуры MobileNet. В работе приведены результаты экспериментальных исследований на основе четырех видеофайлов. Итоги экспериментов говорят о том, что предлагаемая комбинация технологий распознавания и отслеживания объектов позволяет решить проблему потери целевого объекта при его исчезновении или частичном перекрытии другим объектом. Кроме того, разработанный алгоритм инвариантен по отношению к форме объекта и изменению освещенности среды.

1. Grabner H., Grabner M., Bischof H. Real-time Tracking via On-line Boosting. In Proceedings British Machine Vision Conference (BMVC). 2006. vol. 1. Р. 47–56.

2. Babenko B. Visual Tracking with Online Multiple Instance Learning. Computer Vision and Pattern Recognition, CVPR 2009. IEEE Conference. 2009. Р. 101–108.

3. Henriques, J. F. High-Speed Tracking with Kernelized Correlation Filters. IEEE transactions on pattern analysis and machine intelligence. 2015. Р. 301–314.

4. Dorin Comaniciu and Peter Meer. Mean Shift: A Robust Approach Toward Feature Space Analysis. IEEE Trans. Intell. 2002. Р. 603–619.

5. Shujun Yao, Xiaodong Chen, Sen Wang, Zhihai Jiao, Yi Wang. Camshift algorithm -based moving target recognition and tracking system. IEEE International Conference on Virtual Environments Human-Computer Interfaces and Measurement Systems (VECIMS) Proceedings. 2012. Р. 513–529.

6. Fleet D.J., Weiss Y. Optical flow estimation. Handbook of Mathematical Models in Computer Vision. 2005. Р. 237–257.

7. Kalal Z., Mikolajczyk K., Matas J. Forward-Backward Error: Automatic Detection of Tracking Failures. International Conference on Pattern Recognition In International Conference on Pattern Recognition. 2010. Р. 23–26.

9. Simonyan K. Very Deep Convolutional Networks for Large-Scale Image Recognition. ICLR 2014. Р. 587–601.

10. Szegedy C. Going deeper with convolutions. Computer Vision and Pattern Recognition (CVPR), IEEE Conference. 2015. Р. 488–502.

11. He K. Deep Residual Learning for Image Recognition. Computer Vision and Pattern Recognition (CVPR), IEEE Conference. 2016. Р. 770–778.

В эпоху больших данных бурный рост переживает область компьютерного зрения. Компьютерное зрение позволяет решать различные задачи, одной из которых является отслеживание движущихся объектов в видеопотоке.

Главными требованиями к системам отслеживания объектов в видеопотоке являются: высокая точность обнаружения перемещений объекта и возможность обработки последовательности кадров в режиме реального времени (более 10 кадров в секунду).

В данной работе представлена интеллектуальная система отслеживания произвольных объектов в видеопотоке. Разработанная система не является предварительно обученной для отслеживания каких-либо конкретных объектов, а позволяет определять целевой объект при запуске.

Цель исследования заключалась в разработке алгоритма отслеживания объектов в видеопотоке, инвариантного по отношению к свойствам объекта (цвет, форма и т.д.) и среды (например, освещение). Также в работе алгоритма учтены возможные потери отслеживаемого объекта вследствие его выхода из поля зрения камеры или перекрытия другим объектом. В этом случае отслеживаемый объект может быть повторно обнаружен автоматически.

Современные методы отслеживания объектов в видеопотоке. Наиболее популярными методами отслеживания объектов в видеопотоке являются алгоритмы:

1. Online Boosting Tracker [1] – один из первых алгоритмов отслеживания объектов, имеющий высокую точность отслеживания. Основан на онлайн-версии алгоритма AdaBoost, использующего для поиска объекта каскад Хаара.

2. MIL Tracker (Multiple Instance Learning Tracker) [2] является развитием идеи обучения с учителем и алгоритма Online Boosting Tracker. Основное отличие заключается в том, что в данном случае в качестве положительного примера рассматривается не только текущее местоположение объекта, но и другие области, содержащие его.

3. KCF Tracker (Kernelized Correlation Filters Tracker) [3] – KCF основывается на идеях двух предыдущих алгоритмов, однако за счет использования математических свойств перекрывающихся областей положительных примеров происходит значительное увеличение быстродействия при более простой реализации.

Недостатком описанных выше методов является неспособность повторного обнаружения объекта в случае его потери.

Предлагаемое решение. Разработанный алгоритм обеспечивает возможность отслеживания передвижений объекта в видеопотоке при его потере из-за перекрытия другим объектом или исчезновения из поля зрения камеры. Расположение объекта на изображении задается ограничительным окном – это прямоугольная область, содержащая фрагмент изображения с отслеживаемым объектом.

В качестве входной информации алгоритму необходимо предоставить текущий кадр видеопотока и ограничительное окно на предыдущем кадре. На выходе алгоритма будут получены координаты ограничительного окна, соответствующего положению объекта на текущем кадре видеопотока.

Блок-схема интеллектуальной системы отслеживания объектов в видеопотоке представлена на рис. 1.

Рис. 1. Блок-схема системы

Система включает четыре компонента:

1. Алгоритм отслеживания (трекер) позволяет оценивать смещение ограничительного окна от предыдущего кадра к текущему кадру. Он адаптивен к небольшим изменениям освещения и внешнего вида объекта. При этом предполагается, что данный компонент может ошибаться в случае частичного или полного перекрытия отслеживаемого объекта. Исходя из этого требуется дополнительный компонент, корректирующий работу алгоритма отслеживания.

2. Алгоритм распознавания (детектор) является корректирующим компонентом системы. Его работа не зависит от перекрытия или исчезновения объекта. Детектор обнаруживает объект при его появлении в кадре и при необходимости корректирует или повторно инициализирует трекер, работая с ним параллельно. Для повышения точности детектора после каждого кадра необходимо обновлять его знания об отслеживаемом объекте и об объектах, расположенных на фоне.

4. Алгоритм обучения – это компонент, который выполняет обучение детектора для достижения более высокой точности. На каждой итерации алгоритма обучение анализирует выход трекера и детектора, оценивает ошибки, совершаемые детектором, и обновляет детектор, чтобы избежать этих ошибок в будущем.

Для оценки смещения объекта между кадрами были протестированы следующие алгоритмы: фильтр Калмана, алгоритм сдвига среднего (Mean-Shift) [4], алгоритм непрерывно адаптирующегося сдвига (CamShift) [5], алгоритм Лукаса – Канаде (Lucas-Kanade) [6]. При анализе особое внимание уделялось вычислительной сложности алгоритмов, а также тому, насколько эффективно они работают в условиях меняющегося размера, больших сдвигов и частичного перекрытия объекта. По результатам тестирования выбор был сделан в пользу метода Лукаса – Канаде в его пирамидальном варианте, который является компромиссом в отношении быстродействия и надежности.

При использовании метода Лукаса – Канаде в большинстве случаев имеются ошибочно найденные точки. Их количество зависит от величины смещения и изменения условий среды между кадрами. Для отсеивания ошибочных точек может была применена двухуровневая фильтрация, использованная в алгоритме медианного потока (Median-Flow tracker) [7].

На первом уровне выполняется фильтрация на основе нормализованной корреляции (Normalized-Cross Correlation, далее – NCC), которая является одним из компонентов технологии сопоставления шаблона. Сопоставление шаблона позволяет обнаружить местоположение некоторого изображения-шаблона T с размерностью w×h на исходном изображении I с размерностью W×H. Для этого T путем вычисления NCC последовательно сравнивается с каждым фрагментом I, имеющим размерность w×h. На выходе будет получено изображение в градациях серого R с размерностью (W – w + 1)×(H – h + 1), где яркость каждого пикселя R (x, y) указывает на сходство его окрестности с шаблоном. Значение яркости R (x, y) определяется следующей метрикой:

где – среднее значение яркости для шаблона;

– среднее значение яркости для текущего фрагмента исходного изображения.

Рис. 2. Сравнение окрестностей ключевых точек путем вычисления NCC

Для фильтрации точек отслеживания используется частный случай NCC, когда размерности T и I совпадают. Для всех точек на предыдущем и следующем кадрах формируются изображения размером 10×10 пикселей с центром в ключевой точке. Далее полученные изображения для соответствующих точек попарно сравниваются посредством вычисления NCC. Описанный процесс проиллюстрирован на рис. 2. После вычисления NCC для всех пар точек смежных кадров выполняется следующая фильтрация точек:

1. Находится медианное значение последовательности значений NCC для всех пар точек.

2. Точки, для которых значение нормализованной корреляции оказалось меньше медианного значения, будут отброшены.

Итоговая схема одной итерации алгоритма отслеживания движения объектов приведена на рис. 3.

Рис. 3. Одна итерация алгоритма отслеживания движения объектов

Распознавание объектов с помощью свёрточной нейронной сети. Для выполнения распознавания объектов в видеопотоке выбор был сделан в пользу современных архитектур свёрточных нейронных сетей. СНС позволяют распознавать изображения с точностью, значительно превосходящей точность других методов классификации изображений [8, 9].

В ходе выполнения работы были проанализированы наиболее популярные современные архитектуры сверточных нейронных сетей, применяемы в задачах классификации изображений [10–12] (табл. 1).

Tracker отслеживание движения в After Effects
Функцию отслеживания движения можно применять в различных целях. Вот несколько примеров.

Объединение отдельно снятых элементов, например добавление видео на борт движущегося автобуса или звезды на острие волшебной палочки.
Анимация неподвижного изображения для соответствия движения активно меняющемуся видеоряду, пример: мультипликационный шмель, сидящий на качающемся цветке.

Анимация эффектов в соответствии с движущимся элементом, пример: свечение движущегося мяча.
Привязка положения отслеживаемого объекта к другим свойствам, например панорамирования звукового стереосигнала слева направо одновременно с движением по экрану автомобиля.

компонента должна окружать четкий визуальный элемент, предпочтительно, чтобы это был вещественный объект. Приложение After Effects должно иметь возможность четко идентифицировать отслеживаемый объект на всем протяжении отслеживания независимо от освещения, фона и угла.

Область поиска
Область поиска определяет область, в которой After Effects будет пытаться найти отслеживаемый объект. Отслеживаемый объект должен быть различимым только в области поиска, а не во всем кадре. Ограничение поиска меньшим регионом поиска экономит время поиска и упрощает процесс, однако в этом случае есть риск полного ухода отслеживаемого объекта из области поиска между кадрами.

Точка присоединения
Точка присоединения обозначает место присоединения к целевому объекту — слою или точке управления эффектом — для синхронизации с движущимся объектом на отслеживаемом слое.

After Effects задействует одну точку отслеживания для отслеживания положения, две точки отслеживания для отслеживания масштабирования и вращения и четыре точки для отслеживания с использованием связывания углов.

Movavi — программы для видео и фото запись закреплена

Долгожданная функция отслеживания движения уже в Movavi Video Editor Plus 2021!

Попробуйте сами — просто перейдите по ссылке и скачайте программу vk.cc/c2yAzg
А по купону MEDIA10 вы получите скидку 10% на покупку.

Мы подготовили обучающий ролик, в котором подробно показываем, как пользоваться новой функцией. Теперь возможностей для творчества стало еще больше!

А вы уже пробовали использовать маски и функцию отслеживания движения в ваших видео?

Вадим Хайретдинов ответил Сообществу

Movavi — программы для видео и фото, а вот проблему с большим, я бы сказал, гигантским размером файла на выходе Вы так и не решили.

Вадим, попробуйте, пожалуйста, во время сохранения видео поменять битрейт с VBR на Авто или Пользовательский. Сделать это можно если вы выберете Сохранить видео, а затем внизу выберете меню Дополнительно.

Movavi — программы для видео и фото, Подскажите пожалуйста где ее найти функцию отслеживания движения?

Сергей, чтобы мы смогли подсказать где находится функция отслеживания движения нам необходимо узнать какую точно версию Видеоредактора Плюс вы используете. Пожалуйста, откройте вкладку Справка - О программе в верхнем меню и напишите нам номер версии программы, который будет указан в открывшемся окне.

как сделать отслеживание движения объекта и супер стабилизация