Аналіз проблем вбудованих алгоритмів відстеження об’єктів OpenCV при обробці кадрів із БПЛА

Abstract

Мета роботи – дослідження та порівняння ефективності алгоритмів відстеження об’єктів OpenCV при обробці кадрів із типовими проблемами зображень, зроблених з камер дронів. Проведення експериментів для визначення переваг та недоліків, тенденцій до збоїв, проблем із швидкодією. Для експериментів записані відео у симуляторі польотів на дроні для семи типових проблемних ситуацій. Коректну поведінку (фундаментальну істину) визначено шляхом ручного задання обмежувальної рамки для кожного кадру з допомогою Python-скрипту. Визначено типові проблемні ситуації: зміна кута камери, зміна позиції об’єкта на кадрі, наявність ідентичних об’єктів, рух об’єкта, спотворення зображення, поява перепони перед об’єктом, зміна масштабування об’єкта. Розроблено та застосовано Python-скрипти для автоматизації вимірювання чотирьох критеріїв ефективності роботи алгоритмів: індекс співпадіння обмежувальних рамок, відстань між центрами рамок, показник успішності, витрата часу на кожний кадр. Досліджено ефективність роботи алгоритмів Boosting, CSRT, KCF, MedianFlow, MIL, MOSSE, TLD при обробці кадрів із проблемними ситуаціями, типовими для зображень із дронів. Проведено аналіз схильності до збоїв, подібностей роботи різних алгоритмів, проблем із швидкодією. Результати експериментів представлені у вигляді таблиці чисел, графіків та візуалізації роботи кожного алгоритму. За результатами дослідження визначено тенденції алгоритмів до некоректної роботи при обробці кадрів, що містять проблеми, типові для зображень, зроблених із камери дрона. Результати можуть бути використані для пріоритетизації використання або комбінування окремих алгоритмів залежно від сфери застосування.

Investigation and comparison of OpenCV object tracking algorithms effectiveness when processing frames with typical problems for images from UAV cameras. Conducting experiments to determine advantages and disadvantages, failure tendencies, time performance issues. Experimental videos were recorded in a FPV-drone flight simulator for seven typical problems. Correct behavior (ground truth) was defined manually using Python scripts with a bounding box input. Typical problems were determined: angle change, object position change, presence of identical objects, moving object, image noise, obstacle in front of an object, object size scaling. Python scripts were developed and used to automate calculation of four effectiveness criteria: bounding box match rate, center to center distance, success rate, time spent per frame. Investigated effectiveness of Boosting, CSRT, KCF, MedianFlow, MIL, Mosse, TLD algorithms when processing frames with problems typical for images from UAV cameras. Carried out an analysis of failure tendencies, similarities between different algorithms, time performance issues. The experiments results were presented as tables with raw values, charts and human-friendly visualization of each algorithm’s work. According to the results of the research, the tendencies of object tracking algorithms to work incorrectly when processing frames with problems typical for images taken from a UAV camera were determined. The results can be used for prioritization of certain object tracking algorithms usage or combination, depending on the field of application.