Моделирование процессов выделения, сопровождения и классификации изображения движущегося воздушного объекта

Автоматизированные системы управления стали неотъемлемой частью сегодняшнего общества, порой, они выполняют те функции, которые не под силу человеку. Таким образом, человек расширяет круг своих возможностей в различных сферах своей жизни. На сегодняшний день техника внедрена во все области жизни. Человек пытается автоматизировать многие процессы с целью извлечения максимальных результатов, затрачивая при этом минимум усилий при их использовании.

Крупная область применения методов обработки изображений — это решение задач, связанных с машинным восприятием изображений. В этом случае в центре внимания находятся процедуры, извлекающие из изображения необходимую информацию и представляющие ее в форме, подходящей для компьютерной обработки. Часто эта информация весьма мало похожа на визуальные признаки, используемые людьми при интерпретации содержимого изображения. При обработке изображений, интересует изображение не само по себе, а та неизобразительная информация, которая в нем содержится. Извлечение этой информации, после предварительной обработки видеоинформации, и является дальнейшей целью. [1, 3].

Одной из задач цифровой обработки изображений является задача классификации, распознавания и анализа движущихся объектов в системах технического зрения. Решение этого класса задач столкнулось с рядом трудностей, среди которых стоит отметить: отсутствие математических моделей, адекватно описывающих наблюдаемую обстановку, несовершенство датчиков изображений, недостаточную производительность вычислительных систем.

Одним из направлений, в котором необходимо решать такие задачи, является создание комплексов: для анализа и обработки изображений, предназначенные для установки на подвижных носителях, таких как самолёты, вертолёты, автомобили и другие транспортные средства. Назначением подобных систем является решение задач обнаружения движущихся и неподвижных объектов, построения траекторий движения, оценки их параметров, а также их классификации. Как правило, наибольшие трудности возникают при решении этих задач в режиме реального времени.

Последнее время, такие комплексы обработки изображений активно применяются в системах автоматического сопровождения воздушных объектов, наблюдаемых на фоне ясного или облачного неба, с целью решения задач их обнаружения и оценки параметров.

Технологии автоматического выделения и оценки параметров воздушных объектов является важной задачей для таких приложений, как задачи обеспечения безопасности аэропортов и важных промышленных предприятий, контроль и мониторинг воздушного движения, астронавигацию, системы анализа потока машин на автомагистрали и т. д. [4, 5, 14] В настоящее время разработано множество алгоритмов выделения и оценки параметров объектов. Однако известные подходы зачастую обладают большой вычислительной сложностью и не в полной мере учитывают специфику рассматриваемой задачи, и особенности применяемых на практике датчиков изображений. [19, 21, 24] Поэтому, разработка эффективных алгоритмов выделения, обнаружения и оценки параметров для систем автоматического сопровождения воздушных объектов, работающих в режиме реального времени, остается актуальной задачей.

В данной работе, предметной областью выступают видеоданные, в виде последовательности изображений воздушного объекта в процессе его перемещения в пространстве. Используя методы контурного анализа, делается попытка классифицировать выделенный воздушный объект. Общая структурная схема системы автоматического сопровождения движущихся воздушных объектов представлена на рисунке 1.

Предполагается, что датчик формирует полутоновую последовательность изображений размерностью 1024×1024 пикселей с частотой 25 кадров в секунду. Площадь объекта занимает порядка 1/100 части кадра, и за время между соседними кадрами, смещается не менее чем на половину собственной площади.

Основными задачами являются обнаружение и выделение объекта, на входном изображенииоценка параметров расположения, которые определяют пространственное положение объектаклассификация объекта на основе его контурных характеристик.

Примерами наблюдаемых целей могут воздушные объекты наблюдаемые на дальностях от 500 метров до нескольких десятков километров, как на ровных, так и на контрастных облачных фонах. Исходя из удалённости воздушных объектов, характеристик датчиков и возможности полей зрения, размеры наблюдаемых объектов на изображении могут лежать в широком диапазоне значений — от 20×20 до 200×200 элементов разложения. выделение объекта оценка параметров построение внешнего источник первичны* движения контура видеоданных формирование вектора уникальных признаков.

Результат: объект — номер класса идентификация объекта.

Рисунок 1. Структура системы автоматического сопровождения движущихся воздушных объектов.

Контуры являются областями с высокой концентрацией информации, слабо зависящей от цвета и яркости. Они устойчивы к смене типа датчика, формирующего изображение, к частотному диапазону, в котором он работает, не зависят от времени суток и года. Кроме этого, контур целиком определяет форму изображения и содержит всю необходимую информацию для распознавания изображений по их формам. Такой подход позволяет не рассматривать внутренние точки изображения и тем самым значительно сократить объем обрабатываемой информации за счет перехода от анализа функции двух переменных к функции одной переменной. [2, 5] Следствием этого является возможность обеспечения работы системы обработки в масштабе времени, более близком к реальному. Но даже в тех задачах, где нельзя пренебречь обработкой внутренних точек, методы контурного анализа дополняют другие. Совершенствуя датчики и увеличивая объем запоминающих устройств, можно сформировать слабо искаженные шумами многоэлементные изображения. При этом задача распознавания облегчается, но основные трудности не устраняются. Они вызваны влиянием на математическое описание изображения случайных переносов, поворотов и изменения масштаба. Методы контурного анализа в большей степени, чем пространственные методы, дают возможность использовать модели, инвариантные к таким преобразованиям.

Для решения поставленных задач, предлагаться использовать многоэтапные алгоритмы обнаружения, выделения, сопровождения, оценки параметров и классификации объекта. Все эти алгоритмы должны быть ориентированны на использование в системах реального времени.

Несмотря на достаточно большое количество работ по данной тематике, нельзя сказать, что в них в полной мере учитывается специфика задач выделения, обнаружения и оценки параметров воздушных объектов с большим диапазоном варьирования размеров, наблюдаемых в камеру оптического диапазона на фоне ясного или облачного неба. В ряде работ рассматриваются алгоритмы, позволяющие обнаруживать точечные и малоразмерные воздушные объекты [19, 21, 23], однако они преимущественно ориентированны на обработку изображений, получаемых с тепловизионных датчиков и часто не способные эффективно обнаруживать протяжённые объекта.

Таким образом, сформулируем цель диссертации как разработку эффективных алгоритмов решения задачи выделения, оценки параметров воздушного объекта и его классификация, для системы автоматического сопровождения. Для достижения указанной цели в диссертации решаются следующие задачи:

• обзор и анализ существующих алгоритмов выделения и сегментирования, движущихся воздушных объектов на фоне ясного или облачного неба;

• формирование модели фоно-объектной обстановки и признаков выделения объекта на основе реальных видеоданных;

• построение многоэтапного алгоритма обнаружения и выделения воздушного объектаопределение методов сокращения объёма обрабатываемой информации;

• кодирование внешней границы воздушного объекта, используя методы контурного анализа;

• группировка согласующихся контурных фрагментов;

• формирование кластера инвариантных характеристик на основе контурного представления внешней границы воздушного объекта;

• построение алгоритма оценки параметров и классификации воздушного объекта;

• разработка методики и проведение экспериментальных исследований эффективности разработанных алгоритмов с использованием набора реальных видеоданных, выработка рекомендаций по параметрической настройке алгоритмов при различной фоновой обстановке;

• адаптация разработанных алгоритмов к полученным экспериментальным данным;

Научная новизна данной работы состоит в том, что предложены модели: обнаружения и выделения воздушного объекта на основе вероятностной моделипредложены методы сокращения объёма обрабатываемой информацииметоды расчёта инвариантных геометрических характеристик объекта по его внешней границе.

В первой главе формулируется постановка задачи выделения и оценки параметров воздушного объекта. Рассматриваются основные компоненты системы автоматического сопровождения. Определяются основные характеристики и параметры фоно-объектной обстановки. Формулируется математическая модель объекта, основанная на теории контуров. Рассмотрены основные физические явления порождения шума, и модели восстановления изображения.

Нахождение и отслеживание движущегося воздушного объекта в видеопотоке, рассматривается во второй главе. Первым шагом к решению этой задачи является выделение переднего плана. В данной главе будет рассмотрен метод, основанный на вероятностной модели. Также будут рассмотрены основные проблемы, с которыми этот метод сталкиваются, и будут рассмотрены варианты их решения.

Решение задачи получения внешнего контура объекта рассматривается в третьей главе, в виде замкнутой кривой или совокупности отрезков дуг, обнаруженного объекта на входном изображении. Рассматривается подходы представления границ объекта на основе аппроксимации кривых, прослеживания контура, связывания точек перепадов.

В четвёртной главе исследуется проблема формирования инвариантных признаков движущегося воздушного объекта для его последующей идентификации с использованием эталонного объекта. Определяется оптимальный вектор признаков. Рассматривается метод оценки близости между выделенным объектом и эталонной моделью. Идентификация объекта сводится к его классификации. Результатом задачи, является набор характеристик, необходимых для реализации отображения: объект — номер класса.

Пятая глава посвящена экспериментальной проверке описанной в предыдущих главах модели сегментации и идентификации воздушного объекта. Выполняется оценка построенной модели на эталонных объектах. Определяется эффективность выбранного решения в плане ресурсоёмкости и скорости вычислений.

В заключении перечисляются основные научные и практические результаты диссертационной работы, рассматриваются направления дальнейших исследований.

Практическая ценность.

1. Комплекс программ разработанных, позволяет проводить вычислительные эксперименты по выделению и классификации движущегося воздушного объекта в различных прикладных задачах. Примеры решения некоторых задач приведены в диссертации и могут служить прототипами для решения других аналогичных задач.

2. Предложенная в диссертации методология описания компьютерной модели позволяет наглядно, компактно и в тоже время точно представить поставленный эксперимент. Такую модель рекомендуется применять также для сравнения различных решений моделируемых систем между собой. Все выполненные в рамках диссертации компьютерные эксперименты представлены соответствующими моделями, что даёт возможность точно повторить выполненный эксперимент.

Научные положения, выносимые на защиту.

1. модель фоно-объектной обстановки и структуры описания признаков выделяемого воздушного объекта на фоне ясного или облачного неба;

2. многоэтапный алгоритм обнаружения и выделения воздушного объекта;

3. методы сокращения объёмов обрабатываемой информации;

4. алгоритм оценки параметров и классификации воздушного объекта, базирующийся на принципах контурного анализа;

5. комплекс программ для проведения компьютерных экспериментов по выделению и классификации движущегося воздушного объекта, основными компонентами которого являются методы представленные в данной работе;

По теме диссертационной работы опубликовано 8 научных работ. Из них 4 в журналах и изданиях, рекомендованных для публикаций материалов диссертаций ВАК, 3 работы в сборниках материалов научных конференций, 1 свидетельство о государственной регистрации программы для ЭВМ.

Результаты работы докладывались и обсуждались на:

• ежегодных научных конференциях преподавателей, аспирантов и студентов НовГУ (Великий Новгород, 2009 г. — 2011 г.);

• XV конференции «Математические методы распознавания образов» ММРО-15 г. Петрозаводск, Республика Карелия;

• грант РФФИ № 10−01−146-а, руководитель Емельянов Г. М., гос. per. No 0120.1 164 263, 2010;2012 г;

• ГБ НИР «Разработка и исследование математических моделей многопараметрических систем», руководитель Емельянов Г. М., по заданию Минобр-науки РФ, гос. per. No 0120.0 704 719, 2007;2011 г.

Диссертация состоит из введения, пяти глав с выводами, заключения, библиографического списка и приложения. Работа изложена на 155 страницах машинописного текста и включает 62 рисунка, 10 таблиц и 5 алгоритмов. Библиографический список включает 72 наименования. Ссылки на источники указываются в виде имени первого автора публикации (в некоторых случаях с заглавием) и года издания в квадратных скобках.

5.5 Выводы.

Глава посвящена описанию комплекса программ, разработанного в рамках диссертации, а также результатов экспериментов на реальных данных.

Комплекс программ, ориентирован на моделирование процессов выделения, сегментирования и классификации воздушного объекта, для системы автоматического сопровождения. В главе представлены назначение, структура и состав каждого компонента, нескольких базовых модулей, а также алгоритмы и примеры работы основных частей комплекса.

Приведены примеры моделирования процессов выделения, сегментирования и классификации воздушного объекта на примере реальных данных.

На основе проведённых экспериментов выявлено, что эффективность предложенных методов составляет порядка 90%. Величина ошибки порядка 10%, которая приходится на потерю объекта в процессе слежения и выделения, а также некорректную классификацию. При этом, применение методов дооценки динамической системы сводит ошибки потери к значению порядка 1−2% от общего количества кадров. Ошибка классификации в 8 — 9% сильно зависит от качества исходных данных и соотношения сигнал/фон.

Предложенные модели и методы позволяют решать поставленные в диссертационной работе задачи, в режиме реального времени, все этапы синтезированного алгоритма по выделению, сопровождению и классификации воздушного объекта выполняться в режиме за время < 40 мс.

Заключение

.

Основной результат данной работы состоит в разработке и исследовании моделей для задач обнаружения, сопровождения и классификации движущегося воздушного объекта. Это соответствует теме диссертации и поставленной цели.

В рамках настоящей работы решались следующие задачи:

1. Анализ существующих алгоритмов выделения и сегментирования, движущихся воздушных объектов на фоне ясного или облачного неба;

2. Формирование модели фоно-объектной обстановки и признаков выделения объекта на основе реальных видеоданных;

3. Построение многоэтапного алгоритма обнаружения и выделения воздушного объекта;

4. Исследование методов сокращения объёма обрабатываемой информации;

5. Анализ методов кодирования внешней границы воздушного объекта, и группировки согласующихся контурных фрагментов, используя подходы контурного анализа;

6. Формирование кластера инвариантных характеристик на основе контурного представления внешней границы воздушного объекта, и построение алгоритма оценки параметров и классификации воздушного объекта;

7. Разработка комплекса программ для организации вычислительных экспериментов и исследования задач выделения, сопровождения и классификации движущегося воздушного объекта. Адаптация разработанных алгоритмов к полученным экспериментальным данным.

Решение этих задач представлены в 5-ти главах диссертации, а полученные при этом основные результаты сводятся к следующим:

1. Сформирована модель фоно-объектной обстановки и признаков выделения объекта базирующаяся на вероятностном подходе, на её основе, разработан алгоритм выделения и сегментирования движущегося воздушного объекта на фоне ясного или облачного неба. Предложено оценивать фоновую составляющую кадра путем применения низкочастотного фильтра рекурсивного сглаживания. Алгоритм позволяет решить ряд проблем, такие как адаптация, к таким изменениям сцены как дождь, снег. Метод способен работать в условиях динамического заднего плана, приспособиться к медленным и быстрым изменениям освещения. Применение предложенного подхода позволяет подавить не только стационарный, но и в значительной степени нестационарный фон.

2. Для соответствия критериям систем реального времени, были предложены методы сокращения объёмов обрабатываемой информации: метод, основанный на пирамидальном представлении изображенияметод дооценивания вектора состояния динамической системы. В результате применения метода пирамидального представления изображения, объём обрабатываемой информации уменьшается как минимум в 4 раза. Использование метода дооценивания вектора состояния динамической системы фильтра только 10% от исходного объёма данных. В результате применения этих двух методов, объём обрабатываемой информации сокращается в 40 раз.

3. Решена проблема выделения контуров, связанная с обнаружением одной или нескольких его взаимосвязанных точек и дальнейшим прослеживанием.

4. Решена задача сокращения обрабатываемой информации, в результате операции определения доминантных точек и построения контура на их основе.

5. Сформулированы основные требования для дескрипторов, описывающих воздушный объект, а также описаны правила получения качественных дескрипторов по внешним границам объекта.

6. Решена задача классификации объекта, как финальный этап разрабатываемой системы получения результата.

7. Предложенные модели реализованы в алгоритмах программного комплекса, предназначенного для моделирования и исследования системы выделения, сопровождения и классификации движущегося воздушного объекта.

В целом диссертация характеризируется методологическим единством представленного материала, а совокупность полученных результатов отвечает поставленной цели. Основные научные результаты теоретически обоснованны и подтверждены выполненными компьютерными экспериментами.

Результаты диссертационной работы опубликованы в 8 научных работах. Из них 4 в журналах и изданиях, рекомендованных для публикаций материалов диссертаций ВАК, 3 работы в сборниках материалов научных конференций, 1 свидетельство о государственной регистрации программы для ЭВМ, отмечены позициями [67−73] библиографического списка.