Моделирование характеристик визуального содержания для поиска объектов в каталогах космических изображений

Актуальность темы

исследований. Задача поиска статических изображений продолжает оставаться крайне актуальной на протяжении последних десятилетий. Несмотря на неослабевающий интерес исследователей и большое количество работ в данной области есть ещё много открытых вопросов и нерешенных задач. В частности, в связи с большим количеством имеющихся на земной орбите спутников и постоянным запуском новых, объемы космической информации в каталогах изображений измеряются терабайтами и продолжают возрастать. Поэтому основное внимание исследователей уделяется алгоритмам поиска изображений по содержанию (Content Based Image Retrieval, CBIR), позволяющим автоматизировать процесс построения индекса.

Задача поиска изображений по визуальным характеристикам является частью задачи поиска изображений в целом, которая, в свою очередь, является частью обширного процесса, называемого информационным поиском [3].

Термин «информационный поиск» был введён в 1948 году Кельвином Муром. Согласно [5], информационный поиск — это процесс выявления в некотором множестве документов всех таких, которые соответствуют указанной теме, удовлетворяют заранее определённому условию поиска и содержат необходимые данные.

Задача поиска изображений как часть задачи информационного поиска стала актуальной в последние несколько десятилетий, в особенности с развитием и ростом популярности сети Интернет.

На сегодняшний день не существует единого подхода к решению задачи поиска изображений по визуальным характеристикам. За последние несколько десятилетий были опубликованы тысячи работ в данной области, но, несмотря на это, задача поиска изображений остаётся актуальной до сих пор. Это можно объяснить сложностью данной задачи, обусловленной в первую очередь сложностью механизма зрительного восприятия человека. Основной проблемой в данной области является «семантический разрыв» между низкоуровневым содержанием изображения, которым оперирует система, и семантикой изображения, необходимой пользователю. Также определённую сложность представляет необходимость работы с большими массивами многомерных данных — векторами признаков, вычисляемых для описания каждого изображения. Можно выделить следующие основные направления исследований в данной области:

•, выделение признаков изображений. Поиск различных способов описания изображений и их сравнение между собой. В рамках данного направления предлагаются всё новые виды векторов признаков и способы их вычисления, а также новые метрики, заданные на пространстве этих векторов;

• многомерное индексирование. Разработка алгоритмов многомерного индексирования, подходящих для задач содержательного поиска изображений, для которых характерна высокая размерность и большие объёмы индексируемых данных;

• проектирование систем поиска. Важной особенностью любой системы является её эргономичность — удобство работы с ней для пользователя. Ввиду сложности систем содержательного поиска изображений этот параметр играет особую роль [5].

Однако данное ограничение можно было бы преодолеть при помощи методов поиска, основанных на процессах, происходящих в нервной системе человека при визуальном восприятии объектов окружающего мира. В настоящей работе мы предложили такую модель, в основе которой лежит предположение о том, как проходит процесс зрительного восприятия человека на его начальном этапе.

Решаемая проблема. Проблема математического описания пространственного распределения и взаимосвязи яркости элементов космических снимков природных и урбанизированных территорий с целью выделения и классификации объектов на земной поверхности.

В диссертационной работе развивается новый подход к поиску и анализу изображений, основанный на модели «эскиза» текстурных образцов. Этот подход позволил ответить на следующие вопросы, связанные с проблемой содержательного поиска изображений:

— как построить набор информативных признаков, которые описывают визуальное содержание кусочно-однородных образцов искомых естественных объектов поиска;

— как найти и выделить искомый естественный объект по заданному визуальному образцу на космических снимках различного разрешения;

— как выделить значимые структуры визуально-однородных образцов для автоматического создания аннотаций космических изображений;

— как построить алгоритмическое обеспечение для создания эффективной системы поиска и выделения объектов по заданному визуальному образцу.

Практическая значимость поставленных теоретических проблем и необходимость создания эффективных программных средств поиска и обработки в базах данных изображений различного разрешения обуславливают актуальность данного диссертационного исследования.

Цель работы. Разработка математических моделей, алгоритмов и программ анализа спектров яркости изображений с использованием моделей марковского случайного поля с гиббсовским распределением вероятностей (МСП/ГРВ), учитывающих устойчивость пространственно-яркостных характеристик, и их применение для обработки космических снимков природных и урбанизированных территорий высокого и сверхвысокого разрешения.

В соответствии с поставленной целью решались следующие задачи:

1. Анализ взаимосвязей пространственных характеристик и возможностей повышения эффективности алгоритмов обработки изображений на основе МСП/ГРВ-моделей;

2. Разработка алгоритмов идентификации параметров МСП/ГРВ-моделей для многозональных снимков высокого и сверхвысокого разрешения;

3. Формирование признаковых пространств, адекватных зрительному восприятию объектов на космических снимках высокого разрешения для природных и урбанизированных территорий;

4. Разработка программной системы анализа и обработки изображений с целью поиска и визуализации.

Объектом исследования является пространственное распределение спектральных яркостей на панхроматических и многозональных изображениях, а также пространственные корреляции яркостей и их соотношения с ландшафтными характеристиками природных и урбанизированных территорий.

Предмет исследования: математическое моделирование пространственных характеристик спектральных яркостей с помощью МСП/ГРВ-моделей и их применение для поиска и выделения объектов на космических снимках высокого и сверхвысокого разрешения.

Методы исследования. Для решения поставленных в диссертационной работе задач использовались следующие методы и подходы: теория цифровой обработки и методы анализа изображенийсистемный анализметоды математической статистикитеория случайных полейметоды линейной алгебрытекстурный анализметоды контекстного поиска изображений, а также технология создания прикладных программных систем.

Достоверность полученных результатов подтверждается совпадением результатов автора с данными других исследователей, полученных в результате тестирования на известных объектах (текстурах Бродатца), а также результатами вычисления характеристик точности и полноты результатов поиска в каталогах изображений.

Научная новизна:

1. Предложен новый метод выделения объектов на снимках природных и урбанизированных территорий высокого и сверхвысокого разрешения, основанный на использовании МСП/ГРВ-модели при формировании признаковых пространств.

2. Разработан и программно реализован новый алгоритм обработки изображений высокого и сверхвысокого разрешения для выделения на них однородных участков.

3. Впервые программно реализован метод формирования признаковых пространств крупномасштабных изображений, опробованный для различных видов растительности.

На защиту выносятся следующие положения:

1. Новый принцип построения информативных признаков визуально-однородных образцов естественных объектов, основанный на свойствах марковского случайного поля с гиббсовским распределением вероятностей, используемых в качестве основы для построения модели.

2. Разработанные алгоритмические средства анализа изображений высокого и сверхвысокого разрешения и выделения искомых участков в построенном пространстве признаков.

3. Результаты работы алгоритма выделения участков на кусочно-текстурных изображениях при выделении видового состава растительности.

Практическая значимость исследования. Разработанный в диссертации подход даёт возможность осуществлять эффективный поиск и выделение визуально схожих однородных участков земной поверхности на космических снимках.

Полученные результаты имеют важное практическое значение для автоматического создания аннотаций космических изображений и метаданных для каталогов космических снимков.

Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на следующих конференциях и семинарах: международная конференция «ENVIROMIS» (Томск, 2006 г.) — российско-китайский семинар «Геоинформационное обеспечение устойчивого развития.

Большого Алтая" (2006г.) — международная конференция «Современные методы математического моделирования природных и антропогенных катастроф» (Барнаул, 2007) — конференция молодых ученых ИВЭП СО РАН (Барнаул, 2007) — совместный семинар по тематическому анализу и обработке снимков высокого разрешения (ГИС-центр ОИГГиМ и ЦБС СО РАН, 2008 г).

Внедрение. Метод, предлагаемый в данной работе, используется для классификации видового состава растительного покрова на космических снимках высокого разрешения в ГИС-центре ОИГГиМ (г. Новосибирск).

Объём и структура диссертации. Диссертация состоит из введения, трех глав, заключения и списка литературы. Полный объем работы составляет 124 страниц машинописного текста, включая 13 рисунков, 13 таблицбиблиография — 100 наименований.

3.5. Выводы по главе 3.

В результате проведения поиска в каталоге изображений, содержащих однородные текстуры из альбома Бродатца, поиска по каталогу текстур естественных объектов, полученных с космических снимков, выделения однородных текстурных участков на космических снимках и анализа полученных результатов на каждом из перечисленных этапов были сделаны следующие выводы.

1. Предлагаемый метод поиска в каталогах космических изображений обеспечивает высокую степень точности и релевантности поиска по коллекциям космических снимков высокого (10−1 м) и сверхвысокого (менее 1 м) разрешения. Анализ изображения на основе эскиза текстурного образца при правильном подборе необходимых параметров (размер окна поиска) даёт для таких космоснимков высокие результаты — по каждому классу натуральных текстур алгоритм давал результат с точностью от 85 до 100%. Это же можно сказать и о результатах сегментации снимков высокого и сверхвысокого разрешения с использованием рассматриваемого метода — по сравнению с результатами ручной классификации погрешность результатов составляет от 0 до 2%.

2. При анализе космических снимков среднего и низкого разрешения предлагаемый метод показывает меньшую точность поиска и сегментации изображений. Это связано, прежде всего, с особенностями визуально-информационной структуры таких снимков, обусловленными разрешением сенсора спутника. Данную проблему можно решить путём повторного обучения программы поиска всем текстурным образцам, характеризующим в своей совокупности весь искомый объект анализируемого изображения.

ЗАКЛЮЧЕНИЕ

.

Подводя итог проведённым теоретическим и экспериментальным исследованиям, можно сделать следующие выводы по полученным результатам.

1. Предложена и исследована новая модель эскиза однородного текстурного образца. Предлагаемая модель основана на нахождении значимых клик анализируемого изображения. В данной работе показано, что эскиз текстуры на основе значимых клик является математическим представлением гипотезы Марра о структуре визуального восприятия.

2. Разработан и программно реализован метод анализа однородных изображений на основе предложенной модели. Метод заключается в нахождении значимых клик однородного текстурного изображения и формировании на их основе специальной совокупности элементов изображения, называемой эскизом однородной текстуры. Данный эскиз является в некотором смысле атомарным элементом анализируемой однородной текстуры, отражающим её визуальное содержание. Таким образом, результатом работы данного метода является формализованное описание однородного текстурного изображения, коррелирующее с важнейшими предположениями о свойствах и законах визуального восприятия. Модель эскиза однородной текстуры позволяет выполнять на следующих этапах такие действия, как выделение определённого текстурного участка на кусочно-однородном изображении и сегментацию изображения на непересекающиеся текстурные участки.

3. Разработан и программно реализован алгоритм выделения искомых участков. Алгоритм основан на сравнении значимых клик участков изображения заданной размерности, называемых окнами анализа. Участки, имеющие одинаковые значимые клики, считаются принадлежащими к одному классу. В противном случае участки считаются принадлежащими разным классам текстур. Достоинствами данного алгоритма является простота, лёгкость программной реализации и малые затраты расчётных ресурсов рабочей станции. В процессе тестирования работа алгоритм продемонстрировал точность выделения однородных текстурных участков искусственных коллажей и космических снимков.

4. Предложено использовать взвешенную меру количественной оценки близости текстурных образцов в пространстве признаков, построенных с применением структурно-яркостных характеристик эскизов образцов. В ходе экспериментов по подбору меры количественной оценки близости текстурных образцов наиболее приемлемым было признано взвешенное евклидово расстояние. Необходимость применения взвешенной меры оценки близости обусловлена возможностью применения предлагаемого алгоритма сегментации для анализа космических снимков различного разрешения. Чем ниже разрешение анализируемого снимка, тем большая степень корректировки весовых коэффициентов требуется для проведения анализа.

5. Создана оригинальная программная система, в которой реализован разработанный в диссертации метод поиска в каталогах кусочно-текстурных изображений. Система состоит из двух основных программных модулей: модуля вычисления значимых клик изображения и модуля сегментации изображения на однородные текстурные участки. Первый модуль позволяет вычислить и визуализировать значимые клики введённой однородной текстуры. Второй модуль на основе выходных данных первого модуля производит сегментацию введённого изображения, выделяя на нём введённую на первом этапе искомую однородную текстуру.

Таким образом, разработан перспективный единообразный подход к поиску и анализу космических изображений, имеющий значительные преимущества перед существующими подходами, использующими низкоуровневые характеристики объектов и массу их модификаций. Использование предлагаемого подхода позволяет автоматизировать создание аннотаций в каталогах космических изображений, используемых при решении задач дистанционного экологического мониторинга природных объектов.