Анализ и подавление искажений в изображениях, сжатых с использованием вейвлет-преобразования

Актуальность темы

Проводимые во всех технически развитых странах разработки алгоритмов и аппаратуры сокращения объема и рационального пакетирования видео-, аудиои сопутствующей информации являются основой создания систем эффективного использования каналов связи, сохранения действующих частотных планов, высвобождения значительной части частотного ресурса для передачи потребителям дополнительных видов услуг — мобильной и стационарной видеосвязи, многопрограммного интерактивного телевидения, телевидения высокой четкости, многопрограммного звукового вещания, цифрового кино. Разработка алгоритмов и соответствующей аппаратуры цифрового сжатия различных видов информации для их передачи по каналам связи как альтернативы аналоговым системам проводится уже более 20 лет. Был получен ряд важных результатов в плане разработки алгоритмов сжатия (включая стандарты JPEG, JPEG2000, JPEG XR, MPEG-1, MPEG-2, MPEG-4, H.261, H.263, H.264/AVC для статических и динамических изображений различного разрешения) [1−40].

Проблема создания высококачественной системы цифровой передачи и хранения видеоинформации — это, главным образом, проблема быстрого и эффективного ее сжатия при сохранении качества исходной информации в смысле какой-нибудь меры или оценки [1−3, 24, 36, 40]. Этап сжатиянаиболее ресурсопотребляющая часть всей системы [22, 23]. Кодирующее устройство решает сложные задачи в реальном времени и производит большое количество операций обработки, определяющих качество цифрового преобразования изображения [16, 17, 26, 27, 29, 40]. Декодер, как правило, менее сложен и должен получать и восстанавливать данные [36, 40].

Значительный вклад в разработку теории и алгоритмов цифровой обработки изображений внесли как отечественные ученые: Ю. Б. Зубарев,

М.И. Кривошеев, Л. П. Ярославский, В. П. Дворкович, А. В. Дворкович, В. А. Сойфер, М. К. Чобану, А. С. Крылов, Ю. М. Баяковский, так и зарубежные — Р. Гонсалес, Р. Вудс, Т. Чан, А. Бовик, Ю. Неуво, Я. Астола, К. Егиазарян и др. [1−56, 66−75].

Алгоритмы сжатия занимают значительное место в теории цифровой обработки изображений [23, 39,40]. Связано это с тем, что изображения, представленные в цифровой форме, требуют для хранения довольно большого объема памяти, а при передаче их по каналам связи требуется значительное время [14, 21−23, 26, 29, 36]. Так, для хранения изображения с Full HD разрешением 1920×1080 пикселей и 24 битами на отсчет требуется 1920×1080×24=5,93 Мбайт памяти. Чтобы передать его по типовому телекоммуникационному каналу со скоростью 1 Мбит/с, потребуется около 40 секунд.

В то же время известно, что изображения содержат избыточную информацию, на которую тратятся память и полоса частот канала связи. Алгоритмы сжатия уменьшают объем избыточной информации. Их можно разделить на два класса [36, 40, 77]: алгоритмы сжатия без потерь (рис. В. 1а);

— алгоритмы сжатия с потерями (рис. В. 16). а) б)

Рис. В.1. Алгоритмы сжатия цифровых изображений: а) без потерьб) с потерями Алгоритмы сжатия без потерь основаны на исключении избыточной статистической информации. К ним относятся: кодирование длин серий (Run-Length Encoding, RLE), метод группового кодирования (Lempel-Ziv-Welch, LZW), хаффмановское кодирование, арифметическое кодирование и др. «Сжатие без потерь» означает, что процесс обратим, т. е. информацию можно восстановить при декодировании в первоначальном виде [23, 24, 29, 40, 54].

Алгоритмы сжатия с потерями основаны на том, что в изображении содержится информация, либо слабо воспринимаемая человеческим глазом, либо ненужная для задачи дальнейшей обработки, например для выделения и распознавания объектов. В случае, когда потребителем информации на изображении является человек, мы имеем дело с психофизиологической избыточностью информации [41, 80]. Снижение такой избыточности состоит в исключении несущественных частей изображения, которые человеческий глаз не воспринимает в силу психофизиологических особенностей. При этом часть информации безвозвратно теряется, и восстановить ее при декодировании невозможно [71,72,81]. Например, глаз человека не различает цвет мелких деталей изображения [80−82], следовательно, можно хранить только яркость деталей, а цветность отбросить и таким образом 6 уменьшить общий объем информации. Этот метод традиционно применяется в телевидении [82, 161−163].

JPEG (Joint Photographic Expert Group — объединенная группа экспертов в области фотографии) — это первый международный стандарт ISO/IEC для сжатия неподвижных цифровых изображений [17, 125]. Несмотря на широкую популярность данного стандарта развивающиеся интерактивные мультимедиа приложения в проводных и беспроводных сетях, а также Интернет-приложения потребовали новых возможностей, отсутствующих в JPEG [17]. Все это послужило основой для разработки и сертификации новых стандартов — JPEG2000, принятого на рубеже веков, и JPEG XR, вышедшего в 2009 г.

Алгоритм сжатия, используемый в стандарте JPEG2000, основан на вейвлет-преобразовании изображения [12]. Стандарт JPEG2000 показывает свою эффективность в широком спектре приложений: передача изображений в сети Интернет, цифровая фотография, создание цифровых библиотек, базы данных изображений, цветное копирование, сканирование, печать, компьютерная графика, обработка медицинских изображений, мобильная связь третьего поколения (3G), приложения клиент-сервер, цифровое кино и др. [12, 34].

Отбрасывание части информации при использовании стандартов сжатия изображений JPEG и JPEG2000 делает актуальным вопрос об объективной оценке качества восстановленных изображений [40−43]. Качество столь сложного объекта, как изображение, является важным, но вместе с тем нечетким понятием. С одной стороны, качество может рассматриваться как характеристика самого изображения и определяться его собственными свойствами (статистическими, • семантическими, структурными). Соответствующие критерии являются либо субъективными, либо опираются на объективные характеристики изображения: форму и параметры распределения яркости, оценки искажения деталей и т. д.

С другой стороны — качество часто рассматривается как мера близости двух изображений: оцениваемого и эталонного. Такой подход позволяет оценивать количественные изменения значений яркости, общий уровень искажений изображений при преобразованиях (фильтрация, сжатие с потерями и т. д.). При этом оценивается качество самого средства преобразования — алгоритма или устройства, что важно при построении систем обработки изображений.

Относительно новый подход к оценке качества изображений заключается в использовании априорной информации об искажениях, проявляющихся при формировании, кодировании или передаче визуального сигнала. В случае ограниченности доступных ресурсов визуальная информация подвергается различного типа искажениям: блочность, размытие, звон и др. [29]. Если система обработки такова, что выходное изображение содержит лишь конечное число различных типов искажений, то независимая оценка каждого вида искажений позволяет судить о качестве всей системы. Преимущество такого подхода перед описанными выше состоит в том, что даже сильно коррелированные между собой искажения и искажения, зависящие от входного изображения, измеряются независимо. Это позволяет избежать ситуаций, когда разные по качеству изображения не отличаются с точки зрения меры близости их к оригиналу. Более того, независимые метрики количественной оценки искажений могут быть использованы для оптимизации параметров кодирующего устройства с целью повышения качества. Адекватное измерение и анализ искажений позволяет разрабатывать алгоритмы их подавления и улучшения качества, восстановленных изображений. Для стандарта сжатия JPEG существуют как эталонные, так и неэталонные алгоритмы количественного анализа артефактов блочности и размытия [83−87]. Разработка индекса блочности позволила формализовать и решить задачу подавления блочности (deblocking) [87]. Для стандарта сжатия JPEG2000 основными типами искажений являются размытие и звон. Задача количественной анализа данных искажений является новой. Разработка соответствующих метрик размытия и звона позволит проанализировать природу данных искажений, их вклад в общее качество изображения и разработать методы борьбы с ними. Кроме того, требуется проанализировать зависимость данных типов искажений друг от друга, что необходимо для объективной оценки качества всего изображения. Полученные метрики должны иметь низкую вычислительную сложность для работы в реальном масштабе времени, что позволит использовать их для оценки качества видеопоследовательностей, сжатых с применением стандарта JPEG2000.

Основной целью работы является улучшение характеристик систем сжатия изображений путем объективной оценки искажений, вносимых на этапе преобразования.

Для достижения указанной цели в диссертационной работе решаются следующие задачи:

— разработка алгоритмов количественной оценки искажений в изображениях, сжатых с использованием вейвлет-преобразования;

— проведение эксперимента по оценке корреляции между предложенными объективными оценками качества сжатых изображений со средними экспертными оценками;

— разработка алгоритма подавления артефактов звона в сжатых изображениях на основе билатерального фильтра;

— анализ влияния искажений в сжатых изображениях на работу алгоритмов выделения и распознавания лиц.

Методы исследования. При решении, поставленных задач использовались современные методы цифровой обработки изображений, вейвлет-анализа, теории вероятностей, математической статистики, математического анализа, линейной алгебры. Для практической реализации алгоритмов применялись современные численные методы и методы объектно-ориентированного программирования на языках С++ и Java.

Достоверность полученных научных результатов. Достоверность полученных научных результатов обусловлена применением адекватного математического аппарата, подтверждается их согласованностью с результатами проведенного компьютерного моделирования и сопоставлением полученных результатов с научными данными, известными из российской и зарубежной литературы.

Научная новизна. В рамках данной работы получены следующие новые научные результаты.

1. Разработаны эталонный и неэталонный алгоритмы оценки качества сжатых изображений, основанные на измерении уровня размытия в восстановленном изображении.

2. Разработан эталонный алгоритм оценки качества сжатых изображений, основанный на измерении уровня звона в восстановленном изображении.

3. Разработан и исследован алгоритм подавления звона в сжатых изображениях.

4. Исследовано влияние искажений звона и размытия на алгоритмы выделения и распознавания лиц на изображениях. Практическая значимость

1. Разработаны алгоритмы оценки уровня звона и размытия в изображениях, сжатых с применением вейвлет-преобразования.

2. Проведен эксперимент по оценке корреляции между объективными критериями качества сжатых изображений со средними экспертными оценками. Коэффициент корреляции Пирсона между предлагаемыми объективными оценками и средними экспертными составил 0,74.

3. Разработан алгоритм подавления артефактов звона на основе модифицированного билатерального фильтра. Применение данного алгоритма увеличивает ПОСШ восстановленного изображения на 1,5−3 дБ по сравнению с классическим билатеральным фильтром.

4. Предложена система архивирования видеоизображений на основе стандарта JPEG2000 с учетом требований систем видеонаблюдения и с возможностью идентификации личности. Вероятность верной идентификации личности по видеоархиву составила 48%. Предложенные алгоритмы количественной оценки искажений и подавления звона могут быть использованы в системах обработки и передачи визуальной информации, медицинских изображений, видеоархивирования. Разработанная система архивирования может быть использована как автономно в задачах видеонаблюдения, так и всоставе электронных комплексов обеспечения безопасности и охраны правопорядка.

Результаты работы внедрены в соответствующие разработки ЗАО «Фирма НТЦ КАМИ», г. Москва, ООО «А-ВИЖН», г. Ярославль.

Научно-исследовательская программа для архивирования изображений с возможностью идентификации личности PicLab. FDJ2K зарегистрирована в Реестре программ для ЭВМ, свидетельство № 2 009 616 724 от 03.12.2009.

Отдельные результаты диссертационной работы внедрены в учебный процесс ЯрГУ им. П. Г. Демидова в рамках дисциплин «Цифровая обработка изображений», «Обработка и передача мультимедийной информации», «Основы телевидения и видеотехники».

Все результаты внедрения подтверждены соответствующими актами. На защиту выносятся:

1. Алгоритмы оценки уровня размытия и звона в изображениях, сжатых с применеш i ем вейвлет-преобразования.

2. Результаты сопоставления предложенных объективных оценок искажений и качества сжатых изображений со средними экспертными оценками.

3. Алгоритм подавления звона в сжатых изображениях на основе билатерального фильтра.

4. Результаты анализа работы алгоритмов выделения и распознавания лиц в условиях искажений, характерных для изображений, сжатых с использованием вейвлет-преобразования.

Апробация работы. Результаты работы обсуждались на следующих научно-технических семинарах и конференциях:

1. Десятая — двенадцатая международная конференция и выставка «Цифровая обработка сигналов и ее применение», Москва, 2008 — 2010.

2. 63 — 64-я научная сессия, посвященная Дню Радио, Москва, 2008 — 2009.

3. 15-я Международная научно-техническая конференция «Информационные средства и технологии», Москва, 2007.

4. 15-я международная научно-техническая конференция «Радиоэлектроника, электротехника и энергетика», Москва, 2009.

5. International IEEE Conference devoted to the 150-anniversary of Alexander S. Popov (EUROCON 2009), Saint Petersburg, 2009.

6. International Conference «Wavelets and Applications», Saint Petersburg, 2009.

7. 14-я Всероссийская конференция «Математические методы распознавания образов», Москва, 2009.

Публикации. По теме диссертации опубликовано 18 научных работ, из них 1 статья в журнале, рекомендованном ВАК («Успехи современной радиоэлектроники»), 2 статьи в сборнике научных трудов физического факультета ЯрГУ, 15 докладов на научных конференциях.

Структура и объем работы. Диссертация состоит из введения, четырех разделов, заключения, списка использованных источников, содержащего 208 наименований, и 4 приложений. Она изложена на 174 страницах машинописного текста, содержит 66 рисунков и 13 таблиц.

11.Результаты работы внедрены в соответствующие разработки ЗАО «Фирма НТЦ КАМИ», г. Москва, ООО «А-ВИЖН», г. Ярославль.

12.Научно-исследовательская программа для архивирования изображений с возможностью идентификации личности PicLab. FDJ2K зарегистрирована в Реестре программ для ЭВМ, свидетельство № 2 009 616 724 от 03.12.2009.

ЗАКЛЮЧЕНИЕ