Программная система для преобразования частоты кадров цифровых видео сигналов

Можно говорить о двух революциях в телевидении. Первая началась в 1954 году, когда впервые было начато вещание цветного телевизионного сигнала. В течение последующих 30 лет черно-белое вещание практически прекратилось. Вторая революция началась в 1998, когда было начато вещание цифрового видео. На данный момент цифровое видео широко распространено, в основном благодаря спутниковому, кабельному и домашнему телевидению, а па территории США аналоговое вещание видео планируется прекратить уже в 2009 году. Наиболее распространёнными вариантами использования цифрового видео сегодня являются цифровые фото и видео камеры, различные типы оптических носителей (VCD, DVD, Blu-Ray), телевизоры на жидких кристаллах (ЖК), цифровые проекционные системы и плазменные панели. И, наконец, последним витком эволюции цифрового видео можно считать рост популярности его использования в интернете и мобильных устройствах, вплоть до сотовых телефонов. Абсолютно во всех этих случаях используются алгоритмы обработки и сжатия видео.

Широкое распространение цифрового видео обусловило появление большого количества форматов, отличающихся друг от друга многими параметрами. Одним из таких параметров являются временное разрешение или частота кадров. Этот параметр определяет скорость смены кадров при воспроизведении видео и измеряется в кадрах в секунду. Как показывает практика, человеческий глаз очень чувствителен к этой характеристике видео. При малых значениях скорости кадров (<15 кадров/с) человек может различать отдельные кадры в потоке, т. е. становится заметна на глаз дискретная природа видео. При просмотре такого видео в течение продолжительного периода времени могут появиться неприят.

I 1 ные ощущения, например головная боль. В телевизорах с диагональю экрана 72 см и выше при смене кадров с частотой 50 кадров/с становится заметно мерцание изображения, что может приводить к утомлению глаз и к ухудшению зрения. Эти факты говорят о том, что частота кадров является крайне важной характеристикой видео и средства для ее изменения весьма востребованы.

Актуальность работы. Преобразование частоты кадров (ПЧК) используется при необходимости изменения частоты смены кадров видео сигнала. Такая необходимость возникает в нескольких случаях.

Во-первых, для преобразования между стандартами видео. Наиболее типичным примером является воспроизведение видео с частотой кадров 25 кадров/с на телевизоре с частотой вертикальной развёртки 100 кадр/с и более. Другим примером является необходимость преобразования между двумя широко распространёнными системами телевидения — PAL и NTSC. Система PAL является основной системой цветного телевидения в Европе (кроме Беларуси, Франции и России), Азии, Австралии и ряде стран Африки и Южной Америки. NTS С принята в качестве стандартной системы цветного телевидения в США, Канаде, Японии и ряде стран Северной и Южной Америки. В первой используются частоты 25 и 50 кадров/с, во второй — 30 и 60 кадров/с.

Во-вторых, ПЧК можно использовать при декодировании сжатого видео для восстановления первоначального временного разрешения видео сигнала или повреждённых/потерянных кадров. При кодировании видео с высокими степенями сжатия многие видео кодеки уменьшают разрешение данных не только в пространстве, но и во времени. Иначе говоря, вместо кодирования исходных 30 кадров/с, частота кадров может быть уменьшена до 15 кадров/с. Однако, при воспроизведении видео на стороне декодера весьма желательно получить исходную частоту кадров.

Для этого необходим механизм восстановления, в качестве которого может быть использован алгоритм ПЧК.

Кроме этого, ПЧК можно использовать для улучшения визуального качества видео. Частота кадров для видео, снятого например, с мобильного телефона или веб-камеры, составляет, как правило, 15 кадров/с. В этом случае дискретная природа видео (прерывистое движение) заметна для глаз, если в кадре присутствуют движущиеся объекты. Визуальное качество видео может быть значительно повышено путём увеличения частоты кадров.

Существующие алгоритмы ПЧК, обеспечивающее приемлемое визуальное качество, требуют больших вычислительных затрат, что не позволяет их использовать в режиме реального времени и, тем самым, сильно ограничивает их область применения. Помимо этого, недостатком этих алгоритмов является неприемлемый уровень артефактов на видео сценах со сложным движением, характер которого не описывается используемой моделью движения. Таким образом, задача разработки алгоритма ПЧК, необладающего указанными недостатками, является современной актуальной задачей.

Цель диссертационной работы. Целью данной работы является исследование существующих и разработка нового алгоритма преобразования частоты кадров, допускающего его использование в режиме реального времени, а также имеющего уровень артефактов преобразованного видео сигнала ниже или на уровне современных аналогов.

Достижение поставленной цели осуществляется за счет решения следующих задач:

1. Разработка унифицированного критерия точности информации о движении, позволяющего оценивать соответствие векторов движения направлению и скорости реального движения в видео потоке.

2. Исследование существующих и разработка нового алгоритма оценки движения в видео потоке, вычислительно экономного и имеющего более высокую по сравнению с аналогами точность в ровных областях кадра.

3. Исследование существующих и разработка нового алгоритма повышения точности информации о движении, ориентированного для применения в видео сценах со сложным движением.

4. Разработка и реализация программной системы для преобразования частоты кадров видео потока.

Научная новизна. В рамках работ над алгоритмом ПЧК были предложены следующие новые алгоритмы и идеи:

• алгоритм оценки движения (ОД), имеющий более высокую по сравнению с общепризнанными аналогами точность векторов движения в ровных областях и на краях движущихся объектов, при этом вычислительная сложность алгоритма находится на уровне аналогов;

• унифицированный критерий точности информации о движении, который позволяет оценивать степень соответствия найденных параметров, движения скорости и направлению реального движения в каждой области кадра;

• алгоритм повышения точности имеющейся информации о движении, позволяющий значительно снизить уровень визуальных артефактов в случаях больших областей в неверно найденными векторами движения, что нехарактерно для современных аналогов с близкой. вычислительной сложностью;

• алгоритм поиска и обработки наложений в видео потоке, имеющий более высокую по сравнению с аналогами точность поиска областей наложений и позволяющий находить векторы движения в областях наложений;

Практическая значимость. Все алгоритмы, разработанные в рамках работ над ПЧК, являются новыми и демонстрируют результаты на уровне или выше современных аналогов.

Разработанный алгоритм оценки движения показывает преимущество над наиболее известными и общепризнанными методами E3DRS и FAME по визуальному и объективному (метрика PSNR) критериям. Преимущество предложенного метода подтверждено его использованием в ПЧК, где он также продемонстрировал лучший визуальный и объективный результат. На ранних этапах работы над алгоритмом проводились в рамках контракта с компанией SAIT (Samsung Advanced Institute of Technology) в лаборатории Компьютерной графики и мультимедиа при факультете ВМиК МГУ.

Метод фильтрации векторного поля является универсальным и может быть применён в любых алгоритмах обработки и сжатия видео, использующих информацию о движении. Эффективность разработанного j метода подтверждена его использованием в алгоритмах автоматической сегментации и ПЧК. В обоих случаях использование фильтрации векторов позволило заметно повысить интегральное качество работы алгоритма. Прирост качества в обоих случаях подтвержден визуально.

Предложенный метод оценки степени доверия (унифицированный критерий точности информации о движении) найденным векторам движения является частью алгоритма фильтрации векторов, и также универсален. Он может использоваться независимо от алгоритма фильтрации в методах сжатия и обработки видео с целью повышения эффективности использования в них информации о движении. Эффективность разработанного критерия подтверждена на практике использованием его в рамках алгоритма фильтрации векторов в ПЧК.

Предложенный метод поиска и обработки наложений является улучшением алгоритма, предложенного Инсом в 2005 году. Улучшение заключается в повышении точности поиска наложений и добавления метода вычисления векторов движения в областях наложений. Улучшенный алгоритм позволяет добиться более высокого визуального качества за счет уменьшения числа неверно найденных наложений, а также может быть использован в задаче ПЧК благодаря наличию информации о движении для областей наложений.

Разработанный на базе указанных методов алгоритм ПЧК является новым и демонстрирует объективное (по метрике PSNR) и субъективное (согласно экспертной оценке) преимущество над современными аналогами, имея при этом значительно меньшую вычислительную сложность. Схема потока данных алгоритма позволяет использовать параллельную обработку данных, что позволяет добиться более высокой скорости обработки при аппаратной реализации. Работы над этим алгоритмом, включая методы фильтрации векторов и критерия точности информации о движении, проводились в рамках контрактов с компаниями Samsung Advanced Institute of Technology (SAIT), Real Networks Corp. и Broadcom Corp.

Все разработанные алгоритмы реализованы на языке C/C++ и имеют демонстрационные приложения для ОС Windows.

Апробация работы. Результаты работы докладывались и обсуждались на:

• 16-й международной конференции по компьютерной графике и машинному зрению «Graphicon-2006», Россия, Новосибирск, 2006;

• 9-м научно-практическом семинаре «Новые информационные технологии в автоматизированных системах», Россия, Москва, 2006;

• 17-й международной конференции по компьютерной графике и машинному зрению «Graphicon-2007», Россия, Москва, 2007;

• 10-м научно-практическом семинаре «Новые информационные технологии в автоматизированных системах», Россия, Москва, 2007;

• 18-й международной конференции по компьютерной графике и машинному зрению «Graphicon-2008», Россия, Москва, 2008;

• международной научной конференции студентов, аспирантов и молодых учёных «Ломоносов-2008»;

• 12-м научно-практическом семинаре «Новые информационные технологии в автоматизированных системах», Россия, Москва, 2009;

Публикации. По теме диссертации имеется 11 публикаций, из них 1 статья в рецензируемом журнале [1], 6 статей в сборниках трудов конференций [2−7], 3 статьи в сборниках тезисов и статей [8−10] и 1 статья в сетевом журнале [11].

Структура и объем диссертации

Диссертация состоит из введения, пяти глав, заключения, приложения и списка литературы. Содержание работы изложено на 164 страницах, приложение занимает 7 страниц.

Список литературы

включает 61 наименование.

Основные результаты работы состоят в следующем:

1. Разработан новый унифицированный критерий точности информации о движении в видео потоке, который может успешно использоваться во многих системах обработки цифрового видео.

2. Разработан новый алгоритм для вычисления информации о движении в видео потоке, превосходящий существующие аналоги по объективному качеству, и не уступающий им по скорости работы.

3. Разработан новый алгоритм для повышения точности найденной информации о движении в видео потоке, который может с успехом применяться в большинстве систем обработки цифрового видео.

4. На основе разработанных алгоритмов создана программная система преобразования частоты кадров видео потока, не уступающая по визуальному и объективному качеству известным аналогам, но намного превосходящая их по скорости работы.

Благодарности.

Автор выражает благодарность научному руководителю Д.С. Вато-лину за содействие, полезные советы и идеи, в процессе научной работы, заведующему лабораторией Компьютерной Графики и Мультимедиа при факультете ВМК МГУ Ю. М. Банковскому за помощь и поддержку в процессе подготовки данной работы. Автор особенно признателен выпускнику факультета ВМК К. А. Симоняну за помощь в разработке и реализации алгоритма оценки движения, а также активное участие в обсуждении идей и алгоритмов, ставших основой результатов данной работы. Также хочу поблагодарить весь коллектив лаборатории Компьютерной Графики и Мультимедиа за дружескую атмосферу, особенно Д. Л. Куликова и К. Н. Стрельникова за личный пример и моральную поддержку, без которых завершение данной работы откладывалось бы еще ни раз.

Заключение

.