Модели, методы и алгоритмы кодирования изображений в устройствах систем на кристалле

Диссертация посвящена решению проблемы разработки теоретических основ и прикладных методов системного проектирования элементов и устройств телекоммуникации и вычислительной техники в базисе элементов функциональной микроэлектроники, предназначенных для кодирования нестационарных сигналов изображений в прикладных системах, и актуальной для нового направления развития отечественной радиоэлектроники — систем на кристалле и их компонентов — сложно-функциональных блоков (СФ-блоков).

Основной идеей разработанных теоретических основ проектирования является повышение эффективности методов, алгоритмов и структур кодеров изображений, предназначенных для их сжатия и реализуемых в виде СФ-блоков видеосистем на кристалле, и обеспечивающих наилучшие информационные характеристики при учёте ограничения на вычислительную сложность кодера, вытекающего из ограничения площади кристалла проектируемой СБИС. Важной особенностью решаемой проблемы является нестационарность и зашумленность реальных изображений, формируемых цифровыми фотоаппаратами, телекамерами, /Р-камерами и т. п.

В решение проблемы повышения эффективности в ходе синтеза специализированных устройств, в том числе и устройств кодирования изображений внесли свой вклад крупные зарубежные и отечественные учёные, такие как: Катаев С. И., Зубарев Ю. Б., Цуккерман И. И., Левит А. Б., Гуткин Л. С., Рыфтин Я. А., Александров В. В., Шмидт В. К., Борисов Ю. И., Пустынский И. Н., Хромов Л. И., Ярославский Л. П., Потапов А. А., Василенко Г. И., Вествэтер Р., ТраубДж., Нуссбаумер Г., Ричардсон Я., Рабинер Л., Прэтг У., Кайлат Т., Оппенгейм А. и др.

Актуальность решения этой проблемы определяется необходимостью синтеза перспективных информационно-вычислительных систем обработки нестационарных сигналов изображений, которые должны опираться, с одной стороны, на использование однокристальных устройств формирования и кодирования видеоинформации, выполняемых в виде систем на кристалле (СнК) и видеосистем на кристалле (ВСнК) [1—43]. С другой стороны решение проблемы должно опираться на достижения в области информационной теории связи [44 — 90], полученные при формализации методов достижения информационного равновесия, т. е. равенства эпсилон-энтропии источника и пропускной способности канала связи.

Идея равновесия лежит и в основе информационного проектирования систем связи реального времени, ядром которого является уравнение связи, формализующее принцип минимума информации при заданном её качестве [70 -77].

Решение уравнения связи преследует цель достижения равновесия в скорости создания информации источником сигнала и скорости передачи информации через канал связи. Под каналом связи в последующем изложении понимается широкий круг устройств связи источников изображений с компьютерным получателем вне зависимости от локализации вычислительной подсистемы — будь то на том же кристалле, что и массив фоточувствительных элементов, будь то в виде удалённого компьютера.

Для однокристальных видеоинформационных устройств важнейшим ограничением, используемом при синтезе кодера источника, является сложность кодера [91—126]. При этом возникает проблема поиска методов кодирования искажённых шумом нестационарных изображений, обеспечивающих наилучшее согласование источника изображений с каналом связи, т. е. наилучшее приближение к информационному равновесию (равенству эпсилон-энтропии и пропускной способности канала) при учёте ограничения сложности кодера источника.

Кодеры, обеспечивающие лучшее приближение к эпсилон-энтропии искажённых шумом нестационарных изображений, должны опираться не только на методы спектрального анализа [127−158], но и на методы анализа и обработки исходных изображений без перехода к спектральным отображениям [152—154].

Уравнение связи решается при формализации опорной триады путём приведения её к сопряжённой (понятие введено в [А64]). Опорная триада — это совокупность априорной информации, критерия качества и ограничений. В приложении к кодированию непрерывных зашумленных источников опорная триада обычно включает априорную информацию, ошибку передачи и сложность [159, 91−109].

Научные задачи синтеза оптимальных кодеров, адаптации телекамер и классификации несемантических образов (поставленные в [70, 71] и имеющие развитие в [А1]) уже во многом решены. Сегодня для развития задач синтеза актуально создание программируемых адаптивных однокристальных кодеров и декодеров, вплоть до размещения на одном кристалле фотоприёмной матрицы, кодера источника (устройства сжатия) и либо решающего устройства, либо (при удалённом пользователе) — кодера канала.

Современный уровень полупроводниковой технологии, позволяющий размещать на одном кристалле более миллиарда вентилей (с возможностью реализовывать на кристалле одновременно процессоры, аналоговые блоки, цифровую и программируемую логику и т. д.) определил революционные изменения в микроэлектронике и в целом индустрии вычислительной техники и радиоэлектроники. Противоречие между желательностью и возможностями применения СБИС в специализированных устройствах и, в частности, в системах обработки видеоинформации вызвало к жизни концепцию программирования структур. Благодаря программированию структур в электронной промышленности произошла универсализация схем и появился новый подход в проектировании на системном уровне, заключающийся в повторном использовании сложно-функциональных блоков (СФ-блоков) при проектировании видеосистем на кристалле [1— 43, А1, А2].

Важнейшим аспектом создания кодеров непрерывных источников изображений при реализации их и в аппаратном, и/или программном виде является их сложность. Самую большую сложность от компьютерных систем потребовали системы обработки и представления изображений, так как обработка в реальном времени нестационарных непрерывных изображений характеризуется предельными значениями быстродействия вычислений, скорости передачи информации по каналам связи и ёмкости памяти.

Видеосистемы на кристалле — это информационные машины, олицетворяющие триединство информационной теории, технологии реализации метода согласования источника с каналом связи и собственно техники в ходе её функционирования (вместе с результатом — полученной видеоинформацией). Системы обработки и передачи изображений создаются при опоре на теорию кодирования для каналов и источников. Единый комплекс, включающий систему обработки изображений, систему (сеть) связи и компьютер (компьютеры), создаётся на базе принципов системотехники. При этом в круг учитываемых величин, связанных с кодированием источника (показателей качества системы), должны войти не только точность передачи (ошибка) и скорость передачи, но и сложность. Известно, что эти величины взаимосвязаны: «Оптимизацию видеокодека надо делать (минимум) по трём параметрам: по битовой скорости, по искажению и по вычислительной сложности. Все они влияют друг на друга. Например, оптимизация соотношения скорость/искажение достигается за счёт повышения сложности кодирования, „быстрые“ алгоритмы оценки движения часто имеют низкую вычислительную сложность за счёт снижения эффективности кодирования и т. д. Эффективность кодирования и сложность кодирования являются настоящими антиподами» [137]. Эффективность кодирования должна оцениваться не только мерой приближения к эпсилон-энтропии источника, но и какими информационными средствами достигнуто данное приближение и, в первую очередь, какой сложностью кодера.

Важным методологическим принципом в синтезе сложных систем, в том числе видеосистем на кристалле, является применение единственного критерия качества, определяемого целью системы, и отнесение сколь угодно большого количества параметров и свойств системы к ограничениям, искомым параметрам или показателям помехоустойчивости. В системотехнике основным критерием качества работы системы обычно считается вероятность решения поставленной задачи, т. е. вероятность выполнения системой своей цели [160—166]. Главным ограничением считается количество выделяемых ресурсов. Под ресурсами можно понимать актуальную для мобильных телевизионных систем массув иных случаях это может быть энергопотребление, габариты и стоимость (или совокупность этих показателей). Формальная запись задачи синтеза имеет вид уравнения системы, позволяющего найти набор искомых параметров как аргумент максимума вероятности решения системой целевой задачи [159 —195]. Решение уравнения системы может быть получено как аналитически, так и с помощью различных итерационных процедур, известных в исследовании операций как методы динамического программирования [194]. Методика аналитического решения уравнений этого типа освоена, в частности, при вычислении эпсилон-энтропии случайных процессов. Основным свойством решения уравнения системы является то, что в оптимальной системе отводимые ресурсы целесообразно распределить между всеми её составляющими так, чтобы существовало определённое равновесие между компонентами системы.

Изложенное находится в русле подготовленного Управлением радиоэлектронной промышленности и систем управления ФАП России документа «.Стратегия развития электронной промышленности на ближайшие годы» [8]. На данном этапе развития наиболее перспективное направление разработок видеоинформатики — создание видеосистем на кристалле, которые позволят реализовать системы технического и искусственного зрения, сопоставимые по характеристикам с биологическим зрением [186−200]. Ведущие производители СБИС используют технологии с проектными нормами точности 0,065 мкм. Вместе с тем строительство фабрик с проектными нормами 0,18 мкм, предусмотренное Федеральной программой перевооружения радиоэлектронной отрасли, выводит отечественную микроэлектронику на уровень, минимально достаточный для самостоятельного выпуска видеосистем на кристалле класса «активный пиксель». Для создания видеосистем на кристалле класса «цифровой пиксель» требуются более высокие проектные нормы, и (будем надеяться — временная) кооперация отечественных системных и кристальных центров проектирования СБИС с зарубежными изготовителями кристаллов. Управление радиоэлектроники и систем управления РФ в рамках Федеральной целевой программы «.Национальная технологическая база» на 2010;2015 гг. вкладывает средства в создание сети дизайн-центров и перевооружение собственного микроэлектронного производства [1−43]. В результате, можно надеяться, российские предприятия перестанут «со стороны наблюдать за происходящими в мире фотоэлектроники процессами, не имея возможности принять в них какое-то участие, так как для выпуска современных КМОП датчиков необходимо существенное переоснащение производства» [17].

Целью работы является совершенствование теоретической и технической базы средств вычислительной техники в части разработки методов, алгоритмов и структур кодеров сжатия изображений, учитывающих свойства источника (пространственно-временную нестационарность) и существенное ограничение сложности реализации кодеров, типичное для сложно-функциональных блоков систем на кристалле.

Главной особенностью этой проблемы является объединение с одной стороны, методологии векторного синтеза кодера источника и методологии достижения информационного равновесия в модели системы источник—канал. С другой стороны — объединение в рамках предложенного критерия сугубо информационных показателей, относящихся как к внешним показателям работы кодера (потеря информации и скорость передачи), так и к внутренним показателям (вычислительная сложность).

Для достижения поставленной цели необходимо проанализировать особенности непрерывных и нестационарных сигналов и разработать метод и архитектуры видеосистемы на кристалле, включающий этапы статистического синтеза, который позволил бы для каждой группы изображений с различными уровнями априорной неопределенности решить следующие задачи разработки:

1) методики начального этапа проектирования операционных устройств кодирования изображений в системах на кристалле, опирающейся на показатель качества, учитывающий сложность кодера;

2) методики начального этапа проектирования операционных устройств кодирования изображений в видеосистемах на кристалле, включающей определение степени распараллеливания ввода изображений и оптимальное распределение площади кристалла между фотоприёмником и вычислителем;

3) моделей, методов и алгоритмов кодирования, опирающихся как на — - - - модели спектрального преобразования сигналов, так и на модели без перехода в спектральную область, а также определение их оптимальных параметров и областей применения;

4) классификации изображений и методики оценки качества кодирования.

В соответствии с методологией оптимизации радиоэлектронных устройств по совокупности показателей качества эффективность систем обработки изображений на системном уровне целесообразно сформировать с учётом весовых показателей качества системы в целом [159, 171, 172].

Цифровая обработка изображений влилась в информатику не только как потребитель схемотехнических и программных продуктов, оно привнесло в неё серьёзные результаты теории и технологии связи. Конечно, этот подход известен давно, и Н. Винер писал: «исходя из моих общих идей, я рассматривал автоматические вычислительные машины также как одну из форм систем связи» [46]. Руководящим тезисом при этом было мнение основоположника компьютерной техники Дж. Фон Неймана, более полувека назад отметившего, что «вполне возможно, что мы уже недалеки от пределов сложности, которую можно достичь в искусственных автоматах, не продвигаясь особенно в глубь теории информации» [91]. Важно также, что один из важнейших методов построения высокопроизводительных вычислительных систем видеообработки — распараллеливание вычислений [94—97] — в форме метода параллельного (многоэлементного) накопления — родился в телевидении существенно раньше, чем в вычислительной технике.

Теория информации, теория алгоритмов и теория сложности вычислительных систем имеют несколько точек соприкосновения. Достаточно назвать алгоритмическую теорию информации [45,48], теорию передачи сигналов [50 —59] и теорию конечных автоматов [91—113].

В настоящее время научно-технический прогресс привёл к резкому увеличению возможностей вычислительной техники и построению на её основе специализированных устройств, что, казалось бы, должно было привести к решению основных задач восприятия и обработки видеоданных техническими системами. Однако проблема не исчезла, а лишь возросло понимание её значимости и специфических трудностей. Сложившаяся ситуация вынуждает исследователей делать всё больший упор на развитие новых подходов и способов в обработке изображений, чтобы найти пути преодоления разрыва между «машинным» и «человеческим» восприятием [152—154, 186—200].

Разработчики стандартных алгоритмов кодирования источника стремятся создать универсальный алгоритм, обеспечивающий наилучшее субъективное качество передачи сигнала при его неизвестных и переменных статистических свойствах в пространстве и времени и при не формализованных (скрыто учитываемых) ограничениях скорости передачи и сложности кодирующих устройств. Почти все подобные исследования не учитывают в явном виде изменения статистик сигналов в пространстве и времени при постановке задачи, и оговорки о скорости изменения сигнала в пространстве и времени, в лучшем случае, всплывают где-то в середине, или даже в конце изложения. При этом каждый исследователь считает свой вклад в кодирование телевизионных сигналов шагом к такому универсальному кодированию, качество которого определяется экспертной оценкой [140]. Вместе с тем представляется перспективным применение известных результатов теории передачи информации при разработке и объективной оценке эффективности кодеков цифрового телевидения не только в части кодирования канала, но и в части кодирования источника, сигнал которого априори известен приблизительно и нестационарен [А1].

Основные проблемы, стоящие перед разработчиками систем кодирования нестационарного источника — это:

• проблема априорной неопределенности статистик сигнала и помех (в силу необозримого разнообразия статистик эта проблема решена лишь для ряда простых наборов априорной информации, и главным достижением теории является выделение двух направлений разработки: устойчивых алгоритмов и адаптивных алгоритмов);

• проблема нестационарности кодируемых сигналов (в силу необозримого разнообразия статистик эта проблема также, как и проблема априорной неопределённости, решена лишь для ряда простых наборов нестационарности, и главным достижением теории является выделение класса кусочно-стационарных сигналов и алгоритмов обнаружения интервалов стационарности или сегментации сигналов и изображений);

• проблема сложности кодирования, состоящая в формализации связи трёх величин: точности передачи, скорости передачи и сложности кодера (декодера) — решение этой проблемы известно лишь для некоторых типов кодирования.

В силу развития микроэлектроники и появления в ней СБИС класса систем на кристалле с числом элементов более десяти миллионов транзисторов на одном чипе, ограничение на сложность кодера становится фактором, всё менее определяющим его структуру, и весьма актуальными становятся кодеры, обеспечивающие наилучшее приближение к эпсилон-энтропии при кодировании реальных сюжетов, отличающихся нестационарностью сигналов. Решение проблемы кодирования нестационарных изображений определяется необходимостью создания нового поколения видеосистем на кристалле, отличающихся структурированными данными и существенно меньшими массогабаритными характеристиками при сохранении и далее увеличении перерабатываемого количества видеоинформации. К таким системам относятся: бортовые космические системы технического зрения, авиационные и гидрооптические системы анализа и обработки изображений. В них требуется решение задач обнаружения, представления, оценивания, передачи видеоинформации, распознавания образов и управления в реальном времени автоматически или при ограниченном участии оператора.

Такое повышение плотности информационных элементов телевизионной и вычислительной техники приводит к тому, что система приобретает новое качество — фотоприемник и устройство обработки связаны несколькими каналами связи, позволяющими резко, на один-два порядка повысить быстродействие видеосистемы и достижимые кадровые частоты, и передавать видеоинформацию и принимать по ней решения, а так же управлять процессами адаптации обеих подсистем к свойствам сигналов и этапам наблюдения. Поэтому новый класс систем требует специального названия и в работе использован термин «пирамидально-рекурсивные видеосистемы на кристалле», означающий интегральную систему, в которой на основе единства цели, конструктивного единства и общности методов синтеза и проектирования объединены телевизионная и вычислительная подсистемы.

Практика создания видеосистем прикладного назначения, опирающаяся на теоретические методы структурного и статистического параметрического синтеза [152—154] и методы проектирования сложных радиотехнических систем предполагает достижение главной цели системы с учетом совокупности весовых коэффициентов при выбранных частных показателях качества системы. Эту совокупность называют вектором концепции системы [159].

Синтез систем на кристалле и видеосистем на кристалле при заданных параметрах системы: скорости, точности и ограничениях, — опирается на методологические основы ряда научных направлений, в частности, синтаксические методы представления* видеоданных, теорию систем, теорию связи и теорию. проектирования вычислительных машин и систем.

Анализ состояния отечественных и зарубежных разработок видеосистем на кристалле для кодирования и декодирования нестационарных изображений показывает, что указанная проблема на основе традиционной методологии не решается [137]. Традиционные методологии позволяют создавать только устройства обработки видеоинформации на базе отдельных микросхем при использовании спектральных методов обработки с применением заранее определенных ортогональных базисов быстрых преобразований Фурье, Адамара, Вейвлет и т. п. [127−152].

Необходимым для решения обозначенных прикладных задач кодирования и декодирования нестационарных изображений является применение алгоритмов:

• высокой сложности на основе триангуляционно-пространственных методов поиска и сжатия информации;

• средней сложности, основанных на пирамидально-рекурсивных способах представления и кодирования • видеоинформации, позволяющих повышение быстродействия и качества при существенном уменьшении массы и габаритов видеосистем;

• малой степени сложности, базирующихся на применении быстрого дискретного косинусного преобразования, благодаря чему стало возможным на современном этапе развития микроэлектроники объединение в одном кристалле и фотоприемника, и вычислителя для кодирования и передачи видеоинформации.

Появившиеся «видеосистемы на кристалле» являются фактором нового этапа микроэлектронной революции, когда и телевизионная система становится полностью однокристальной. Дополнительные выдвигаемые требованиясверхмалые габариты подобных систем при достаточно высокой вычислительной сложности. Одним из важнейших направлений в развитии информационно-коммуникационных технологий является внедрение технологии «система на кристалле» и «видеосистема на кристалле». Так, «Федеральная космическая программа на 2006 —2015 годы» предусматривает: увеличение периодичности наблюдений Земли из космоса с доведением его до реального масштаба времениповышение разрешения дистанционного зондирования Земли до 0,5 метравысоко оперативное выявление катастрофических явлений и аварий. Для обеспечения этих требований намечено освоение новой технологии проектирования и производства радиоэлектронной аппаратуры ракетно-космической техники с использованием СБИС «системы на кристалле». Благодаря их применению, планируется создать системы наблюдения, управления и телеметрии с повышенным до 20 лет ресурсом, уменьшенными в 10 раз массогабаритньтми характеристиками, уменьшенной в 2 раза потребляемой мощностью, в 2 раза уменьшенной ценой и, что особенно важно, уменьшенными в 5 раз сроками разработки аппаратуры [8].

Методология разработки видеосистем с использованием новой технологии «система на кристалле» на системном уровне существенно отличается от существующих методов создания устройств на обычных печатных платах: появляются как новые возможности, так и новые ограничения. Особенностью новой методологии является повторное использование заранее разработанных СФ-блоков — основных частей любой системы на кристалле [1, 2].

Рождение видеосистем на кристалле не только прекратило дискуссию на тему, является ли телекамера вынесенной наружу частью компьютера (аналогично тому, что глаз является вынесенной наружу частью мозга), но и обратило взор разработчиков на необходимость распределения площади кристалла между фотоприёмником и вычислителем. В прикладном телевидении давно осознано, что телевизионную систему, состоящую из оптической и фотоприёмной подсистем необходимо проектировать как единое целое [70 —79, А1, А2]. Однако именно второй этап твердотельной революции радикально усилил этот тезис [А1]: телевизионная система, объединяющая в себе оптическую, фотоприёмную и вычислительную подсистемы должна проектироваться как единое целое. Развитие видеосистем на кристалле превращает однокристальную камеру в центральный (в пределе — единственный) узел системы формирования и обработки изображений, для которой становится актуальной задача распределения ресурсов между фотоприемником и подсистемой обработки видеоданных для наилучшего выполнения системой стоящей перед ней цели.

Диссертация содержит введение, пять глав и заключение.

5.5. Выводы по главе.

1. Экспериментальные исследования подтвердили существование нижней границы сложности, необходимой для достижения заданной скорости передачи непрерывных сигналов по дискретному каналу и не противоречат введенному понятию эпсилон-энтропии сигнала при ограничении сложности и введённому функционалу взаимообмена сложности и скорости передачи, связанному с гармоническим средним.

2. Оценка эффективности кодирования и декодирования сигналов изображений должна опираться на методику, основанную на объективной оценке эффективности и включающуюся два свойства источника: нестационарность и широкополосность.

3. Разработан способ адаптации с переменными размерами пространственных и временных интервалов вычисления ДКП-ЗБ (в диапазонах от 4 до 32 пикселей видеокуба и от 4 до 128 кадров), позволяющий уменьшить вычислительную сложность на 4 порядка меньше, чем у кодеров и на 2.3 порядка меньше, чем у декодеров, реализованных по стандартам MPEG.

4. Показано, что ценой увеличения вычислительной сложности кодера в 2,8 раза метод дискретного пространственного преобразования позволяет на 15% лучше для большинства изображений представительной выборки, чем дискретное косинусное преобразование приблизиться к эпсилон-энтропии источника.

5. Показано, что применение метода кодирования источника на основе ДПП по опорным точкам (без перехода в спектральную область) позволяет достичь лучшей эффективности кодирования для класса изображений с большой мерой нестационарности изображений по сравнению с ДКП (до 1,4 раза), и по сравнению с вейвлет кодированием (до 1,2 раза).

6. Показано, что применение метода трихотомии в ДПП позволяет на 20% сократить вычислительные затраты по сравнению с известными алгоритмами на основе дихотомии и тетрахотомии.

Материалы, представленные в главе 5, отражены в следующих работах автора: [А1-АЗ, А21, АЗЗ-А41, А58, А68-А76, А84-А92].

Заключение

.

Данная диссертация посвящена решению проблемы разработки теоретических основ и прикладных методов системного проектирования устройств телекоммуникации и вычислительной техники в базисе элементов функциональной микроэлектроники, предназначенных для кодирования ' сигналов изображений в прикладных системах, и актуальной для нового направления развития отечественной радиоэлектроники — систем на кристалле и их компонент — сложно-функциональных блоков (СФ-блоков, в англоязычной литературе /Р-блоков). Основной идеей разработанных теоретических основ проектирования является повышение эффективности методов, алгоритмов и структур кодеров изображений, предназначенных для их сжатия и реализуемых в виде сложно-функциональных блоков видеосистем на кристалле, и обеспечивающих наилучшие информационные характеристики при учёте ограничения на вычислительную сложность кодера, вытекающего из ограничения площади кристалла проектируемой СБИС. Важной особенностью решаемой проблемы является нестационарность и зашумлённость реальных изображений, формируемых цифровыми фотоаппаратами, телекамерами, IP-камерами и т. п.

Данная работа представляет собой исследование в области современных науки, техники и технологий, и является попыткой синтеза концептуального и прагматического подходов, то есть попыткой, с одной стороны, объяснения общих закономерностей и изложения нового знания, и, с другой стороны, получением результатов, которые могут быть воплощены в современную пользующуюся спросом технологию.

Теоретической основой сжатия изображений — разработки кодеров непрерывных источников для передачи сигналов по дискретному каналу — являются основная теорема Шеннона, разложение Карунена-Лоэва и теория передачи сигналов с ограниченной точностью (эпсилон-энтропии, в англоязычной литературе rate distortion theory). Трудностью приложения этих теорий и используемых ими моделей к практике является разнообразие во всех трёх элементах опорной триады синтеза: часто не формализованных критериев качества переданной видеоинформации, априорной информации о сигналах (статистики наблюдаемых сюжетов) и имеющихся ограничений. Существование многочисленных практических методов кодирования означает, что на практике чаще всего решают не столько проблему оптимизации сжатия, сколько проблему преодоления априорной неопределённости о статистике передаваемых нестационарных сигналов в совокупности с нечётко сформулированными критериями качества и ограничениями. Для разработки теоретических основ проектирования устройств телекоммуникации и вычислительной техники в базисе элементов функциональной микроэлектроники, предназначенных для кодирования видеоинформации в прикладных системах, потребовалось внести конкретные уточнения во все три элемента опорной триады синтеза кодера. В части априорной информации эта конкретика состоит в учёте не только традиционных показателей — энтропии (эпсилон-энтропии) и широкополосности сигналов изображений, но и во введении меры нестационарности сигналов. Это позволило из огромного разнообразия сюжетов сформировать компактную представительную выборку, используемую при тестировании кодеров. В части критериев качества передачи сигналов изображений новизна состоит в синтезе кодера непрерывного источника для передачи по дискретному каналу при опоре на введённую А. Н. Колмогоровым эпсилон-энтропию с ограниченной максимальной ошибкой. Это позволило показать, что не только в дискретной, но и в смешанной системе передачи непрерывного источника по дискретному каналу может быть достигнуто информационное равновесие, то есть равенство скорости создания информации источником и скорости её передачи через канал связи. В части ограничений при разработке теоретических основ проектирования * устройств телекоммуникации и вычислительной техники сделан акцент на весьма актуальный для однокристальных устройств учёт доступной сложности кодеров. Здесь вычислительная сложность устройств понимается как требуемое число вентилей, то есть произведение числа выполняемых операций на среднюю разрядность операций. Такой учёт потребовал выхода за рамки указанных основных теорий, так как они либо игнорируют понятие сложности, либо явно предполагают требование бесконечной сложности при реализации кодеров и декодеров. Теоретическую основу проектирования в части учёта сложности составило введение нового понятия условной эплилон-энтропии с ограничением сложности, то есть нижней грани скорости передачи для достижения заданного уровня искажений при заданной сложности кодера. Эта условная эпсилон-энтропия, так же как и другая подобная величина — условная эпсилон-энтропия с задержкой (М. С. Пинскер), будучи больше безусловной эпсилон-энтропии, выдвигают повышенные требования к пропускной способности канала связи. Так как при передаче изображений практически всегда допустима существенная задержка (даже в системах управления стыковкой космических аппаратов допустима задержка ив несколько кадров), то в разработанных теоретических основах используется лишь введённая эпсилон-энтропия с ограничением сложности. Важным компонентом теории синтеза кодеров является учёт связи сложности кодера с введённой величиной условной эпсилон-энтропии с ограничением сложности. При этом сложность имеет два вида: переменной величины, выбираемой проектировщиком, и константы, определяемой минимальной сложностью для достижения заданной ошибки при произвольной скорости передачи (эпсилон-сложность, Дж. Трауб). Эта взаимосвязь (интуитивно понятная, см. напр., Я. Ричардсон) формализуется с помощью функционала, показывающего, что безусловная эпсилон-энтропия является (с точностью до множителя 2) средним гармоническим условной эпсилон-энтропии с ограничением сложности и численного значения ограничения сложности.

Разработанные теоретические основы проектирования позволяют перейти от часто используемого при оптимизации сжатия эвристического синтеза (изобретательства) к формализованному статистическому синтезу на основе формализованных моделей сигналов и устройств. При этом устраняется имевшийся разрыв между формализацией внешних характеристик кодера — сжатия и потери информации — и его внутренних характеристик, в первую очередь вычислительной сложности. Объединение этих внешних и внутренних характеристик в единую модель в диссертации осуществлено на основе методологии векторного синтеза систем, известного в теории систем и радиотехнике (напр., Н. Н. Моисеев, Л. С. Гуткин).

В диссертации развивается концепция эффективности кодирования, ранее трактовавшаяся только в смысле степени приближения к эпсилон-энтропии источника (понятие эффективного кодирования в этом смысле введено Оливером и подробно исследовано Д. А. Новиком, И. И. Цуккерманом, Д. С. Лебедевым, Л. П. Ярославским, В. А. Свириденко и др.). Отличие новой концепции состоит в учёте не только степени приближения к эпсилон-энтропии, но и в прямом учёте ограничения вычислительных ресурсов компьютерных устройств обработки. В работе используются основные результаты теории связи, однако акцент делается на принципах системотехники, согласно которым исследование сложности систем производится в первую очередь с' целью снижения требуемой сложности при достижении требуемого результата, т. е. поиск компромисса для двух противоречивых критериев — качества решения и сложности процедуры решения (Дж. Клир). Развиваемая концепция актуальна на современном этапе развития системотехники и микроэлектроники, характеризуемом слиянием вычислительной техники и техники средств связи, в том числе техники обработки и передачи изображений (Ю. И. Борисов), и в первую очередь она актуальна в новом научно-техническом направлении — системах на кристалле (В. Г. Немудров). Конструктивным шагом на пути применения методологии векторного синтеза кодера источника непрерывных зашумленных сигналов явилось введение критерия эффективности кодера источника, включающего взвешенную сумму потери полезной информации, скорости передачи (имеющей предел в виде эпсилон-энтропии) и вычислительной сложности кодера. В диссертации в рамках статистического синтеза искомый оптимум параметров кодера находится по предложенному обобщённому критерию эффективности кодера при условии, что параметры кодера уже оптимизированы с точки зрения информационного равновесияравенства эпсилон-энтропии источника и пропускной способности канала связи (К. Шеннон, Л. И. Хромов).

Возможность широкого использования предложенного критерия эффективности устройств кодирования источника обусловлена разнообразием весовых коэффициентов (векторов концепции системы по терминологии Н. Н. Моисеева) при информационных показателях качества — потери полезной информации, скорости передачи информации и сложности кодирующего устройства, соответствующих различным прикладным системам передачи зашумлённых изображений. Вчастности, существенное различие в векторах концепции вещательных и специальных бортовых системах приводят к обоснованию применения в них принципиально различных классов кодеров источника, например с использованием или без использования многомерных спектральных преобразований сигналов. В отличие от распространённого на ранних этапах развития теории синтеза оптимальных систем передачи и обработки информации критерия эффективность-стоимость (Б. Р. Левин, Ю. М. Казаринов и др.), развитая концепция векторного синтеза кодеров непрерывных источников опирается исключительно на информационные показатели качества. Это позволило перейти к следующему этапу синтеза устройств систем на кристалле и с позиций развитой теории проектирования рассмотреть и определить потенциальные сферы применения различных классов кодеров непрерывных источников — в том числе и использующих спектральные преобразования изображений, и обрабатывающих непосредственно входные сигналы. Так, выбор между пирамидально-рекурсивными методами кодирования непрерывных источников (Александров В. В., Горский Н. Д.) и основанными на дискретном косинусном преобразовании (ДКП), в частности, трёхмерном (Прэтт У., Ричардсон Я., Умбиталиев А. А.) должен осуществляться с учётом соотношения весовых коэффициентов скорости передачи и сложности. В системах на кристалле с менее жёсткими ограничениями сложности (площади) следует остановиться на дискретном полигональном преобразовании (ДПП), в системах с более жесткими ограничениями — на ДКП.

Формализация методики начального этапа проектирования кодеров непрерывного источника в диссертации основана на параметрическом статистическом синтезе и доведена до ряда оптимальных решений. Эта формализация сосредоточена в выражениях для кодовой эпсилон-энтропии с ограничением сложности Щ и сложности Ж кодирующего устройства, учитывающего все рассмотренные оптимумы — по информационному равновесию и по качеству переданной информации с учётом предложенной аппроксимации взаимообмена скорости передачи информации и сложности кодера. Эти решения опираются на вектор концепции системы (соотношение цен скорости передачи и сложности кодера) и спектр оптимальной оценки сигнала, полученной из его смеси с шумом. При этом спектр сигнала оптимальным образом усекается не по каким-либо субъективным показателям, а исходя из достижения информационного равновесия при ряде ограничений. Получены выражения для оптимальной сложности кодирующего устройства Bi двух вариантах: гипотетического идеального кодера и кодера со спектральным преобразованием сигнала, реализующего предложенный итерационный алгоритм вычисления спектральных транс формант.

Разработанные основы теории проектирования устройств систем на кристалле, имеющие ядром критерий качества устройств кодировании, понятие эпсилон-энтропии с ограничением сложности закон взаимообмена сложности и скорости передачи, позволяют осуществлять прогноз перспективности применения различных классов алгоритмов в различных прикладных задачах с различными статистическими свойствами изображений.

Разработка прикладных методов проектирования элементов и устройств телекоммуникации в базисе элементов функциональной микроэлектроники, предназначенных для кодирования сигналов изображений в прикладных системах, опирается на современные информационные технологии. Последние олицетворены, в первую очередь, в развитой сети базовых центров проектирования системного и кристального уровней и заводы по производству СБИС, оснащённые ёмкими базами данных как по СФ-блокам, так и по составляющим их элементарным узлам. Требуемые в практике проектирования методы опираются как на формализованные маршруты проектирования (в нашей стране стандартизованные ФГУП «НИИМА «Прогресс») и традиционные инструменты проектирования (программирование на языках С++, Verilog, используемые ведущими фирмами разработки программного обеспечения САПР элементов функциональной электроники — Cadance, Xilirtx, Synopsys, Altera, АВОКАД и др.), так и оригинальные результаты, относящиеся к модификации традиционного маршрута, обусловленные спецификой видеосистем на кристалле. Проектирование современных кодеров непрерывных источников видеоинформации предполагает совмещение в единой системе на кристалле ряда элементов и устройств (СФ-блоков) — как из библиотек стандартных узлов, так и специально разрабатываемых. В качестве примеров таких специально разработанных функциональных узлов можно указать на разработанные ФГУП «НИИТ» при участии автора по ТЗ Минпромторга РФ СФ-блоки кодеров и декодеров изображений на основе трёхмерного дискретного косинусного преобразования, которые могут быть воплощены в самостоятельные СБИС, и использованы как компонент иных систем на кристалле.

Прикладные методы проектирования устройств телекоммуникации и вычислительной техники в базисе элементов функциональной микроэлектроники для второго класса систем на кристалле — видеосистем на кристалле — имеют свою специфику. Существуют по крайней мере две принципиальных особенности видеосистем на кристалле, ведущих к необходимости включения в стандартный маршрут проектирования соответствующих этапов.

Во-первых, проектирование видеосистем на кристалле — неразрывный процесс, не допускающий декомпозицию системы на подсистемы, в ходе которого фотоприёмник и устройство компьютерной обработки не могут оптимизироваться раздельно. Для реализации этой концепции в работе предложен прикладной метод проектирования устройств, предполагающий включение в типовой маршрут этапа определения оптимального распределения площадей фотоприёмной и вычислительной подсистем. Искомый оптимум находится по максимуму функционала, составленного из взвешенной суммы полезной информации и взятых с отрицательным знаком информационных затрат на передачу. Результат оптимизации распределения площади кристалла между подсистемами показал, что максимум количества и качества информации достигается при площадях фотоприёмной и вычислительной подсистем, полностью определяемых вектором концепции системы, расширенным за счёт введение в состав вектора концепции кроме указанных весовых коэффициентов при информационных параметрах ещё ограничения площади кристалла, нормы точности и требуемого динамического диапазона интенсивности световых сигналов.

Во-вторых, при создании быстродействующих видеосистем на кристалле следует опираться на модель вычислительного устройства с множественным потоком данных и включать в принятый маршрут проектирования определение степени параллелизма (числа каналов) передачи сигналов от массива фотоприёмных элементов к кодеру-вычислителю. В' частности, при создании специализированных видеосистемна кристалле с компенсацией смаза движущегося изображения концепция множественного потока данных предписывает использование кроме основного массива фоточувствительных элементов двух дополнительных массивов, сигналы которых соответствующими устройствами преобразуются в сигналы управления пространственным положением видеосистемы на кристалле.

Основным научным результатом диссертации является разработка теоретических основ проектирования устройств телекоммуникации и вычислительной техники в базисе элементов функциональной микроэлектроники, предназначенных для кодирования видеоинформации в прикладных системах, и актуальной для нового направления развития отечественной радиоэлектроники — систем на кристалле и их компонент — сложно-функциональных блоков. Ядро этих теоретических основ составляет метод синтеза кодеров непрерывных нестационарных сигналов изображений, опирающийся на предложенный обобщённый критерий эффективности кодирования, включающий взвешенную сумму потери полезной информации, скорости передачи и вычислительной сложности кодера. Важными характеристиками разработанного метода является формализация в рамках одного критерия внешних характеристик кодера (сжатия и потери информации) и внутренних характеристик (вычислительной сложности). Основные новые элементы разработанного метода синтеза кодеров непрерывных источников, реализуемых как видеосистемы на кристалле, изложенные в диссертации, опираются на системотехнику с её приложениями к передаче информации и к микроэлектронике.

Отличительной особенностью разработанного в данной диссертации метода проектирования видеосистем является использование оптимизации по векторному показателю качества, включающему сугубо информационные показатели и вектор весовых коэффициентов (вектор концепции системы), установление закономерностей и обменных соотношений при кодировании, а также приложение разработанного метода к кодированию нестационарных сигналов изображений. В работе рассмотрено приложение разработанного метода синтеза к ряду классов кодеров источников изображений, в том числе методы адаптации кодеров на основе ДКП и оригинальные методы на основе систематизированных автором алгоритмов на основе ДПП.

Составляющими основного научного результата диссертации являются:

1. Обобщённый подход к разработке моделей, методов, алгоритмов и структур устройств телекоммуникации и вычислительной техники в базисе элементов функциональной микроэлектроники, базирующегося на синтезе по обобщённому показателю эффективности кодера непрерывного источника и на принципе информационного равновесия источника и каналаЛ.

2. Решение уравнения связи для модели смешанной системы с непрерывным источником и дискретным каналом, основанного на использовании эпсилон-энтропии с ограничением максимальной ошибки, введённой А. Н. Колмогоровым;

3. Формализация взаимосвязи введённой величины условной эпсилон-энтропии с ограничением сложности и численным значением вычислительной сложности.

4.Разделение сфер применения алгоритмов кодирования без перехода в спектральную область и с вычислением спектральных трансформант;

5.Оптимальные алгоритмы со спектральным преобразованием сигналов изображений, в частности итерационные алгоритмы и основанные на адаптивном трёхмерном дискретном косинусном преобразовании;

6.Систематизация алгоритмов кодирования и декодирования нестационарных изображений на основе пирамидально-рекурсивного метода обработки и представления видеоданных по опорным точкам без перехода в спектральную область сигнала;

7. Оптимальные алгоритмы на основе пирамидально-рекурсивного способа представления нестационарных изображений, минимизирующие вычислительные затраты благодаря применению метода трихотомии;

8. Модели видеосистемы на кристалле, учитывающей распределение площади кристалла между подсистемами, в том числе между фотоприёмной матрицей и вычислителем;

9. Модели для определения оптимального числа элементарных ячеек при дискретном пространственном преобразовании, обеспечивающего максимального приближения к эпсилон-энтропии, определены сферы применения различных вариантов алгоритмов дискретного пространственного преобразования по опорным точкам.

Теоретический стержень работы состоит в разработке модели преобразования информации в устройствах, в явном виде учитывающей как ограничение сложности устройства, так и взаимообмен скорости передачи и сложности кодера непрерывного источника. Главной особенностью этого стержня работы является объединение с одной стороны, методологии векторного синтеза кодера источника и методологии достижения информационного равновесия в модели системы источник-канал, а с другой стороны — объединение в рамках предложенного критерия сугубо информационных показателей, относящихся как к внешним показателям работы кодера (потеря информации и скорость передачи), так и к внутренним показателям (вычислительная сложность).

Дополнительными научными результатами являются:

• способ стабилизации изображения, использующего видеосистему на кристалле с множественным потоком видеоданных, включающем сложные функциональные блоки измерения смещения, формирования сигналов управления и механического перемещения фотоприемной матрицы;

• новые архитектурные решения видеосистем на кристалле для адаптивного кодирования и декодирования нестационарных сигналов изображений в пространственной и временной области;

• обеспечение совместимости предложенных решений по структуре кодеров непрерывного источника со стандартными протоколами обмена видеоинформацией;

• структура и параметры видеосистем на кристалле, использующих кодер источника на основе дискретного полигонального преобразования по опорным точкам;

• оптимальная структура опорных точек (число полигонов после разбиения для иерархического описания информационного поля) и параметры видеосистемы на кристалле кодера источника на основе дискретного полигонального преобразования;

• структура и параметры видеосистем на кристалле с множественными потоками видеоинформации;

• методика формирования компактной представительной выборки сюжетов для тестирования кодеров источника видеоинформации, опирающаяся на известную меру широкополосности сигналов и предложенную меру нестационарности сигналов, определяемую скоростью изменения конечного набора статистик сигналов аналогично тому, как скорость изменения сигнала определяет его широкополосность.

• структурные схемы СФ-блоков и видеосистем на кристалле сжатия и восстановления изображений на основе ДПП с учетом максимальной возможности распараллеливания алгоритмов разбиения и поиска опорных точек;

• структурные схемы СФ-блоков и видеосистем на кристалле сжатия и восстановления изображений на основе ДКП с учетом потенциальных возможностей взаимообмена сложности кодирования и скорости передачи;

• методика проектирования видеосистемы на кристалле, основанная на определении критического пути максимально распараллеленного алгоритма (для процесса сжатия связана с анализом полигона на разбиение, и расчета максимального быстродействия, а для процесса восстановления — двумерной аппроксимации яркостей, т. е. закраска полигона).

Наиболее важными результатами, изложенными в диссертации и дающими практический выигрыш в качественных характеристиках при проектировании видеосистем на кристалле реального времени, являются:

1. Показано, что ценой увеличения вычислительной сложности кодера в 2,8 раза метод ДПП позволяет на 15% лучше, чем ДКП приблизиться к эпсилон-энтропии источника;

2. Показано, что применение метода кодирования источника на основе ДПП по опорным точкам (без перехода в спектральную область) позволяет достичь лучшей эффективности кодирования нестационарных изображений и по сравнению с ДКП (до 1,4 раза), и по сравнению с Вейвлет кодированием (до 1,2 раза) — различие в эффективности исследованных методов кодирования зависит от класса изображений, определяемого его широкополо сностью и нестационарностью;

3. Показано, что применение метода трихотомии в ДПП по опорным точкам позволяет на 20% сократить вычислительные затраты по сравнению с известными алгоритмами на основе дихотомии и тетрахотомии;

4. Разработан СФ-блок преобразования видеоданных, обеспечивающий высокоскоростное преобразование элементарного ДКП-31) видеопотока в элементарный поток MPEG-2 без использования многомерных преобразований отсчетов. Его сложность на порядок ниже совокупной сложности ДКП-3-D декодера и ДКП-2?)-кодера, а задержка преобразуемого элементарного потока меньше совокупной задержки в 2.3 раза;

5. Разработан способ адаптации с переменными размерами пространственных и временных интервалов вычисления ДКП-ЗБ (в пределах от 8×8 до 64×64 пикселей и от 4 до 128 кадров), позволяющий уменьшить вычислительную сложность кодеров и декодеров до 107оп./с, что на 4 порядка меньше, чем у кодеров и на 2.3 порядка меньше, чем у декодеров, реализованных по стандартам MPEG;

6. Получена аналитическая модель для определения оптимального числа элементарных ячеек после разбиения, обеспечивающего максимальное приближение к условной эпсилон-энтропии изображений с равновероятным распределением опорных точек, определены сферы применения различных вариантов алгоритмов, реализующих дискретное полигональное преобразование.

7. Показано, что использование адаптивного метода кодирования изображений на основе ДПП по опорным точкам нестационарных с однородной компактной структурой представления видеоданных позволяет в 2.3 раза увеличить скорость построения регулярную триангуляционную сетку, чем классические алгоритмы триангуляции, при восстановлении результирующих изображений;

8. Разработан макет для сопряженного проектирования устройств кодирования изображений на базе технологии «система на кристалле» с встроенным ARM процессором А7 (с тактовой частотой не менее 60 МГц) и с возможностью обеспечения аппаратно-программной загрузки и проверки СФ-блоков на всех этапах проектирования.

Публикация результатов. Основные результаты опубликованы в 90 научных работах, из них 2 монографии, 28 статей (из них 12 в журналах, рекомендованных ВАК), 3 патента РФ, 26 докладов на научных всероссийских и' международных конференциях и 20 зарегистрированных программ для ЭВМ. При этом модели и обоснование применения метода на основе дискретного пространственного преобразования, алгоритмы и программы получены самостоятельно, изобретение адаптивного метода на основе дискретного косинусного преобразования и оценка его эффективности в соавторстве с Умбиталиевым А. А., Шипиловым Н. Н, Ибатуллиным С. М., Ибатулиным В. Ф. и Ивановым К. В., а способ стабилизации на основе множественного потока видеоинформации, аппроксимация взаимообмена сложности кодера и скорости передачи, обоснование достижения информационного равновесия в смешанной системе связи в соавторстве с Цыцулиным А. К. и Зубакиным И. А.- разработка макета для сопряженного проектирования элементов и устройств кодирования на основе технологии «система на кристалле» со встроенным 32-разрядным ARM процессором — совместно с Березиным В. В.

Внедрение результатов исследований. Разработанные теоретические основы и прикладные методы проектирования устройств телекоммуникации и вычислительной техники в базисе элементов функциональной микроэлектроники, в том числе методы синтеза видеосистем на кристалле и СФ-блоков кодирования непрерывных нестационарных источников нашли применение в ходе выполнения НИОКР во ФГУП «НИИ телевидения» и СПбГЭТУ «ЛЭТИ», и изложены в отчетах по ОКР «Цифра-СФ" — «Разработка ряда высокопроизводительных сложных функциональных блоков для специальных систем цифровой передачи данных» и «Цифра-ЗБ"-"Моделирование алгоритмов кодирования и декодирования видеоинформации для реализации высокопроизводительных сложных функциональных блоков специальных систем цифровой передачи данных», о чем имеются акты о внедрении.

Методика совместного проектирования аппаратного и программного обеспечения, позволяющая значительно сократить время цикла разработки сложных систем, доведена до практического применения в учебном процессе и используется в СПбГЭТУ «ЛЭТИ» и Тихоокеанском государственном университете. При этом используется макет видеосистемы на кристалле на базе технологии «система на кристалле» с встроенным ARM процессором А7, 4 учебных пособия и 5 методических указаний к лабораторным работам.

Совокупность изложенного показывает, что поставленная актуальная проблема разработки теоретических основ и прикладных методов проектирования элементов и устройств телекоммуникации и вычислительной техники в базисе элементов функциональной микроэлектроники, предназначенных для кодирования видеоинформации в прикладных системах, решена.