Методы коррекции геометрических искажений видеосигнала камер, выполненных на матричных фотоприемных устройствах

Актуальность темы

исследования. Удешевление элементной базы видеокамер, непрерывное улучшение основных характеристик матричных фотоприемных устройств (МФПУ), появление все более мощных и дешевых средств обработки больших массивов данных с высокой скоростью привело к интенсивному использованию таких систем в различных областях науки и техники.

Большое внимание в этих системах уделяется автоматической обработке и анализу визуальной информации с целью минимизации участия человека в процессе принятия решения по результатам наблюдения.

Видеокамеры используются и в повседневной жизни для любительской съемки, проведения видеоконференций, считывания штрих-кода, работы телефакса и сканера, для специализированных задач робототехники, астрономии, медицины, биологии и других задач, выполняемых системами с машинным зрением.

Развитие технологий расширило возможности автоматической обработки фото и видеоизображения. Так, например, появилась такая дисциплина, как фотограмметрия, научно-техническая дисциплина, занимающаяся определением размеров, формы и положения объектов по их изображениям на фотоснимках. Последние получают как непосредственно фотоаппаратами и видеокамерами, так и при помощи радиолокационных, телевизионных и лазерных систем. Фотограмметрия применяется для проведения измерений в технике, медицине, промышленной автоматизации, исследованиях окружающей среды и других областях.

Вместе с этим повысились требования к измерениям, проводимым по таким изображениям, и самим измерительным системам. При решении задачи проведения высокоточных угловых измерений, связанных с калибровкой гироскопов, навигационных систем, прецизионных опорно-поворотных устройств в последнее время применяются выполненные на МФПУ цифровые автоколлиматоры, как приборы, обеспечивающие очень высокие точности (до 0,001 угл. сек).

Точность проводимых измерений зависит от качества получаемых изображений. Одной из основных причин ошибок, возникающих при проведении измерений, является геометрический шум МФПУ.

Геометрический шум характерен для всех МФПУ, независимо от технологических процессов и архитектуры устройств. Данный шум является детерминированным в пространстве и независимым от времени. Он наблюдается как отклонение значения выходного сигнала разных каналов матрицы (участок системы, формирующий электрический сигнал, начиная с отдельного чувствительного элемента фотоприемника и кончая выходом МФПУ), вызванного одинаковым входным воздействием.

В формировании изображения большую роль играет оптическая система камеры. Она также вносит свои геометрические искажения. Во-первых, это пятна, образуемые из-за пыли и царапин на стеклянных поверхностях. Во-вторых, это различного рода аберрации, приводящие к нарушению расположения точки изображения в реальной оптической системе по отношению к идеальной. Аберрации частично или полностью устраняются диафрагмированием, что, кроме положительного, дает и отрицательный эффект — эффект виньетирования. Поэтому существует третий вид искаженийснижение яркости изображения по направлению от оси оптической системы к периферии. Так как данное явление проявляется как отклонение значения выходного сигнала разных элементов матрицы, вызванного одинаковым входным воздействием и является детерминированным в пространстве и независимым от времени, его можно рассматривать в совокупности с геометрическим шумом матрицы. Данную совокупность можно определить как геометрический шум оптико-электронной системы (ОЭС) в целом.

Коррекция геометрического шума разной степени точности проводится практически во всех видеокамерах на основе МФПУ. Если для камер любительской съемки достаточно сделать изображение визуально более качественным, то для измерительных камер необходимы более сложные алгоритмы коррекции, чтобы преобразовать изображение к виду, удобному для машинного анализа. Самым простым и наиболее часто используемым методом является метод вычитания темнового кадра. Самым эффективным среди используемых алгоритмов в настоящее время является линейный (или двухточечный) алгоритм коррекции. Как правило, полностью скомпенсировать влияние геометрического шума данным методом не удается. Причин этому может быть несколько. Во-первых, неоднородность облучения при калибровке. Этому вопросу посвящен один из разделов данной работы. Во-вторых, уход значений параметров приемников за время прошедшее после окончания последней калибровки. Эта проблема в данной работе не рассматривается. В-третьих, основная причина — отклонение параметров реальных приемников от линейной модели. В-четвертых, искажения, вносимые оптической системой камеры, в общем случае имеют нелинейный характер зависимости от освещенности. Эти два вопроса подробно исследуются в данной работе.

Таким образом, разработка простого, но эффективного метода лабораторной калибровки, пригодного для практического применения, и алгоритма реального времени коррекции геометрического шума ОЭС современных цифровых устройств является актуальной задачей.

Целью исследования является разработка эффективных автоматических алгоритмов коррекции геометрического шума оптико-электронной системы с целью повышения качества изображения и точности измерений, производимых специализированными видеосистемами на основе МФПУ.

Для достижения поставленной цели были решены следующие задачи:

— Анализ источников геометрических искажений видеосигнала МФПУ, возникающих в оптико-электронной системе и исследование существующих методов их коррекции.

— Разработка математических моделей выходного сигнала и геометрического шума МФПУ, позволяющих теоретически оценить эффективность исследуемых алгоритмов коррекции.

— Разработка методов коррекции геометрического шума, учитывающих нелинейность передаточных характеристик каналов МФПУ, пригодных для использования в аппаратно-программных модулях автоматических видеосистем.

— Разработка методики калибровки камеры в лабораторных условиях.

— Теоретическая и экспериментальная оценка эффективности алгоритмов коррекции геометрического шума.

Методы исследования: методы математической статистики, численные методы и методы математического моделирования, методы алгоритмизации и программной реализации математических моделей, вычислительный эксперимент на реальных и модельных данных.

Научная новизна работы:

— Предложена новая модель выходного сигнала МФПУ, представляющая его в виде квадратичной зависимости от суммы входного и темнового сигнала, в отличие от общепринятой модели, представляющей квадратичную зависимость от входного сигнала в сумме с темновым сигналом.

На примере ПЗС-матрицы КА1−1003 и КМОП-матрицы ШРА-4000 произведена теоретическая и экспериментальная оценка эффективности следующих алгоритмов коррекции геометрического шума: методом вычитания темнового кадра, методом линейной коррекции, методом аппроксимации передаточных характеристик каналов матрицы полиномом 2-го порядка.

— Изучено влияние геометрических искажений оптической системы камеры на качество алгоритмов коррекции геометрического шума на примере линейной коррекции. Разработаны методы коррекции геометрического шума оптико-электронной системы, с помощью аппроксимации оптической неравномерности полиномами 1-го и 2-го порядка.

Практическая значимость результатов исследования заключается в следующем.

— Разработанные математические модели выходного сигнала и геометрического шума МФПУ используются для анализа данных на этапе проектирования автоматических систем, с целью выбора МФПУ с оптимальными параметрами и проверки точности работы вычислительных алгоритмов.

— На основе предложенных моделей созданы: программное приложение, позволяющее оценить точность расчета центров тяжести точечного объекта по заданным параметрам объекта и предполагаемой используемой матрицыпрограммное приложение для определения оптимальных формы и размера маркера цифрового автоколлиматора по заданным параметрам маркеров и предполагаемой используемой матрицы.

— Разработанный алгоритм коррекции геометрического шума реализован в аппаратно-программном модуле, который может быть использован в различных специализированных измерительных видеосистемах. Применение предложенного алгоритма позволяет повысить чувствительность используемых камер на 0,5−1 звездную величину. Разработанная программа коррекции геометрического шума для ПЛИС, представленная в работе функциональной схемой, обеспечивает минимальную задержку обработки сигнала, равную 0,32 мкс при тактовой частоте 100 МГц.

— Разработана методика калибровки, обеспечивающая максимальную эффективность разработанных алгоритмов коррекции.

Достоверность и обоснованность полученных в работе результатов подтверждена адекватностью разработанных моделей реальным физическим процессам, тщательной отработкой методик проведения и анализа результатов экспериментов, сходимостью результатов экспериментов. Результаты работы внедрены в практику.

Внедрение результатов работы. Теоретические и практические результаты диссертационной работы использованы при разработке ФГУП.

ОКТБ «Омега» (В.Новгород) быстродействующей телевизионной системы высокой разрешающей способности, предназначенной для работы по астрономическим объектам на фоне сумеречного и ночного неба. Результаты внедрялись при выполнении НИР «Дуэлянт» и ОКР «Сокол-Эшелон» (головной исполнитель — ОАО «ГСКБ «Алмаз-Антей»), о чем имеется соответствующий акт о внедрении.

На защиту выносятся:

1) Оценка эффективности коррекции геометрического шума с помощью аппроксимации передаточной характеристики каналов полиномом Т-го порядка, обоснование оптимальности применения полинома 2-го порядка с точки зрения эффективности коррекции и объема требуемых вычислительных ресурсов.

2) Методы коррекции геометрического шума с учетом искажений оптической системы.

3) Аппаратно-программная реализация алгоритма коррекции геометрического шума оптико-электронной системы.

Диссертационная работа состоит из введения, шести глав и заключения. В главе 1 «Исследование геометрических искажений ОЭС и методов их коррекции» приводится сравнительный анализ ПЗС и КМОП технологий с точки зрения преимуществ и недостатков. Подробно рассматриваются шумы, характерные для ПЗС и КМОП МФПУ, проводится их классификация. Дается определение понятия «геометрический шум», исследуются причины его возникновения, определяются основные источники. Анализируются существующие методы коррекции геометрического шума, определяются области их применения. Исследуются геометрические искажения, вносимые оптической системой камеры. Дается определение геометрического шума оптико-электронной системы.

6.5 Основные выводы главы.

1) Разработан блок цифровой обработки изображения. Данный блок может быть использован в различных системах автоматической обработки данных, выполняющих широкий круг задач. Разработана программа коррекции геометрического шума ОЭС для ПЛИС. Максимальная задержка, вносимая алгоритмом коррекции, не превышает 0,32 мкс при тактовой частоте 100 МГц. Следовательно, предлагаемая схема алгоритма удобна для реализации в системах обработки данных в реальном времени.

3) Разработаны, изготовлены и протестированы две ТВ-системы, использующие разные типы камер (выполненных на матрицах ШРА4000 и КА1−1003М) и универсальный блок цифровой обработки изображения. С помощью данных систем были получены экспериментальные данные, подтверждающие эффективность предлагаемого алгоритма коррекции геометрического шума ОЭС. В частности, благодаря использованию данного алгоритма чувствительность камер повысилась на 0,5−1 звездную величину.

Заключение

.

При разработке современных устройств автоматической обработки видеоинформации в реальном времени, в том числе специализированных измерительных систем, требуются эффективные вычислительные алгоритмы, реализуемые на существующей элементной базе. Базовая задача предварительной обработки видеоизображения таких устройствфильтрация шумов. В данной работе рассмотрены виды и причины возникновения шумов, возникающих в видеоканале камер, выполненных на МФПУ. Выявлено, что главной составляющей шума МФПУ, влияющей на качество получаемых изображений, являются геометрические искажения, которые маскируют пространственное распределение мощности оптического сигнала. Проведенный анализ существующих методов коррекции геометрического шума, их области применения и недостатков, показал, что на данный момент наиболее распространенным алгоритмом, применяемым в высокоточных измерительных устройствах, выполненных на МФПУ, является метод двухточечной коррекции. Проведенные исследования показали возможность повышения эффективности алгоритма коррекции, в частности, за счет повышения порядка полинома, аппроксимирующего передаточные характеристики видеоканала матрицы. В итоге получены следующие результаты:

1) Разработаны математические модели выходного сигнала и геометрического шума МФПУ, учитывающие неравномерность передаточной характеристики каналов МФПУ. Сравнительный анализ теоретических и экспериментальных данных, полученных с использованием ПЗС-матрицы KAI-1003 «Kodak», показал адекватность разработанной модели геометрического шума, более точно описывающей его зависимость от входного сигнала, чем функции, основанные на общепринятых линейной и квадратичной моделях выходного сигнала.

2) С использованием предложенных моделей разработан комплекс программных приложений для моделирования цифровых измерительных видеосистем, позволяющих на этапе проектирования учесть влияние геометрического шума с учетом параметров канала МФПУ на результат работы алгоритмов систем: программное приложение Mistakeofcentroid, предназначенное для оценки точности расчета центров тяжести точечных объектовпрограммное приложение Cross, предназначенное для определения оптимальных формы и размера маркера цифрового автоколлиматора.

3) На примере ПЗС-матрицы KAI-1003 и КМОП-матрицы LUPA-4000 произведена теоретическая и экспериментальная оценка эффективности следующих алгоритмов коррекции геометрического шума: методом вычитания темнового кадра, методом линейной коррекции, методом аппроксимации передаточных характеристик каналов матрицы полиномом 2-го порядка. Сделан вывод об оптимальности метода коррекции с помощью полинома 2-го порядка с точки зрения требуемых эффективности коррекции и вычислительных ресурсов. Разработан алгоритм коррекции для автоматических систем обработки данных в реальном времени.

4) Произведена теоретическая и экспериментальная оценка эффективности алгоритмов коррекции геометрического шума на примере ПЗС-матрицы KAI-1003 и КМОП-матрицы LUPA-4000. Анализ результатов доказал эффективность разработанного алгоритма.

5) Разработана методика проведения калибровки в лабораторных условиях. Доказано, что точность выполнения требований данной методики определяет качество производимой коррекции.

6) Разработан и изготовлен блок цифровой обработки изображения, в составе быстродействующей телевизионной системы высокой разрешающей способности, предназначенной для работы по астрономическим объектам на фоне сумеречного и ночного неба. Выполнены лабораторные и натурные эксперименты, подтвердившие эффективность предложенных алгоритмов обработки видеосигнала. Применение разработанного алгоритма коррекции геометрического шума позволило повысить чувствительность телевизионной системы примерно на одну звездную величину, обеспечило получение рассчитанных с субпиксельной точностью координат с минимальной задержкой не превышающей несколько десятков микросекунд. При этом задержка, вносимая непосредственно алгоритмом коррекции, не превышает 0,32 мкс при тактовой частоте 100 МГц.

7) Научно-технические результаты диссертационной работы используются в разработках и НИОКР ФГУП ОКТБ «Омега»: НИР «Дуэлянт» и ОКР «Сокол-Эшелон» (головной исполнитель ОАО «ГСКБ «Алмаз-Антей»). Достоверность использования подтверждена актом внедрения.

Таким образом, все задачи диссертационного исследования успешно решены и его цель достигнута.