Математическая модель наблюдателя в процессе зрительной обработки изображений

Актуальность проблемы. Успехи в области автоматизации различных технических (технологических) процессов, достигнутые за последнее время, позволили освободить человека от выполнения множества рутинных операций. Наряду с этим, технический прогресс ярко высветил определенные аспекты взаимодействия человека и машины, практически не поддающиеся строгой формализации и алгоритмизации. В результате переосмысления роли и места человека-оператора в сложных эрготехнических комплексах перед проектировщиками и разработчиками встала проблема согласования объема, скорости и характера представления оперативной информации со способностью оператора воспринимать и обрабатывать эту информацию. Поскольку в большинстве современных эрготехнических комплексов оператор имеет дело с многочисленными экранами и датчиками, то основная нагрузка при этом ложится на зрительную систему последнего. В связи с этим техническое оснащение рабочего места оператора новыми приборами формирования и отображения визуальной информации должно осуществляться с учетом особенностей обработки этой информации в зрительной системе. Данная проблема является актуальной прежде всего с медицинской точки зрения, поскольку зрительные стрессы (УШ<�тз, 1995) и некоторые психические заболевания (Филин, 1995, 1997) в значительной степени обуславливаются неадекватной формой представления визуальной информации не только на производстве, но также и в бытовых условиях.

Усилиями многих ученых был собран уникальный экспериментальный материал, позволивший понять некоторые принципы пространственной обработки визуальной информации в зрительной системе человека. Однако экспериментальные данные зачастую лишь констатировали наличие обработки как таковой, не позволяя однозначным образом вскрыть ее причину, а, следовательно, и предсказать ее проявление в конкретных условиях наблюдения. Спектр же этих условий настолько широк, что никоим образом не может быть охвачен за счет одних лишь экспериментальных исследований. В связи с этим, важное значение придается методам математического моделирования характеристик пространственного зрения.

Один из наиболее популярных и разработанных подходов к математическому моделированию пространственной обработки зрительной информации нашел отражение в концепции идеального наблюдателя, первоначально сформулированной в рамках статистической радиотехники. Применительно к зрительному восприятию данная концепция получила развитие в работах Таннера, Светса (Tanner, Swets 1954), Бердзалла (Birdsall, 1960), Грина, Светса (Green, Swets, 1966), Игана (1983), Красильникова (1958, 1976, 1986), Бургесса и др. (Burgess et.al., 1981, 1988), Красильникова, Шелепина (1997) и др. Несмотря на различное отношение этих и других авторов к возможности применения понятия идеальности (оптимальности) к реальному наблюдателю, все они сходились в том, что предобработка визуальной информации в математических моделях зрительной системы должна производиться методом согласованной фильтрации, характеристики которого определяются исключительно параметрами анализируемого объекта. Такая точка зрения основывалась на том, что в физиологической оптике и психофизике, как и в радиотехнике, можно использовать понятие эквивалентного шума независимо от места генерации реального шума в оптико-электронной цепи. Отчасти она является оправданной, поскольку обзор поля излучения в известных оптико-электронных системах осуществляется путем последовательной регистрации потоков излучения за счет пространственной развертки (сканирования или последовательного восприятия). Такая развертка в данной ситуации оказывается эквивалентной линейной инвариантной в пространстве фильтрации. Реакция на выходе линейной системы в этом случае, как известно, записывается в виде интеграла, подобного интегралу Дюамеля (Шестов, 1967). Именно по причине того, что наблюдатель рассматривается как линейная сканирующая система становится возможным пересчет собственных шумов на его вход (Красильников, 1976, 1986; Мартынов, Шкурский, 1980, 1982; Ahumada et. al., 1985; Ahumada, 1987; Pelli, 1990; Красильников, Шелепин, 1997). В рамках такой модели шум представляет собой весьма формальную характеристику, поскольку не оказывает никакого влияния на импульсную реакцию наблюдателя. Последняя оказывается зависящей исключительно от характеристик входного изображения. Так, в простейшем случае обнаружения сигнала L (x, y) на фоне аддитивной «белой» помехи N (x, y) общепринятая точка зрения заключается в том, что импульсная характеристика оптимального фильтра должна совпадать с точностью до постоянного множителя с функцией L (x0-x, y0-y), где [0,xo]x[0, у0] область задания изображения. Устройства, обладающие такой характеристикой фильтра, называются корреляционными приемниками, или коррелометрами. Известно, что операция вычисления корреляционного интеграла требует времени, а сам коррелометр должен иметь память достаточную для хранения всей реализации численных значений интеграла, вычисленных для дискретных значений координат, которые должны лежать достаточно близко друг к другу, чтобы не был пропущен максимум корреляционного интеграла. По сути дела коррелометрами являются практически все известные модели зрительного обнаружения, поскольку они в той или иной степени базируются на том, что пространственная фильтрация в зрительной системе является согласованной, либо близка к ней.

Следует отметить, что преобразование оптического поля яркости на входе зрительной системы в отклики нейронов может осуществляться и другими способами, а не только за счет пространственного сканирования изображения, указанного выше. Подвигиным (1979), в 4acTHocra, было установлено, что в процессе пространственно-временной перестройки рецептивных полей сетчатки и наружного коленчатого тела (НКТ) кошки, занимающей интервал времени около 150 мс, наблюдается последовательное сжатие и расширение зоны суммации этих полей. Пространственная обработка изображения при этом оказывается эквивалентной скорее частному случаю вейвлетного преобразования (Field, 1994), чем линейной инвариантной в пространстве фильтрации. Отметим, что преобразование световой энергии на входе оптико-электронной системы в соответствующий отклик может достигаться за счет использования ослабляющих световой поток оптических масок (Козлов, 1979), устанавливаемых в плоскости выходного зрачка оптической системы (Шестов, 1967).

Во всех случаях, когда анализ поля излучения осуществляется несканирующей системой, или когда сканирование осуществляется за счет конечного числа изменений состояния весовой функции A (x, t) (х е X с R2), описывающей распределение эффективной чувствительности системы по плоскости изображения в момент времени t, понятие эквивалентного шума системы требует некоторого уточнения. Это обусловлено тем, что закон композиции сигнала, внешней помехи и собственного шума приемника имеет несколько иной вид, а именно, собственный шум приемника излучения смешивается с испытавшей пространственно-временное преобразование внешней помехой. При этом на заключительном этапе данное преобразование имеет вид скалярного произведения пространственной весовой функции A (x, t) наблюдателя (формального нейрона, канала, фильтра, и т. п.) и входного распределения яркости, «размытого» оптикой глаза и нейронной сетью. В рамках современной теории планирования фотометрических экспериментов (Козлов, 1987) было показано, что вид оптимальной пространственной обработки оптического сигнала должен определяться при этом не только видом содержащегося в нем объекта, но и соотношением уровней собственного шума приемника и внешней помехи. Данный результат послужил основанием для пересмотра роли собственного шума наблюдателя в процессе оптимальной пространственной обработки изображений. Поскольку характеристики этого шума не могут быть измерены непосредственно на человеке, то основная сложность математического моделирования связана с корректным учетом влияния этого шума в модели идеального наблюдателя. Решение данной проблемы невозможно без комплексного подхода, объединяющего усилия специалистов в области физиологии зрительной системы, психофизики, статистической оптики и радиотехники, системного анализа. Особую актуальность в этой связи приобретают математические методы решения задач квадратичной оптимизации, возникающие при определении оптимального способа пространственной обработки визуальной информации в зрительной системе (ЗС).

Цель работы заключается в разработке принципиально новой математической модели наблюдателя в процессе зрительной обработки изображений для описания способности реального наблюдателя к обнаружению и различению объектов на фоне случайных помех.

Основные зада, чи исследования:

1. Провести анализ современных представлений об основных принципах пространственной обработки изображений в зрительной системе человека и оценить уровень существующих математических моделей идеального наблюдателя для задач обнаружения объектов на фоне случайных помех.

2. Оценить возможность описания экспериментальных данных по измерению частотно-контрастной характеристики зрительной системы человека в терминах закона полной пространственной суммации и определить параметры этого описания.

3. Разработать математическую модель наблюдателя путем учета ограничений, свойственных реальному наблюдателю, и исследовать роль собственных шумов наблюдателя как управляющих факторов процесса пространственной обработки зрительной информации.

4. Разработать математическую модель пирамидальной гексагональной структурной организации колбочковой мозаики фовеолы применительно к задаче распознавания бинарных объектов простейшей геометрической формы.

На защиту выносятся.

1. Способ определения предельной возможности пространственной обработки изображений зрительной системой человека, основанный на количественной оценке величины приращения пространственно-яркостной компоненты световой энергии, обнаруживаемой' наблюдателем при измерении частотно-контрастной характеристики зрительной системы.

2. Математическая модель оптимальной пространственной обработки изображений для задачи зрительного обнаружения объектов на фоне случайных помех, учитывающая аддитивную и мультипликативную составляющие собственного шума наблюдателя.

3. Индикаторный способ определения вида оптимальной пространственной обработки изображений в задаче зрительного обнаружения объектов на фоне случайных помех, обеспечивающий достижение максимального значения величины линейного дискриминанта Фишера, характеризующего степень близости обработанных изображений.

4. Теоретическое обоснование наличия случайной составляющей в пространственной весовой функции зрительной системы наблюдателя в процессе восприятия и обработки шумовых изображений.

5. Математическая модель пирамидальной гексагональной организации фовеолярного зрения человека и принципы динамической локальной радиально-угловой обработки изображений, учитывающие механизмы инвариантного распознавания объектов простейшего типа в зрительной системе наблюдателя.

Научная новизна работы определяется следующими основными положениями:

1. Впервые предложен способ описания частотно-контрастной характеристики (ЧКХ) зрительной системы человека для всех видимых пространственных частот, использующий терминологию известного закона полной пространственной суммации. В основе этого описания заложено понятие приращения пространственно-яркостной компоненты световой энергии ДЛ = ДЬДх2 на входе зрительной системы наблюдателя, где ЛЬ — пороговая амплитуда синусоидального распределения яркости, Дх — полупериод решетки вдоль оси X. Показано, что величина ДЛ является постоянной для каждого конкретного наблюдателя при заданных условиях проведения эксперимента и полностью характеризует предельные возможности пространственной обработки изображений в пороговых условиях восприятия.

2. Показано, что широко распространенное представление о наблюдателе как о согласованном фильтре требует определенного пересмотра, поскольку использование его на практике не позволяет одновременно описать значения вероятностей правильного обнаружения и ложной тревоги в задаче зрительного обнаружения объектов на фоне случайных помех.

3. Впервые предложен метод оптимального учета влияния аддитивной и мультипликативной составляющих собственного шума наблюдателя в математической модели пространственной обработки изображений применительно к задаче зрительного обнаружения объектов на фоне случайных помех. В рамках этого метода впервые был разработан оригинальный математический аппарат, позволивший свести достаточно сложную задачу условной квадратичной оптимизации для нахождения искомого способа обработки к решению интегрального уравнения Фредгольма 2 рода.

4. Впервые получено аналитическое выражение для фильтра А (х) (х е X с обеспечивающего оптимальную пространственную обработку изображений в задаче обнаружения известного сигнала на фоне случайных помех. Показано, что вид этого фильтра определяется не только видом обнаруживаемого сигнала, но и соотношением собственного шума и внешней помехи. Получено, что оптимальный фильтр осуществляет в общем случае нелинейное преобразование входного светового потока в выходной отклик наблюдателя.

5. Показано, что наблюдаемая в физиологических экспериментах зависимость линейных размеров рецептивного поля (РП) реального нейрона от среднего уровня освещенности изображения может быть описана с помощью модели формального нейрона, характеризующегося мультипликативной составляющей собственного шума.

6. Впервые предложен метод локальной радиально-угловой обработки изображений для модели зрительной системы, представленной в виде пирамидально организованной многослойной системы гексагональных матриц. В рамках данного метода показана возможность ортогонализации результатов пространственной обработки примитивов (объектов простейшей формы) типа линии, полуплоскости и треугольника в пространстве выходных откликов наблюдателя.

Теоретическая и практическая ценность. Результаты диссертации имеют важное теоретическое значение для понимания процессов пространственной обработки информации в зрительной системе человека в задачах обнаружения объектов на фоне случайных помех, указывая на необходимость учета в этих процессах собственных шумов наблюдателя.

Полученные теоретические данные об изменчивости функции пространственного фильтра А (х) в зависимости от природы собственного шума наблюдателя и его характеристик могут быть использованы при разработке методики диагностики некоторых заболеваний зрительного анализатора.

Математический аппарат, разработанный в диссертации, может быть использован при синтезе оптимальных пространственных фильтров в оптических и оптико-электронных системах обнаружения объектов на фоне случайных помех.

Метод локального радиально-углового преобразования изображений может найти применение при разработке эффективных алгоритмов сжатия изображений, учитывающих особенности зрительного восприятия.

Объем и структура работы. Работа состоит из введения, четырех глав, выводов, заключения и списка литературы. Она изложена на.223 страницах, содержит 35 рисунков и 3 таблицы.

Список литературы

содержит 201 наименование.

Апробация работы. Результаты работы докладывались и обсуждались на Всесоюзном симпозиуме по «Офтальмоэргономике операторской деятельности» (Ленинград, 1986), II Всесоюзной конференции «Теоретическая и прикладная оптика» (Ленинград, 1986), II Всесоюзной конференции «Оптические изображения и регистрирующие среды» (Ленинград, 1990), XIV, XV, XVII и XIX Европейских конференциях по зрительному восприятию (Вильнюс, 1991; Пиза, Италия, 1992; Эйндховен, Нидерланды, Г994- Страсбург, Франция, 1996), научно-технической конференции «ГОИ и современные проблемы оптики» (С-Петербург, 1993), конференциях международного оптико-электронного общества «Медицинское изображение — 94» (Ньюпорт Бич, Калифорния, США, 1994) и «Электронное изображение — 94» (Сан Хосе, Калифорния, США, 1994), конференции «Планирование эксперимента и обратные задачи оптического зондирования» (С-Петербург, 1998).

Публикации. Материалы диссертации отражены в 22 публикациях, включая тезисы докладов.

ВЫВОДЫ.

1. Разработан новый способ описания результатов экспериментальных исследований частотно-контрастной характеристики зрительной системы человека, в основе которого заложено понятие приращения пространственно-яркостной компоненты световой энергии А1 = АЬАх^, где АЬ — пороговая амплитуда синусоидальной решетки, имеющей величину полупериода Ах вдоль оси X. Показано, что величина А1 сохраняет постоянное значение для каждого конкретного наблюдателя в каждом отдельном эксперименте, что является отражением известного закона полной пространственной суммации применительно к рассматриваемой зрительной задачи. Установлена зависимость А1 от величины среднего уровня яркости на изображении. Показана возможность использования А1 в качестве оценки величины дисперсии собственного шума наблюдателя.

2. Разработана принципиально новая математическая модель наблюдателя, позволяющая оптимизировать пространственную зрительную обработки изображений в задаче зрительного обнаружения и различения объектов на фоне случайных помех, в зависимости от характеристик собственного шума наблюдателя.

3. Предложен метод аналитического решения экстремальной задачи, возникающей при максимизации модифицированного индекса обнаружения наблюдателя с!'т, в основе которого заложено использование оригинального индикаторного разложения искомой пространственной весовой функции фильтра. Доказано, что оптимальная модель наблюдателя в общем случае является двухканальной.

4. Показано, что выбор фильтра при оптимальной пространственной обработке изображения определяется не только типом анализируемого объекта на изображении, но также и соотношением уровней внешней помехи и собственного шума наблюдателя. Получено, что изменение площади зоны пространственной суммации у наблюдателя в зависимости от среднего уровня яркости на изображении происходит также, как и изменение площади соответствующей зоны суммации у реальных нейронов, наблюдаемое в физиологических экспериментах.

5. Сопоставление численных расчетов по предложенной модели наблюдателя с экспериментальными данными по зрительному различению шумовых изображений показало, что весовая функция пространственного фильтра должна содержать случайную составляющую, «индуцированную» внешней помехой.

6. Разработана математическая модель пирамидальной многоуровневой гексагональной организации колбочковой мозаики фовеолы применительно к задаче зрительного распознавания бинарных объектов простейшей геометрической формы. Проведена оценка числа одновременно активных элементов (дискретов) этой мозаики и предложен способ автоматического переключения уровней модели. Предложен метод локального радиально-углового преобразования анализируемых изображений в пределах каждого уровня модели, обеспечивающий инвариантное распознавание некоторых бинарных объектов простейшего типа по отношению к изменению их размера, ориентации, инверсии контраста.

ЗАКЛЮЧЕНИЕ

.

Диссертационная работа выполнялась на стыке нескольких наук: оптики, физиологии, психофизики и вычислительной математики. Основные задачи исследования были сформулированы в процессе совместной научной деятельности с сотрудниками Государственного оптического института им. С. И. Вавилова к.ф.-м.н. В. П. Козловым и к.т.н. В. Б. Макуловым. Решение этих задач не могло быть успешным без творческого содружества с ведущими специалистами лаборатории физиологии зрения Института физиологии им И. П. Павлова РАН д.б.н. В. Д. Глезером и д.м.н. Ю. Е. Ше лепиным. адъюнктом Военно-Медицинской Академии им. С. М. Кирова, а ныне к.м.н., С. Ю. Голубевым, руководителем группы Института эволюционной физиологии и биохимии им. И. М. Сеченова РАН д.т.н. Д. А. Уголевым, сотрудником факультета психологии г. Мэдисон (США) к.б.н. Ю. П. Даниловым, а также без плодотворных дискуссий с рядом зарубежных специалистов: д-ром Н. Лауингером (Германия), д-ром А. Бургессом и д-ром К. Майерс (США), проф. Ю. Ровамо, проф. Я. Куликовским, д-ром. Р. Насаненом (Англия). Такое сотрудничество позволило обеспечить всестороннее квалифицированное рассмотрение с различных точек зрения основных результатов, полученных в процессе выполнения задачи исследования.

Выполнение основной цели диссертационной работы потребовало анализа широко известных для микромира принципов дополнительности и неопределенности в случае порогового обнаружения оптического сигнала на фоне случайных помех в процессе зрительного восприятия человека. Анализ различных экспериментальных данных по измерению частотно-контрастных характеристик зрительной системы человека, проведенный с учетом соотношений аналогичным этим принципам, позволил определить ширину диапазона пространственных частот, воспринимаемых зрительной системой человека, а также ввести понятие нормированного светового кванта, характеризующего зрительное обнаружение. Оценки этой величины, полученные при различных условиях проведения эксперимента, позволили сформулировать понятие эквивалентного собственного шума наблюдателя.

Введение

этого понятия в математическую модель зрительного обнаружения сигнала на фоне случайных помех позволило записать в аналитической форме правило композиции внешней помехи и собственных шумов зрительной системы. На этой основе сформулирована задача оптимизации зрительного восприятия, согласно которой наблюдатель стремится минимизировать относительный вклад эквивалентного собственного шума за счет пространственной реорганизации весовых функций соответствующих каналов (фильтров).

С помощью специально разработанного математического аппарата удалось получить аналитическое решение задачи оптимизации процесса обнаружения и показать, что оптимальная весовая функция в общем случае определяется не только видом обнаруживаемого (различаемого) сигнала, но и соотношением уровней внешней помехи и собственного шума наблюдателя.

В процессе теоретического и экспериментального исследования предложенной модели широко использовалась компьютерная техника и соответствующее программное обеспечение, включающее в себя как оригинальные программные продукты, так и прикладные математические пакеты типа MathCad. Сопоставление результатов численного моделирования с данными физиологических экспериментов обнаружило хорошее качественное согласование характеристик зоны пространственной суммации в модели наблюдателя и у реального нейрона в зависимости от среднего уровня яркости изображения и сделать вывод о том, что изменения характеристик обуславливаются наличием мультипликативной составляющей собственного шума наблюдателя. Эта же составляющая, согласно результатам численных экспериментов, играет, по-видимому, определяющую роль в процессе переключения зрительных каналов (фильтров) при изменении внешних условий и, в частности, при изменении величины отношения сигнала к шуму на изображении. Результаты численного моделирования позволили объяснить особенности оценок величины индекса обнаружения, полученных различными исследователями при анализе результатов собственных психофизических экспериментов.

На основании известной гипотезы о гексагональной пространственной организации функциональных элементов зрительной системы была разработана модель наблюдателя в виде нейронной сети, осуществляющая локальное радиально-угловое преобразование информации и распознающая бинарные объекты простейшей формы инвариантно по отношению к изменению их размеров и ориентации. Предложен соответствующий алгоритм распознавания, имитирующий принципы реальной зрительной системы. Результаты исследования модели демонстрируют хорошее соответствие откликов формальных нейронов, входящих в эту сеть, и реальных нейронов, обусловленных стимуляцией соответствующих рецептивных полей движущейся полоской, что позволяет использовать предложенную модель для описания зрительного разпознавания объектов простейшей формы.

СПИСОК ОСНОВНЫХ ОБОЗНАЧЕНИЙ ЗС — зрительная система, НС — нейронная сеть, ОСШ, Ч* - отношение сигнала к шуму, РП — рецептивное поле,.

ASC — критическая область пространственной суммации РП, D — эффективный пространственный размер РП, Af, AF, AQ — ширина полосы пропускания РП, ЧКХ — частотно-контрастная характеристика, Ах — полупериод решетки вдоль оси абсцисс, L0 — средняя яркость фона, кд/м2, AL — пороговая амплитуда яркости решетки, кд/м2, С — контраст Майкельсона, 1/С — контрастная чувствительность ЗС человека, Cmiri — минимальный контраст, обнаруживаемый ЗС, со — пространственная частота, цикл/град v — пространственная частота, мрад" 1, v «0.0573.со, Q — световая энергия,.

AQ — «световой квант» зрительного восприятия,.

А/= ALAS' - «пространственно-яркостная компонента» AQ, кд,.

X (xeXczR2) — двухмерная область условной плоскости изображения,.

S — площадь, занимаемая объектом (сигналом),.

L j (x), L2(x) — реализации случайных полей яркости,.

L, L + AL — максимальные яркости (амплитуды) объекта, кд/м2, х) — нормированное распределение яркости, 0 < /(х) < 1,.

I (v, x) — индикаторная функция уровня v функции /(х), v (v) — неотрицательная мера на замкнутом интервале [а, Ь], 0 < а < b < +со,.

X — уровень «срезки» функции /(х), as — «ширина» сигнала с гауссовым распределением яркости, п (х) — гауссова случайная внешняя помеха, кд/м2, К (х, у) — ковариационная функция случайной внешней помехи, 8(х-у) — дельта-функция Дирака, сг028(х-у) — ковариационная функция белой гауссовой помехи, A (x, t) (хеХс R^) — пространственная весовая функции наблюдателя по плоскости изображения в момент времени t, А (х) (хбХс R^) — среднее значение A (x, t) за время восприятия Т, 5А (х) — случайная составляющая А (х), u, U — переменная принятия решения (отклик наблюдателя), ип — пороговое значение переменной принятия решения, е — собственный шум наблюдателя, па — аддитивная составляющая собственного шума наблюдателя, nm — мультпликативная составляющая собственного шума наблюдателя, аа2 — дисперсия аддитивной составляющей собственного шума, стт2 — дисперсия мультипликативной составляющей собственного шума, m?, m2~ средние значения откликов и/, «2 при обработке L?(x), L2(x), crp-, <722 — дисперсии откликов uj, U2, при обработке Lj (x), 1/>(х),.

РI — коэффициент пропорциональности so = °а/Р> «Д> S1 ~ e = cja/(Pia0), e0 = V (Pi⁰ L), eos = e0/Vs,.

01 = am/(V23iao), 0is = ei/VS, a = (l+2(a09i)2)/L2, d' - индекс обнаружения наблюдателя, d’m — модифицированный индекс обнаружения наблюдателя, Е[.] - математическое ожидание,.

— дисперсия, ст[.] - среднее квадратическое значение, (,),[,]- скалярное произведение, [£(х)]+ = тах (ОДх)), егД/) — функция ошибок, егй (-) — обратная функция ошибок, Р0 — полная вероятность ошибки, Рд, Рс — вероятность правильного обнаружения, Рлх — вероятность ложной тревоги, Щ, Н2 — гексагональные матрицы детекторов, Мр (№-1)д номер дискрета гексагональной матрицы, 1 < N < 6,.

1<М<6, р+Ч<7. щ — основная циркуляционная матрица в Х0, — циркулянтные матрицы размерностью 6×6,.

Я — ортогональная матрица размерностью 6×6, Т — ортогональная матрица,.

Т* - матрица комплексно сопряженная с матрицей Т, А = (Иа?(А, 1,.Дб) — диагональная матрица,.

Ьп = (1по,.Дпб) — последовательность отсчетов яркости на гексоне п, Уп = (УпЬ->Упб)т" вектор коэффициентов преобразования, п =1,., 28,.