Диплом, курсовая, контрольная работа
Помощь в написании студенческих работ

Моделирование и формирование структуры распределенных систем обработки крупноформатных изображений на основе динамической организации данных

Диссертация: Моделирование и формирование структуры распределенных систем обработки крупноформатных изображений на основе динамической организации данных
ДиссертацияПомощь в написанииУзнать стоимостьмоей работы

В частности, это актуально в области компьютерной обработки изображений. В этой области исследований следует отметить ведущие отечественные школы В. А. Сойфера, В. В. Сергеева, В. С. Киричука, Я. А. Фурмана, Ю. А. Брюханова, К. К. Васильева и др. Разработка систем параллельной обработки изображений ведется В. П. Пяткиным. В области создания распределенных систем параллельной обработки изображений… Читать ещё >

Содержание

  • 1. Математические модели и методы отображения технологий обработки изображений на архитектуру распределенных систем
    • 1. 1. Основные подходы к построению моделей обработки изображений
    • 1. 2. Типология и основные особенности технологий обработки изображений
    • 1. 3. Отображение технологий обработки изображений на распределенные вычислительные системы
    • 1. 4. Модель информационной структуры цифровых изображений
    • 1. 5. Формальная модель итератора преобразования данных
    • 1. 6. Модели типовых операций обработки изображений
      • 1. 6. 1. Формальная модель операции поэлементного преобразования
      • 1. 6. 2. Формальная модель операции оценки характеристик изображения
      • 1. 6. 3. Формальная модель операции локальной обработки скользящим окном
    • 1. 7. Модель предиктивной оценки времени выполнения задачи обработки
    • 1. 8. Моделирование базовых задач обработки изображений
      • 1. 8. 1. Модель задачи эквализации гистограммы
      • 1. 8. 2. Модель задачи линейного повышения контрастности
      • 1. 8. 3. Модель задачи выделения контуров
      • 1. 8. 4. Модель каскадной медианной фильтрации
      • 1. 8. 5. Модель технологии последовательной обработки изображения набором КИХ-фильтров
  • Выводы
  • 2. Модели организации данных в распределенных системах обработки изображений
    • 2. 1. Организация доступа к данным при паралельной обработке изображений
    • 2. 2. Модели локального хранения данных (изображений)
    • 2. 3. Модели коммуникационной среды при параллельной обработке на распределенных системах
    • 2. 4. Проблемы согласования потенциального параллелизма с распределением данных
    • 2. 5. Распределенное изображение и декомпозиция данных
    • 2. 6. Отказоустойчивость распределенного хранения изображений
    • 2. 7. Организация данных и визуализация распределенных изображений
  • Выводы
  • 3. Динамическая организация хранения и обработки данных в распределенных системах обработки изображений
    • 3. 1. Методы организации параллельной обработки изображений
    • 3. 2. Потоковая обработка изображений
    • 3. 3. Балансировка вычислительной нагрузки при пространственном распараллеливании вычислений
    • 3. 4. Динамическая организация размещения данных распределенных изображений
    • 3. 5. Алгоритм динамического распределения вычислительной нагрузки
  • Выводы
  • 4. Программные комплексы распределенных систем обработки изображений
    • 4. 1. Архитектура программных средств систем обработки изображений
    • 4. 2. Система обработки изображений с модульной динамической структурой
    • 4. 3. Организация программного обеспечения распределенной обработки изображений
    • 4. 4. Программная система передачи крупноформатных изображений по сети Internet
    • 4. 5. Программный комплекс моделирования технологий параллельной обработки изображений
    • 4. 6. Сервис-ориентированная распределенная система обработки крупноформатных изображений
    • 4. 7. Кластерная система параллельной обработки крупноформатных изображений
    • 4. 8. Программное обеспечение системы технического зрения для регистрации железнодорожных составов цистерн
    • 4. 9. Программное обеспечение системы технического зрения для обнаружения локальных неоднородностей при наблюдении длительного процесса
  • Выводы

Моделирование и формирование структуры распределенных систем обработки крупноформатных изображений на основе динамической организации данных (реферат, курсовая, диплом, контрольная)

Диссертация посвящена моделированию распределенных систем обработки изображений, формированию структуры таких систем, теоретическому и практическому решению проблемы отображения задач обработки изображений на архитектуру распределенных вычислительных систем.

Актуальность темы

.

Одной из важнейших проблем использования вычислительной техники является «отображение задач вычислительной математики на архитектуру вычислительных систем». Эта проблема была обозначена академиком Г. И. Марчуком как фундаментальное научное направление, кратко называемое «проблемой отображения» [65, 20].

В настоящее время наиболее актуальной представляется решение проблемы отображения вычислительных задач на параллельную архитектуру вычислительных систем (ВС), поскольку основным направлением повышения эффективности использования вычислительных средств является использование параллельных методов организации вычислений [21].

Основным подходом к решению проблемы отображения является анализ вычислительной задачи, выявляющий параллелизм и возможности использования распределенных данных, выполняемый на основе математически эквивалентных преобразований модели информационной структуры алгоритма решения исследуемой задачи, или, более обобщенно, модели информационной технологии решения задачи. Построение моделей алгоритмов, разработка методов их преобразования и анализа применительно к задачам линейной алгебры, математической физики рассматривались в работах В. А. Вальковского, В. В. Воеводина, Вл.В. Воеводина, А. П. Ершова, В. П. Иванникова, В. А. Крюкова, В. Е. Котова,.

АЛ. Ластовецкого, В. Э. Малышкина, А. Г. Марчука, Н. Н. Миренкова, L.J. Baer, M.I. Cole, J. Dongarra, I. Foster, L. Lamport и др. [13−15, 18, 19, 4850,58, 60, 67, 128, 139, 160].

В работах В. В. Воеводина [22, 23] была выдвинута гипотеза о том, что в конкретных вычислительных областях типовых информационных структур немного. Разработка моделей информационных технологий в конкретных прикладных областях является актуальной задачей, поскольку открывает новые подходы к разработке специализированных программных средств, эффективно решающих задачи определенного класса на распределенных ВС, и спецпроцессоров, реализующих быстрое выполнение целевых алгоритмов.

В частности, это актуально в области компьютерной обработки изображений. В этой области исследований следует отметить ведущие отечественные школы В. А. Сойфера, В. В. Сергеева, В. С. Киричука, Я. А. Фурмана, Ю. А. Брюханова, К. К. Васильева и др. Разработка систем параллельной обработки изображений ведется В. П. Пяткиным [117]. В области создания распределенных систем параллельной обработки изображений можно отметить работы групп исследователей из университетов США, Испании (University of Extremadura), Италии (University of Naples «Parthenope»), Нидерландов (Delft University of Technology, University of Amsterdam), Франции (Universite Paris Sud, University of Burgundy) и Японии (Kyushu University). В работах, связанных с параллельной обработкой изображений, в основном рассматриваются вопросы построения параллельных алгоритмов обработки изображений, адаптации последовательных алгоритмов применительно к параллельным архитектурам ВС [163].

Однако вопросы создания моделей информационных технологий обработки изображений, задачи построения математически эквивалентных преобразований этих моделей и решения на этой основе проблемы отображения задач обработки изображений на архитектуры параллельных ВС до настоящего времени практически не исследовались.

Естественный при обработке изображений параллелизм, основанный на декомпозиции данных, позволяет достаточно легко адаптировать последовательные реализации широкого спектра задач обработки для их выполнения на многоядерных процессорах. Однако с увеличением размеров изображений время их обработки все более определяется временем, затрачиваемым на операции ввода/вывода [180]. В таких условиях при обработке крупноформатных изображений с использованием относительно простых в вычислительном отношении задач эффективность использования многоядерных процессоров резко падает. Существующие тенденции развития вычислительной техники [177] еще более обостряют проблему: все увеличивающийся разрыв между производительностью процессоров и быстродействием устройств постоянного хранения данных существенно снижает показатели общей эффективности ВС при решении прикладных задач. Вместе с тем скорость передачи данных в локальных сетях растет существенно быстрее, чем аналогичный показатель для дисковых запоминающих устройств (ЗУ). В настоящее время скорость обмена данными в сетях на базе технологии Gigabit Ethernet (ЮЬЕ) находится приблизительно на одном уровне с дисками типовых конфигураций компьютера, но при переходе на технологию lOGbE ситуация кардинально изменится — визуализация крупноформатного изображения будет выполняться быстрее при удаленном, а не локальном хранении данных. В таких условиях использование распределенных систем для хранения и обработки крупноформатных изображений становится актуальным [30, 43, 57, 113, 130].

Другим важным фактором при обработке крупноформатных изображений является размер оперативной памяти. Несмотря на то, что появление 64-битных операционных систем отодвинуло ограничение на размер оперативной памяти, существенное наращивание оперативной памяти компьютера относительно типовых решений достаточно дорого. Эффективным решением в данном случае является обработка изображения по частям на разных компьютерах. В сочетании с возможностью параллельной организации таких вычислений в распределенных системах, особенно при организации их на основе кластерных вычислительных систем, этот подход представляется перспективным.

Обоснованное решение проблемы отображения задач обработки изображений на архитектуру распределенных вычислительных систем с различными типами параллелизма должно опираться на моделирование и исследование различных вариантов организации хранения и обработки изображений применительно к целевой архитектуре аппаратно-программных средств. Например, централизованное размещение крупноформатных изображений на специализированных хранилищах данных является узким местом параллельных систем обработки изображений, с другой стороны, при организации распределенного хранения необходимо решить проблемы, связанные с выбором наилучшей декомпозиции (разбиения на фрагменты) изображения в условиях отсутствия априорной информации о параметрах запускаемых в системе задач обработки, сбалансированностью загрузки компьютеров, участвующих в обработке при заранее выполненной декомпозиции данных, отказоустойчивостью распределенного хранения фрагментов изображений, обеспечением интерактивности системы при визуализации распределенных изображений.

В диссертации на основе разработанных моделей технологий обработки изображений и методов их преобразования, выявляющих параллелизм, предложены алгоритмы динамической организации хранения и обработки данных, которые снимают эти проблемы, предложена архитектура и принципы реализации распределенной системы хранения и обработки изображений, создан ряд программных комплексов, решающих практические задачи обработки изображений.

Цель и задачи исследования

.

Целью работы является решение проблемы отображения наиболее распространенных (базовых) информационных технологий обработки изображений на архитектуру распределенных вычислительных систем с различными типами параллелизма и связанной с ней задачи декомпозиции данных при построении распределенных систем обработки и хранения крупноформатных изображений.

В соответствии с поставленной целью определены основные задачи диссертации:

1. Анализ типовых (базовых) информационных технологий обработки изображений и методов их отображения на архитектуру распределенных вычислительных систем с различными типами параллелизма.

2. Выбор методологии и конструирование формальных моделей, описывающих информационную структуру базовых технологий обработки изображений.

3. Разработка методов эквивалентного преобразования модели технологий обработки изображений, выявляющих потенциальный параллелизм.

4. Создание методов декомпозиции данных изображений при распределенном хранении и параллельной обработке.

5. Разработка методов обеспечения сбалансированной нагрузки при параллельной обработке изображений в условиях гетерогенной вычислительной среды.

6. Реализация комплексов программ прикладной обработки изображений с использованием распределенных ВС.

Методы исследования.

В диссертационной работе используются элементы теории множеств, математической логики, алгебры изображений и теории взаимодействующих последовательных процессов. Результаты теоретических исследований подтверждены вычислительными экспериментами с имитационными моделями и на тестовых задачах, а также реализацией основных алгоритмов в рамках распределенных систем обработки изображений, работающих в условиях реального производства.

Научная новизна работы.

1. Разработана информационная модель наиболее распространенных (базовых) технологий обработки изображений, новизна которой состоит в том, что она объединяет формальные модели алгоритмов обработки, а также организации данных при хранении и коммуникации, строится на основе теории взаимодействующих последовательных процессов, использует итераторы преобразования данных и включает предиктивную оценку времени выполнения задач обработки.

2. Введена формальная модель итераторов преобразования данных и правила эквивалентного преобразования композиции итераторов, которые используются при построении информационной модели и анализе потенциального параллелизма.

3. Предложен метод формирования децентрализованных структур данных, определяющих распределенные изображения, на основе декомпозиции перекрывающихся фрагментов в условиях отсутствия априорной информации о параметрах перекрытия, необходимого для реализуемых в системе задач обработки. Новизна предлагаемого подхода заключается в том, что размер необходимого перекрытия фрагментов определяется не параметрами задач обработки, а необходимостью обеспечения отказоустойчивости распределенного хранения фрагментов изображений и сбалансированности загрузки компьютеров при обработке. и.

4. Разработан алгоритм динамической балансировки многопроцессорных систем при распараллеливании выполнения операций обработки изображений в условиях гетерогенной вычислительной среды, новизна которого определяется применением предложенного метода декомпозиции распределенного изображения.

5. Предложена сервис-ориентированная архитектура распределенных систем обработки изображений, основанная на новом способе организации распределенных изображений в виде набора динамически взаимодействующих сервисов хранения и децентрализованной организации вычислений в процессе обработки изображений, ориентированной на данные.

6. Реализованы новые эффективные комплексы программ для решения практических задач обработки изображений: сервис-ориентированная распределенная система обработки крупноформатных изображений, кластерная система формирования и параллельной обработки крупноформатных изображений, программная система передачи крупноформатных изображений по сети Internet, система технического зрения для регистрации железнодорожных составов цистерн, система технического зрения для определения количества гель-частиц в растворе полимера.

На защиту выносятся.

1. Информационная модель наиболее распространенных (базовых) технологий обработки изображений, объединяющая формальные модели алгоритмов обработки на основе итераторов преобразования данных, модели организации данных при хранении изображений и процессов коммуникации при параллельной обработке, модель предиктивной оценки времени выполнения задачи обработки.

2. Формальная модель итераторов преобразования данных при обработке изображений и правила эквивалентного преобразования композиции итераторов. Алгоритмы пересчета времени выполнения задачи при эквивалентных преобразованиях моделей в терминах итераторов.

3. Метод формирования децентрализованных структур данных, определяющих распределенные изображения, на основе декомпозиции перекрывающихся фрагментов, обеспечивающий отказоустойчивость распределенного хранения фрагментов изображений и позволяющий динамически балансировать загрузку компьютеров.

4. Алгоритм децентрализованной динамической балансировки многопроцессорных систем при распараллеливании выполнения операций обработки изображений, основанный на предложенном методе декомпозиции распределенного изображения.

5. Сервис-ориентированная архитектура распределенных систем обработки изображений, на основе нового способа динамической организации распределенных изображений в виде набора взаимодействующих сервисов хранения и децентрализованной организации обработки изображений.

6. Комплексы программ, созданные при решении практических задач обработки изображений: сервис-ориентированная распределенная система обработки крупноформатных изображений, кластерная система формирования и параллельной обработки крупноформатных изображений, программная система передачи крупноформатных изображений по сети Internet, программное обеспечение созданных систем технического зрения.

Практическая ценность работы.

Практическая значимость работы состоит в том, что разработанные модели и методы отображения технологий обработки изображений на архитектуру параллельных вычислительных систем открывают возможности создания специализированных систем обработки крупноформатных изображений, получаемых при дистанционном зондировании земной поверхности, а также в электронной микроскопии при анализе больших образцов наноструктур.

Результаты, полученные в ходе выполения работы, использовались при создании сервис-ориентированной распределенной системы обработки крупноформатных изображений, кластерной системы формирования и параллельной обработки крупноформатных изображений, программной системы передачи крупноформатных изображений по сети Internet, системы технического зрения для регистрации железнодорожных составов цистерн, системы технического зрения для определения количества гель-частиц в растворе полимера.

Апробация работы.

Основные результаты работы докладывались на 27 научных конференциях и семинарах: Второй Всесоюзной конференции «Методы и средства обработки сложной графической информации», г. Горький, 1985; Всесоюзной конференции «Методы и средства обработки сложной графической информации», г. Горький, 1988; Втором Республиканском семинаре «Проблемы создания систем обработки, анализа и распознавания изображений», г. Ташкент, 1989; Всесоюзном симпозиуме «Методы и применение голографической интерферометрии». г. Куйбышев, 1990; Первой Международной конференции «International Conference On Information Technologies For Image Analysis and Pattern Recognition (ITIAPR'90)», г. Львов, 1990; Четвертой Всесоюзной конференции «Методы средства обработки сложной графической информации», г. Горький, 1991; Второй Всероссийской с участием стран СНГ конференции «Распознавание образов и анализ изображений: Новые информационные технологии», г. Ульяновск, 1995; Пятом Международном семинаре «Распределенная обработка информации», г. Новосибирск, 1995; Третьей конференции «Распознавание образов и анализ изображений: Новые информационные технологии», г. Нижний Новгород, 1997; Пятой международной конференции «Распознавание образов и анализ изображений: новые информационные технологии» (РОАИ-5−2000), г. Самара, 2000; Международной конференции «Математическое моделирование — 2001», г. Самара, 2001; Научно-методической конференции «Телематика 2002», г. С-Петербург, 2002; Шестой Международной конференции «Распознавание образов и анализ изображений: новые информационные технологии» (РОАИ-б-2002), г. Великий Новгород, 2002; Втором Международном научно-практическом семинаре «Высокопроизводительные параллельные вычисления на кластерных системах», г. Нижний Новгород, 2002; Третьем Международном научно-практическом семинаре.

Высокопроизводительные параллельные вычисления на кластерных системах", г. Нижний Новгород, 2003; Международной конференции «Распределенные вычисления и Грид-технологии в науке и образовании», г. Дубна, 2004; Седьмой Международной конференции «International Conference on Pattern Recognition and Image Analisis: New Information Technologis» (PRIA-7−2004), г. Санкт-Петербург, 2004; Всероссийской научной конференции «Научный сервис в сети Интернет: технологии распределенных вычислений», г. Новороссийск, 2005; Второй Международной конференции «Distributed Computing and Grid-Technologies in Science and Education», г. Дубна, 2006; Всероссийской научной конференции «Научный сервис в сети Интернет: технологии параллельного программирования», г. Новороссийск, 2006; Четырнадцатой Всероссийской научно-методической конференции «Телематика'07», г. Санкт-Петербург, 2007; Всероссийской научной конференции «Научный сервис в сети Интернет: многоядерный компьютерный мир», г. Новороссийск, 2007; Тринадцатой Всероссийской конференции «Математические методы распознавания образов», Ленинградская обл., г. Зеленогорск, 2007; Седьмом Международном научно-практическом семинаре «Высокопроизводительные параллельные вычисления на кластерных системах», г. Нижний Новгород, 2007; Всероссийской научной конференции «Научный сервис в сети Интернет: решение больших задач», г. Новороссийск, 2008; Третьей Международной конференции «Distributed Computing and Grid-Technologies in Science and Education», г. Дубна, 2008; Всероссийской суперкомпьютерной конференции «Научный сервис в сети Интернет: масштабируемость, параллельность, эффективность», г. Новороссийск, 2009.

Связь с государственными и международными программами.

Основные результаты диссертации получены в рамках научно-исследовательских работ (НИР) по международным, государственным, межвузовским и региональным научно-техническим программам: грантам Российского фонда фундаментальных исследований №№ 02−01−119-а, 02−01 -8 055-инно, 03−01 -109-а, 04−07−90 149-а, 04−07−96 500-р2004поволжьев, 05−01−8 043-офиа, 06−08−1 024-а, 07−07−210-а, 10−07−553-апрограмме фундаментальных исследований Президиума РАН «Проблемы создания национальной научной распределенной информационно-вычислительной среды на основе развития GRID технологий и современных телекоммуникационных сетей» по направлению № 4 «Оптимизация вычислительных архитектур под конкретные классы задач, информационная безопасность сетевых технологий, применение распределенных информационно-вычислительных систем» — гранту Президента России по поддержке ведущих научных школ — НШ-3086.2008.9 «Разработка теоретических основ и создание информационноых технологий обработки изображений и компьютерной оптики" — Российско-американской программе «Фундаментальные исследования и высшее образование» («BRHE» CRDF Project SA-014, 2002;2010 гг.) — государственной научно-технической программе «Перспективные информационные технологии» (1994;1999 гг.).

В первой главе формулируются основные математические модели, связанные с обработкой изображений, и решаются задачи отображения типовых информационных технологий в этой области на архитектуру распределенных вычислительных систем с различными типами параллелизма.

Во второй главе рассматриваются методы решения задачи согласования потенциального параллелизма с распределением данных, в частности, влияние различных вариантов представления и размещения данных в вычислительной системе при хранении, а также организации коммуникаций в процессе параллельной обработки на общую эффективность решения типовых задач обработки изображений. Представлен новый метод формирования децентрализованных структур, определяющих размещение данных распределенных изображений, на основе декомпозиции перекрывающихся фрагментов.

В третьей главе решаются проблемы динамической организации данных при хранении и параллельной обработке изображений, в частности, разработаны методы динамического размещения данных при хранении и динамической балансировки вычислительных процессов при обработке изображений.

В четвертой главе рассматривается реализация разработанных в диссертации методов организации распределенного хранения и параллельной обработки крупноформатных изображений, описываются программные комплексы, позволяющие решать практические задачи обработки изображений.

Выводы:

1. Сервис-ориентированная архитектура распределенной вычислительной системы, все архитектурные слои которой реализованы в виде слабо связанных и относительно независимых сервисов, упрощает разработку, адаптацию и развитие системы.

3. Декомпозиция данных при формировании федерации фрейм-сервисов одного изображения (выполняемая на основе разработанных в диссертации принципов, изложенных ранее) обеспечивает отказоустойчивость при распределенном хранении данных изображений и децентрализованное динамическое выравнивание нагрузки при выполнении наиболее популярных операций обработки изображений в распределенной системе.

4. Представленная сервис-ориентированная архитектура распределенных систем обработки изображений является основой для построения систем обработки болыиеформатных изображений, получаемых при дистанционном зондировании земной поверхности, а также в электронной микроскопии при анализе больших образцов наноструктур.

5. Результаты, полученные в ходе выполнения диссертационной работы, позволили сократить время разработки и улучшить качество следующих создаваемых систем: сервис-ориентированная распределенная система обработки крупноформатных изображенийкластерная система формирования и параллельной фильтрации больших изображенийпрограммная система передачи крупноформатных изображений по сети Internetсистема технического зрения для регистрации железнодорожных составов цистернсистема технического зрения для определения количества гель-частиц в растворе полимера.

Заключение

.

В диссертации на основе методов динамической организации данных, моделей итераторов обработки и правил их эквивалентного преобразования решена задача моделирования и формирования структуры распределенных систем обработки изображений с различными типами параллелизма. Совокупность полученных результатов является решением фундаментальной научной проблемы — «проблемы отображения» для широко распространенного класса задач математической обработки изображений.

Получены следующие основные результаты:

1. Разработана модель информационных технологий обработки изображений на основе алгебры изображений и теории взаимодействующих последовательных процессов, которая объединяет формальные модели алгоритмов обработки «изображений, модели организации данных при хранении изображений и коммуникации, а также модели предиктивной оценки времени выполнения задач обработки. Разработанные модели позволяют реализовать сквозную методологию анализа и эквивалентного преобразования информационных моделей процессов параллельной обработки изображений, которая охватывает все уровни иерархии общей формальной модели и позволяет выявить весь ресурс параллелизма программы в терминах параллелизма по данным и параллелизма по вычислениям.

2. Сформулирована формальная модель итераторов преобразования данных при обработке изображений, в том числе правила эквивалентного преобразования композиции итераторов и алгоритмы пересчета времени выполнения задачи при эквивалентных преобразованиях моделей в терминах итераторов. Данные правила и алгоритмы используются при построении информационной модели и анализе потенциального параллелизма.

3. Предложен новый метод формирования децентрализованных структур, определяющих размещение распределенных данных изображений на основе декомпозиции перекрывающихся фрагментов, позволяющий динамически балансировать загрузку компьютеров и обеспечивающий отказоустойчивость распределенного хранения фрагментов изображений. Предложен новый способ представления данных распределенного изображения на основе трехуровневой иерархической структуры, обеспечивающий быструю визуализацию распределенного изображения и реализующий эффективные методы повышения отказоустойчивости распределенного хранения изображений на основе комбинирования специализированных методов компрессии данных и алгоритмов внесения избыточности средствами репликации в рамках предложенного метода декомпозиции распределенного изображения.

4. Разработан оригинальный алгоритм динамической балансировки многопроцессорных систем при распараллеливании операций обработки изображений, который опирается на предложенный метод декомпозиции распределенного изображения. Алгоритм является полностью децентрализованным, что позволяет эффективно использовать его в распределенных системах. Алгоритм обеспечивает равномерное распределение нагрузки при параллельной обработке изображений в условиях гетерогенной вычислительной среды, причем возможно полное выравнивание нагрузки при двухкратном различии производительности соседних узлов.

5. Разработан децентрализованный подход к организации вычислений в процессе обработки изображений, ориентированный на данные, при котором фрагменты изображений заранее распределены по компьютерам распределенной системы, а в процессе обработки на компьютеры распределенной системы вместо данных изображений рассылаются процедуры их обработки.

6. Предложена сервис-ориентированная архитектура построения распределенных систем обработки изображений, на основе методов динамической организации распределенных изображений в виде набора взаимодействующих сервисов хранения — федерации фрейм-сервисов.

7. Разработан ряд комплексов программ для систем обработки изображений, позволяющих решать практические задачи и использующих основные результаты диссертационной работы, в частности, для сервис-ориентированной распределенной системы обработки крупноформатных изображений, кластерной системы формирования и параллельной обработки крупноформатных изображений, программной системы передачи крупноформатных изображений по сети Internet, системы технического зрения для регистрации железнодорожных составов цистерн, системы технического зрения для определения количества гель-частиц в растворе полимера.

Показать весь текст

Список литературы

  1. Д.Н., Храмов А. Г., Шамалова Г. В. // Журнал технической физики. — 1990. Том 60, вып. 6. — С. 157−161.
  2. , К. Язык программирования Java Текст. / К. Арнолд, Дж. Гослинг, Д. Холмс. М.: Вильяме, 2001. — 624 с. — ISBN 5−84 590 215−0.
  3. , С.М. Корректность параллельных вычислительных процессов Текст. / С. М. Ачасова, O.JI. Бандман. Новосибирск: Наука. Сиб. отд-ние, 1990. — 253 с.
  4. , П. Программные системы: Применение. Разработка. Обоснование Текст. / П. Бахман [и др.]- под ред. П. Бахмана. М.: Мир, 1988. — 288 с. — ISBN 5−03−1 114−5.
  5. , М.П. Организация обменов данными при геометрических преобразованиях изображений Текст. / М. П. Белоусова, В. В. Сергеев // Оптическая запись и обработка информации. Куйбышев: КуАИ, 1988.-С. 66−70.
  6. , В. А. Элементы параллельного программирования Текст. /В. А. Вальковский, В. Е. Котов, А. Г. Марчук, Н. Н. Миренков.-М.: Радио и связь, 1983. -239 с.
  7. , В. А. Формальные модели параллельных программ и вычислений Текст. / Вальковский В. А. — Новосибирск: Изд-во НГУ, 1984.-88 с.
  8. , В. А. Синтез параллельных программ и систем на вычислительных моделях Текст. / В. А. Вальковский, В. Э. Малышкин. Новосибирск: Наука, 1988. — 128 с.
  9. , Н. Алгоритмы и структуры данных Текст. / Н. Вирт. — М.: Мир, 1989. 360 с. — ISBN 5−03−1 045−9.
  10. , В.А. Обработка изображений в автоматизированных системах научных исследований Текст. / В. А. Виттих, В. В. Сергеев, В. А. Сойфер. — М.: Наука, 1982.-215с.
  11. , В. В. Математические модели и методы в параллельных процессах Текст. / В. В. Воеводин М.: Наука, 1986. — 296 с.
  12. , В. В. Математические основы параллельных вычислений Текст. / В. В. Воеводин М.: МГУ, 1991. — 345 с.
  13. , В. В. Отображение проблем вычислительной математики на архитектуру вычислительных систем Текст. / В. В. Воеводин // Вычислительные методы и программирование. — 2000. — Т. 1. — С. 3744.
  14. , В. В. Параллельные вычисления Текст. / В. В. Воеводин, Вл. В. Воеводин. СПб.: БХВ-Петербург, 2002. — 608 с. — ISBN 594 157−160−7.
  15. , C.B. Графическая объектная модель параллельных процессов и ее применение в задачах численного моделирования Текст. / C.B. Востокин. Самара: Изд-во Самарского научного центра РАН, 2007. — 286 с. — ISBN 978−5-93 424−284−9.
  16. , Э. Приемы объектно-ориентированного проектирования. Паттерны проектирования Текст. / Э. Гамма, Р. Хелм, Р. Джонсон, Дж. Влиссидес. СПб.: Питер, 2001.-368 с. — ISBN 5−272−355−1.
  17. , C.B. Космические системы дистанционного зондирования Земли Текст. / C.B. Гарбук, В. Е. Гершензон. М.: Издательство, А и Б, 1997.-296 с.
  18. , В.М. Макроконвейерные вычисления над структурами данных Текст. / В. М. Глушков, Ю. В. Капитонова, A.A. Летичевский, С. П. Горлач // Кибернетика. 1981. — № 4. — С. 13−21.
  19. , И.С. Цифровая обработка изображений в информационных системах Текст. / И. С. Грузман, B.C. Киричук, В. П. Косых, Г. И. Перетягин, A.A. Спектор. Новосибирск: Изд-во НГТУ, 2002. -352 с.- ISBN: 5−7782−0330−6.
  20. , Е. Б. Информационно-вычислительные технологии в распределенной среде. Обзор Текст. / Е. Б. Дудин, Э. Г. Захарова, Ю.
  21. , Ю. Б. Цифровая обработка сигналов информатика реального времени Текст. / Ю. Б. Зубарев, В. В. Витязев, В. П. Дворкович. — 1999.
  22. , В.А. Сводимые графы и граф-модели в программировании Текст. / В. А. Евстигнеев, В. Н. Касьянов. -Новосибирск: Изд-во ИДМИ, 1999. 288 с. — ISBN 5−88 119−125−0.
  23. , А. П. Об операторных схемах над общей и распределенной памятью Текст. / А. П. Ершов // Кибернетика. 1968. — № 4. — С. 6371.
  24. , А. П. Современное состояние теории схем программ Текст. / А. П. Ершов // Проблемы кибернетики. М.: Наука, 1973. — Вып. 27. -С. 87−110.
  25. , P.M. Параллельные схемы программ Текст. / P.M. Карп, P.E. Миллер // Кибернетический сборник. М.: Мир, 1975. — Вып. 13. — С. 5−64.
  26. , Д.Э. Искусство программирования, том 3. Сортировка и поиск Текст. / Д. Э. Кнут 2-е изд. — М.: Вильяме, 2009. — 824 с. — ISBN 978−5-8459−0082−1
  27. , В.В. Параллельные вычислительные системы Текст. / В. В. Корнеев. -М.: Нолидж, 1999. 320 с. — ISBN 5−89 251−065−4.
  28. , В.Е. Сети Петри Текст. / В. Е. Котов. М.: Наука, 1984. — 160 с.
  29. Ли, Э. А. Синхронные потоки данных в задачах ЦОС Текст. / Э. А. Ли, Д.Дж. Мессершмитт // ТИИЭР. 1987. — Т. 75, № 9. — С. 107−119.
  30. , А.И. Алгебраические системы Текст. / А. И. Мальцев. — М.: Наука, 1970.-392 с.
  31. , Г. И. Проблемы вычислительной техники и фундаментальные исследования Текст. / Марчук Г. И., Котов В. Е. // Автоматика и вычислительная техника. — 1979. — № 2. С. 3−14.
  32. , Дж. Форматы и алгоритмы сжатия изображений в действии Текст. / Дж. Миано. М.: Триумф, 2003. 336 с. — ISBN 5−89 392−078−3.
  33. , H.H. Параллельное программирование для многомодульных вычислительных систем Тукст. /Н. Н. Миренков. -М.: Радио и связь, 1989. 340 с.
  34. , A.A. Распределенный архив изображений дистанционного зондирования земли Текст. / Московский A.A., Первин А. Ю., Тютляева Е. О., Шевчук Е. В. // Программные продукты и системы. 2009. — № 2. — С. 48−0 — 48−5. — ISSN 0236−235Х.
  35. , A.B. Параллельная реализация двумерных БИХ-фильтров в распределенной системе обработки изображений Текст. /
  36. A.B. Никоноров, М. Г. Милюткин, В. А. Фурсов // Вычислительные методы и программирование. 2010. — Т. 11. — С. 88−94.
  37. , В.В. Параллельно-рекурсивные КИХ-фильтры для обработки изображений Текст. / В. В. Сергеев // Компьютерная оптика. 1992.-Т. 10−11.-С. 186−201. — ISSN 0134−2452.
  38. Э. Распределенные системы. Принципы и парадигмы Текст. / Э. Таненбаум, М. ван Стеен. СПб.: Питер, 2003. — 877 с. -ISBN 5−272−53−6.
  39. Р.В. Совместное использование структурного анализа и метрики Хаусдорфа при сравнении объекта и эталона Текст. / Р. В. Хмелев // Компьютерная оптика. 2005. — Вып. 27. — С. 174−176.
  40. , Ч. Взаимодействующие последовательные процессы Текст. / Ч. Хоар. М: Мир, 1989. — 264с.
  41. , М. Архитектура корпоративных программных приложений Текст. / М. Фаулер. М.: Вильяме, 2004. — 544 с. — ISBN 5−8459−5 796.
  42. , Г. Р. Основы многопоточного, параллельного и распределенного программирования Текст. / Г. Р. Эндрюс. — М.: Вильяме, 2003. 512 с. — ISBN 5−8459−0388−2.
  43. , W. Е. Parallel Image Processing with the Block Data Parallel Architecture Text. / W. E. Alexander, D. S. Reeves, C. S. Gloster // Proceedings of the IEEE. 1996. — Vol. 84, N. 7. — P. 947−968.
  44. Aritsugi, M. Several partitioning strategies for parallel image convolution in a network of heterogeneous workstations Text. / M. Aritsugi, H. Fukatsu, Y. Kanamori // Parallel Computing. 2001. — Vol. 27, N. 3. — P. 269−293.-ISSN 1 678 191.
  45. Ballard, D. Computer Vision Text. / D. Ballard, C. Brown. Prentice Hall, 1982. — 544 c. — ISBN 978−131 653 160.
  46. Boisvert, R. F. Mathematical Software: Past, Present and Future Text. / R. F. Boisvert // Mathematics and Computers in Simulation. 2000. — Vol. 54,-P. 227−241.
  47. Buchnev, A.A. Software Complex for Processing Aerospace Images Text. / Buchnev A.A., Pyatkin V.P. // Pattern Recognition and Image Analysis. 1999. — Vol. 9, № 2. — P. 308−310.
  48. Caarls, W. Skeletons and Asynchronous RPC for Embedded Data- and Task Parallel Image Processing Text. / W. Caarls, P. P. Jonker, H. Corporaal // IEICE Transactions on Information and Systems. 2006. -Vol. E89-D, N. 7. — P. 2036−2043.
  49. Cameron, K. W. Predicting and Evaluating Distributed Communication Performance Text. / K. W. Cameron, R. Ge // Proceedings of the 2004 ACM/IEEE Conference on Supercomputing. 2004. — P. 1−15.
  50. Chapuis, R. Fast prototyping of parallel vision applications using functional skeletons Text. / R. Chapuis, J. Serot, D. Ginhac, J. Derutin // Journal of Machine Vision and Applications. 2001. — Vol. 12, N. 6. -P. 271−290.
  51. Chen, W. LogGPO: An accurate communication model for performance prediction of MPI programs Text. / W. Chen, J. Zhai, J. Zhang, W. Zheng // Science in China Series F: Information Sciences. — 2009. Vol. 52, N. 10.-P. 1785−1791.-ISSN 1009−2757.
  52. Chernov, A.V. Program system for distributed image processing Text. / Chernov A.V., Myasnikov V.V., Myasnikov E.V., Sergeev V.V. // Pattern Recognition and Image Analysis. 2003. — Vol. 13, N. 2. — P. 228−230.
  53. Cole, M.I. Algorithmic Skeletons: Structural Management of Parallel Computation Text. / M.I. Cole. Cambdridge, MA, USA: MIT Press, 1989. — 224 c. -ISBN 978−262 530 866.
  54. Congiusta, A. Service-oriented middleware for distributed data mining on the grid Text. / A. Congiusta, D. Talia, P. Trunfio // Journal of Paralleland Distributed Computing. 2008. — Vol. 68, N. 1. — P. 3−15. — ISSN 7 437 315.
  55. Crookes, D. Architectures for high performance image processing: The future Text. / D. Crookes // Journal of Systems Architecture. 1999. -Vol. 45, N. 10.-P. 739--748. — ISSN 13 837 621.
  56. Czarnul, P. Towards Efficient Parallel Image Processing on Cluster Grids using GIMP Text. / P. Czarnul, A. Ciereszko, M. Fraczak // Lecture Notes in Computer Science, Vol. 3037. — Berlin, Heidelberg: Springer, 2004.-P. 451−458.
  57. Deng, Y. Dynamic and scalable storage management architecture for Grid Oriented Storage devices Text. / Y. Deng, F. Wang, N. Helian, S. Wu, C. Liao // Parallel Computing. 2008. — Vol. 34, N. 1. — P. 17−31. — ISSN ' 1 678 191.
  58. Denoulet, J. An architecture based on reconfigurability and asynchronism for real-time image processing Text. / J. Denoulet, A. Merigot // Journal of Real-Time Imaging. 2008. — Vol. 3, N. 3. — P. 119−130.
  59. Deris, M. M. An efficient replicated data access approach for large-scale distributed systems Text. / M. M. Deris, J. H. Abawajy, A. Mamat // Future Generation Computer Systems. 2008. — Vol. 24, — P. 1−9.
  60. Ducourthial, B. Parallel asynchronous computations for image analysis Text. / B. Ducourthial, A. Merigot // Proceedings of IEEE. 2002. — Vol. 90, N. 7.-P. 1218−1229.
  61. Falcou, J. Quaff: efficient C++ design for parallel skeletons Text. / J. Falcou, J. Serot, T. Chateau, J. Lapreste // Parallel Computing. 2006. -Vol. 32, N. 7−8. — P. 604−615. — ISSN 1 678 191.
  62. Fallacies of Distributed Computing Electronic resource. Режим доступа: http://en.wikipedia.org/wiki/FallaciesofDistributedComputing, дата доступа: 14.06.2010.
  63. Foster, I. Designing and Building Parallel Programs: Concepts and Tools for Parallel Software Engineering Text. / I. Foster. Addison Wesley, 1995.-430 c.-ISBN 978−201 575 941.
  64. Gonzalez, R. C. Digital Image Processing Text. / R.C. Gonzalez, R.E. Woods. 3rd Edition — Upper Saddle River, NJ, USA: Prentice-Hall, Inc., 2006.- ISBN 1 316 8728X.
  65. Grosu, D. Cooperative load balancing in distributed systems Text. / D. Grosu, A. T. Chronopoulos, M. Y. Leung // Concurrency and Computation: Practice and Experience. 2008. — Vol. 20, N. 16. — P. 1953−1976. — ISSN 15 320 626.
  66. Hockney, R. The communication challenge for MPP: Intel Paragon and Meiko CS- 2 Text. / R. Hockney // Parallel Computing. 1994. — Vol. 20, N. 3.-P. 389−398.
  67. EEMBC ConsumerBench Data Book Electronic resource. Режим доступа: http://www.eembc.org/benchmark/digitalentertainmentsl.php, дата доступа: 14.06.2010.
  68. Jonker, P. P. Application Driven Design Of Embedded Real-Time Image Processors Text. / P. P. Jonker, W. Caarls // Proceedings of ACIVS 2003 (Advanced Concepts for Intelligent Vision Systems). 2003. — P. 1−8.
  69. Jonker, P. P. Distributed bucket processing: A paradigm embedded in a framework for the parallel processing of pixel sets Text. / P. P. Jonker, J. G. E. Oik, C. Nicolescu // Parallel Computing. 2008. — Vol. 34, N. 12. — P. 735−746. — ISSN 1 678 191.
  70. Juhasz, Z. An Analitical Method for Predicting the Performance of Parallel Image Processing Operations Text. / Z. Juhasz // The Journal of Supercomputing. 1998. -Vol. 12, N. ½.-P. 157−174.
  71. Lamport, L. Specifying Systems: The TLA+ Language and Tools for Hardware and Software Engineers Text. / L. Lamport. — Addison-Wesley Professional, 2002. 384 c. — ISBN 978−321 143 068.
  72. Lastovetsky, A. L. High performance heterogeneous computing Text. / A.L. Lastovetsky, J.J. Dongarra. Hoboken, New Jersey: John Wiley & Sons, Inc., 2009. — 267 c. — ISBN 978−0-470−4 039−3.
  73. Lee, C. Parallel image processing applications on a network of workstations Text. / C. Lee, M. Hamdi // Parallel Computing. 1995. -Vol. 21, N. l.-P. 137−160.
  74. Lee, E. F. A framework for comparing model of computations Text. / E. F. Lee, A. Sangiovanni-Vincentelli // IEEE Trans, on CAD of Integrated Circuits and Systems. 1998. — Vol. 17, N. 12. — P. 1217−1229.
  75. Merigot, A. Parallel processing for image and video processing: Issues and challenges Text. / A. Merigot, A. Petrosino // Parallel Computing. 2008. — Vol. 34, N. 12. — P. 694−699. — ISSN 1 678 191.
  76. Miller, J.W.V. Image processing benchmark study Text. / J. W. V. Miller, C. Eddy, F. M. Waltz, R. Hack, J. Wood, D. Stokes // Proceedings of SPIE. 1998. — Vol. 3521, N. 20. — P. 20−26. — ISSN 27 7786X.
  77. Milner, R. A Calculus of Communicating Systems Text. / R. Milner. -Springer Verlag, 1980. 171 c. — ISBN 978−3-540−10 235−9. — (Lecture Notes in Computer Science, Vol. 92, 1980).
  78. Morrow, P.J. Efficient implementation of a portable parallel programming model for image processing Text. / P.J. Morrow [et al.] // Concurrency: Practice and Experience. 1999. — Vol. 11. — P. 671−685.
  79. Najjar, W. A. Advances in the dataflow computational model Text. / W. A. Najjar, E. A. Lee, G. R. Gao // Parallel Computing. 1999. — Vol. 25,-P. 1907−1929.
  80. Nolle, M. PIPS A general purpose Parallel Image Processing System Text. / M. Nolle, G. Schreiber, H. Schulz-Mirbach // DAGM -Symposium Mustererkennung. — 1994. — P. 609−623.
  81. Nunez, A. New techniques for simulating high performance MPI applications on large storage networks Text. / A. Nunez, J. Fernandez, J. D. Garcia, F. Garcia, J. Carretero // Journal of Supercomputing. 2010. -Vol. 51.-P. 40−57.
  82. Oh, M. Large-scale image sensing by a group of smart image sensors Text. / M. Oh, K. Aizawa // Parallel Computing. 2008. Vol. 34, N. 12. -P. 710−717.-ISSN 1 678 191.
  83. Pallas MPI Benchmarks PMB, Part MPI-1 Text. / Pallas GmbH. — 2000. -35 c.
  84. Patterson, D. A. Latency lags bandwith Text. / D. A. Patterson // Communications of the ACM. 2004. — Vol. 47, N. 10. — P. 71 -75.
  85. Persa, S. Evaluation of Two Real Time Low Level Image Processing Architectures Text. / S. Persa, C. Nicolescu, P. Jonker // 1APR Workshopon Machine Vision Application (MVA2000). Tokyo: The University of Tokyo, 2000. — P. 295−298.
  86. Pitas, I. Parallel Algorithms for Digital Image Processing, Computer Vision and Neural Networks Text. / I. Pitas New York: John Wiley & Sons, 1993. — 410 c. — ISBN 978−471 935 667.
  87. Ramaswamy, S. A framework for exploiting task and data parallelism on distributed memory multicomputers Text. / S. Ramaswamy, S. Sapatnekar, P. Baneijee // IEEE Transactions on Parallel and Distributed Systems. 1997. — Vol. 8. — P. 1098−1116.
  88. Ritter, G. X. Handbook of Computer Vision Algorithms in Image Algebra Text. / G.X. Ritter, J.N. Wilson. 2 ed. — BocaRaton: CRC Press Inc, 2000. — 448 c. — ISBN 978−849 300 752.
  89. Roscoe, A.W. The Theory and Practice of Concurrency Text. / A.W. Roscoe. Prentice Hall, 1997. 565 c. — ISBN 136 744 095.
  90. Schneider, S. Concurrent and Real-Time Systems: The CSP approach Text. / S. Schneider. Wiley, 1999. — 526 c. — ISBN 471 623 733.
  91. Seinstra, F. J. A software architecture for user transparent parallel image processing Text. / F. J. Seinstra, D. Koelma, J. M. Geusebroek // Parallel Computing. 2002. — Vol. 28, N. 7−8. — P. 967−993. — ISSN 1 678 191.
  92. Seinstra, F. J. User transparency: a fully sequential programming model for efficient data parallel image processing Text. / F. J. Seinstra, D.
  93. Koelma // Concurrency and Computation: Practice and Experience. 2004.- Vol. 16, N. 6. P. 611−644. — ISSN 1532−0626.
  94. Serot, J. Skeletons for parallel image processing: an overview of the SKIPPER project Text. / J. Serot, D. Ginhac // Parallel Computing. -2002.-Vol. 28, N. 12.-P. 1685−1708. ISSN 1 678 191.
  95. Shen, Z. Distributed computing model for processing remotely sensed images based on grid computing Text. / Z. Shen, J. Luo, G. Huang, D. Ming, W. Ma, H. Sheng // Information Sciences. 2007. — Vol. 177, N. 2.- P. 504−518. ISSN 200 255.
  96. Sobolewski, M. SORCER: Computing and Metacomputing Intergrid Text. / M. Sobolewski // ICEIS 2008 International Conference on Enterprise Information Systems, June 2008. — P. 74−85.
  97. Squyres, J. M. A toolkit for parallel image processing Text. / J. M. Squyres, A. Lumsdaine, R. L. Stevenson // Parallel and Distributed Methods for Image Processing II. 1998. — P. 69−80. — (Proceedings of SPIE, Vol. 3452).
  98. Taniguchi, R.-i. Software platform for parallel image processing and computer vision Text. / R.-i. Taniguchi, Y. Makiyama, N. Tsuruta, S. Yonemoto, D. Arita // Proceedings of SPIE. 1997. — Vol. 3166, N. 2. — P. 2−10.- ISSN 27 7786X.
  99. Wada, B.T. A Virtual Memory System for Picture Processing Text. / B.T. Wada // Communication of the ACM. 1984. — Vol.27, N. 5. — P. 444−454.
  100. Wang, R. Y. Modeling Communication Pipeline Latency Text. / R. Y. Wang, A. Krishnamurthy, R. P. Martin, Т. E. Anderson, D. E. Culler // Proc. 1998 ACM SIGMETRICS Conference on Measurement and Modeling of Computer Systems. 1998.
  101. Weems, С. C. Image understanding architecture: a status report Text. / C. C. Weems // Proceedings of SPIE. 1995. — Vol. 2368. — P. 235−246.
  102. Wu, R. Parallel execution time prediction of the multitask parallel programs Text. / R. Wu, J. Sun, J. Chen // Performance Evaluation. -2008. Vol. 65, N. 10. — P. 701−713. — ISSN 1 665 316.
Заполнить форму текущей работой

На отлично!