Методы визуального построения и сопровождения информационных систем на основе иерархического расширения реляционной модели данных

Актуальность темы

диссертации.

В основе большинства современных информационных систем лежит система баз данных. Можно сказать, что база данных является моделью некоторой предметной, области, а система управления базами данных (СУБД) — инструментом моделирования предметных областей. Приложение базы данных — программная система, использующая ресурсы системы баз данных и предназначенная для решения некоторой совокупности задач в некоторой предметной области.

Чтобы база данных, как модель предметной области, в большейстепени соответствовала некоторой части реального мира и, соответственно, была более понятной конечному пользователю необходимо, чтобы СУБД основывалась на модели данных, близкой предметной области.

Наиболее распространенные, в настоящее время, реляционные СУБД обладают относительно слабыми возможностями для представления семантики данных предметной области. Основным предметом критики реляционных СУБД присущая этим системам некоторая ограниченность при использовании в предметных областях, в которых требуются сложные структуры данных.

Примерами подобных областей являются предметные области медицинской1 и социальной сферы, связанные с обработкой значительных по объему массивов данных-о населении. В этих областях основная часть данных, возникающих в ходе деятельности организаций, представлена в виде документов. Структура данных большинства реальных документов может быть представлена как разреженное иерархическое дерево с горизонтальными связями.

При отображении такой структуры в реляционную базу необходимо учитывать следующие особенности:

1. Упорядоченность данных.

2. Явная иерархическая организация данных.

3. Разреженность данных, которая проявляется в виде отсутствия полей.

4. Избыточность данных — дублирование информации.

В реляционной системе все эти особенности не поддерживаются на уровне модели данных и могут быть реализованы только во внешнем представлении. Поэтому при использовании реляционных СУБД для автоматизации подобных областей представление семантики данных предметной области большей частью ложится на уровень приложений к базе данных. В результате усложняется построение информационной системы, а если предметная область постоянно изменяется, то также развитие и сопровождение информационной системы.

В связи с этим наиболее перспективным является построение СУБД, основанной на расширенной модели данных, которая позволяет более полно отобразить семантику данных предметной области. При этом разработка информационных систем становится в большей степени описательной, декларативной, что позволяет облегчить процесс создания информационных систем. Поэтому работы в данном направлении являются актуальными.

Современные промышленные СУБД имеют набор интерфейсов к внешним инструментам проектирования и разработки приложений или снабжаются инструментальными средствами собственного производства. Для предметных областей медицинской и социальной сферы характерны:

1. Высокая динамика изменения ситуации (например, законодательства), поэтому требуется постоянное изменение и развитие информационной системы в процессе эксплуатации.

2. Отсутствие единого механизма работы организаций в различных регионах.

3. Большое количество незапланированных запросов.

4. Большое количество выходных документов.

5. Недостаток квалифицированных администраторов баз данных и пользователей.

Соответственно выдвигаются следующие требования к системе автоматизации:

1. Необходимы развитый инструмент для визуального проектирования структуры базы данных и измененияэтой структуры в процессе эксплуатации, развитый инструмент для визуального построения приложений и изменения приложений в процессе эксплуатации, а также простой механизм обновления информационной системы.

2. Необходим простой механизм адаптации информационной системы к местным условиям.

3. Необходим развитый визуальный инструмент для поиска и аналитической обработки данных.

4. Необходим развитый визуальный инструмент для построения печатных форм.

5. Необходимо обеспечить простое администрирование системы и простой интерфейс для конечного пользователя.

Для построения* и использования информационной системы необходимо одинаково хорошо владеть всеми инструментальными средствами, которые могут значительно отличаться друг от друга. Поэтому для повышения степени автоматизации и снижения трудоемкости процессов создания и эксплуатации информационных систем необходимо совмещение этих инструментов в рамках единого универсального визуального инструмента. Это позволяет значительно облегчить работу пользователей, ускорить разработку информационных систем и упростить их сопровождение, что и определяет актуальность разработки подобных систем.

Цель работы.

Целью работы является разработка расширенной реляционной модели' данных и универсального визуального инструментального средства для совершенствования процессов построения и сопровождения информационных систем.

Задачи исследования.

1. Анализ моделей данных, используемых в базах данных, и существующих расширенных моделей, общая постановка задачи исследования.

2. Разработка расширенной модели данных, включающей как неформальные семантические понятия, так и формальные элементы для их интерпретации.

3. Разработка физического и внешнего уровней программной системы, совмещающей инструменты проектирования, разработки и использования информационных систем, в рамках единой визуальной инструментальной среды.

4. Обоснование применимости разработанного инструментального средства для выбранного класса задач и иллюстрация на конкретном примере.

Методы и средства исследования.

При решении поставленных задач используются формализмы теории множеств, реляционной модели данных, нотация UML, языки и стандарты платформы XML, язык программирования М.

Научная новизна.

1. Разработана высокоуровневая интерпретация расширенной реляционной модели данных RM/T, которая обеспечивает отображение семантики данных предметной области в простой и понятной форме для конечного пользователя за счёт использования для описания молекулярных типов RM/T высокоуровневой структуры — упорядоченного логического • дерева с горизонтальными связями с возможностью логической реструктуризации дерева.

2. Разработана расширенная модель данных, основанная на предложенной интерпретации модели данных RM/T и включающая в себя: механизмы логической реструктуризации хранимого дерева — ссылочные и виртуальные объекты, механизм интеграции физических деревьев в предложенную модель данных — объект типа массив. С помощью ссылочных и виртуальных решаются: задача представления горизонтальных связей как логических иерархических и задача инвертирования иерархии без создания дополнительных структур хранения. С помощью объектов типа массив обеспечивается возможность работы как с логическими деревьями, так и с физическими деревьями единым образом и решается задача представления результатов аналитической обработки данных.

3. Предложены методы реализации физического уровня инструментального средства, предполагающие: использование М-системы в качестве среды реализации физического уровня, использование кластерных индексов в качестве основной структуры хранения данных, кодирование слов значений суррогатными кодами. Применение М-системы обеспечивает низкоуровневый интерфейс к структурам хранения, развитые средства СУБД и позволяет построить собственную СУБД. С помощью кластерных индексов осуществляется чтение данных в последовательности иерархического обхода и извлечение поддеревьев. С использованием кодирования слов значений обеспечивается устранение избыточности, свойственной иерархической организации данных, на уровне хранения.

4. Предложены механизм, унификации программирования информационной системы-, и механизм унификации создания, хранения, обработки и представления данных. Согласно, механизму унификации программирования, всё программирование — взаимодействие с базой данных, описание логики работы приложения, реализация пользовательского интерфейсавыполняется' на стороне сервера. Согласно механизму унификации создания, хранения, обработки и представления данных, всё взаимодействие пользователя с информационной системой осуществляется через экранные формы инструментального средства. Механизмы унификации легли в основу разработки единой универсальной визуальной инструментальной среды построения и использования информационных систем.

Обоснованность и достоверность.

Достоверность научных положений определяется корректностью используемых моделей данных и стандартов, всесторонней апробацией основных теоретических положений диссертации в печатных трудах, докладах на Международных и Всероссийских научных конференциях, положительными результатами практического использования разработанной системы в различных отечественных организациях.

Практическая ценность работы.

В результате работы реализована программная среда qWORD-XML, основанная на предложенной интерпретации модели данных КМ/Т и объединяющая различные инструменты в рамках единого универсального визуального инструментального средства. С использованием предложенной модели данных разработка, развитие и сопровождение информационных систем становятся в большей степени описательными, декларативными. С использованием предложенного единого инструментального средства ускоряется разработка информационных систем, упрощается их сопровождение, облегчается работа пользователей.

Наиболее предпочтительным является использование среды qWORD-XML для автоматизации предметных областей медицинской и социальной сферы.

Реализация результатов работы.

С помощью предложенной инструментальной среды qWORD-XML разработаны и внедрены следующие информационные системы:

1. Автоматизированная информационная ^ система «Медико-социальная экспертиза» (АИС МСЭ) — для ФГУ «Главное бюро МСЭ по Ленинградской области» (с 2002 г.), ФГУ «Главное бюро-МСЭ по Тюменской области» (с 2003 г.), ФГУ «Главное бюро МСЭ по Калининградской области» (с 2003 г.).

2. Медицинская-информационная система qMS — для Санкт-Петербургского научно-практического центра медико-социальной экспертизы, протезирования и реабилитации инвалидов имени Г. А. Альбрехта, Всероссийского центра Экстремальной и Радиационной. Медицины МЧС России (с 2005 г.).

Предложенные-в работе рекомендации по применению технологии XML, построению и использованию, систем управления базами данных, организации баз данных были использованы при проведении научно-исследовательских работ в ходе международного проекта 6-й рамочной программы Европейской Комиссии 507 592−2 1ЫРТ «Интеллектуальная логистика для инновационных производственных технологий».

Апробация работы.

Основные результаты и положенияфаботы обсуждались на Международной научной конференции «Оптимальные методы решения научных и практических задач» (ОМ-2005) (ТРТУ, 2005 г.), на Санкт-Петербургском семинаре «Информатика и компьютерные технологии» (СПИИРАН, 2006 г.), на 4-й Всероссийской научной конференции «Управление и информационные технологии» (УИТ-2006) (СПбГЭТУ, 2006 г.).

Публикации.

По теме работы опубликовано 10 печатных работ, в том числе одна работа в рецензируемом журнале из перечня ВАК («Известия ВУЗов. Приборостроение»).

Структура и объём работы.

Диссертация объемом 137 машинописных страниц содержит введение, четыре главы и заключение, список литературы (115 наименований), 5 таблиц, 66 рисунков.

Основные результаты работы: 1. В ходе исследований показана сложность реализации информационных систем на основе существующей и широко используемой реляционной модели данных.

Основным предметом критики реляционных СУБД присущая этим системам некоторая ограниченность при использовании в нетрадиционных областях, в которых требуются сложные структуры данных, и относительно слабые возможности по части представления семантики данных предметной области.

В реляционной модели единственной существенной конструкцией является отношение, связи представляются неявно с помощью внешних ключей. В этом смысле реляционная модель менее естественна для человека по сравнению с иерархической и сетевой, в которых связи описываются явным образом с помощью дополнительных конструкций, позволяющих явно представить некоторые семантические понятия.

Недостатки реляционных систем привели к созданию объектных систем и появлению направления семантического моделирования.

В объектном подходе фундаментальные семантические абстракции используются неявно. Однако объектные системы обладают целым рядом недостатков, которые не имеют место в реляционных системах. Кроме того, объектная система скорее является набором средств построения СУБД, а не собственно СУБД общего назначения.

Семантическое моделирование направлено на обеспечение возможности* представления семантики данных. В качестве способа реализации семантики данных были разработаны различные «расширенные» модели данных.

Наиболее популярной из расширенных моделей является ЕЯ-модель. Однако данная модель является только неформальным дополнением реляционной модели, она используется на первом этапе проектирования базы для создания концептуальной модели предметной области (КМ), которая может существенно отличаться от реализованной на её основе концептуальной схемы базы данных (СБД) в выбранной СУБД. При этом задача представление семантики данных предметной области большей частью ложится на приложения к базе данных. Дополнительно появляется модель данных на уровне приложений (МП).

2. Предложено выполнить прямую реализацию СУБД, основанную на расширенной модели данных, позволяющей более полно отобразить семантику данных предметной области и включающей как неформальные семантические концепции, так и формальную I модель для их интерпретации.

В описанном выше варианте между моделями необходимо реализовывать отображение: КМ СБД МП, которое в процессе развития информационной потребуется постоянно изменять.

В результате усложняется построение информационной системы, а если концептуальная модель предметной области постоянно изменяется, то также развитие и сопровождение информационной системы.

При прямой реализации1 СУБД на основе расширенной модели данных (РМ) отображение между моделями будет выглядеть следующим образом: КМ РМ -> МП. При этом отображение между моделью предметной области в терминах расширенной модели и схемой базы данных скрыто от пользователяи собственно проектирование выполняется в терминах расширенной модели, что является более удобным, естественным и понятным для конечного пользователя.

В предметных областях медицинской и социальной сферы основная часть данных, возникающих в ходе деятельности организаций, представлена в виде документов, имеющих иерархическую структуру с горизонтальными связями. При отображении такой структуры в реляционную базу данных необходима реализация дополнительных механизмов структурирования, хранения, обработки и представления данных, которые вместе определяют новую расширенную модель данных.

3. В качестве основы разрабатываемой модели данных выбрана расширенная реляционная модель данных ЯМ/Т.

Э. Коддом была предложена расширенная реляционная модель ИМ/Т, позволяющая расширить семантические аспекты базовой реляционной модели. В ЫМ/Т вводятся различные семантические абстракции, а также формальные объекты, правила целостности и операторы, т. е. в отличие от ЕЯ-модели ЯМ/Т включает как неформальные семантические понятия, так и формальную модель для их интерпретации. Однако механизм реализации расширений в ИМ/Т является-низкоуровневым, что делает модель более мощной и гибкой, но вместе с тем более сложной и ориентированной в первую очередь на программистов, а не на пользователей. Из-за своей сложности ЯМ/Т не получила широкого распространения, поэтому необходима разработка интерпретации модели данных ЯМ/Т, в которой в качестве механизма реализации семантических расширений будут использоваться высокоуровневые средства.

4. Создана высокоуровневая интерпретация модели 'данных RM/T, в которой молекулярные типы RM/T описываются структурой упорядоченного логического дерева с горизонтальными связями с возможностью логической реструктуризации дерева.

Предложено отказаться от использования в качестве механизма реализации расширений RM/T бинарных и тернарных графовых отношений и использовать базовую реляционную модель и, в частности, отношения степени п.

Для описания молекулярных типов RM/T в данной работе предложено введение молекулярной структуры — упорядоченного логического дерева с горизонтальными связями, которое накладывается поверх атомарной структуры — n-мерного отношения. Должна поддерживаться возможность представления горизонтальных связей в виде логических деревьев.

5. Предложено использовать реляционную алгебру для низкоуровневого описания интерпретации модели RM/T, языки и стандарты платформы XML — для высокоуровневого описания.

Основой разработанной интерпретации расширенной модели RM/T является базовая реляционная модель, что позволяет использовать её для низкоуровневого описания разрабатываемой модели. Иерархическая модель данных с горизонтальными связями, в общем случае, существенно сложнее, чем реляционная — последняя лишь частный случай первой. Однако с созданием и развитием платформы XML появилась возможность 1 формального высокоуровневого описания иерархической модели с горизонтальными связями. На основе языков платформы XML может быть построена модель данных, которая позволяет описать предложенную интерпретацию модели RM/T на более высоком уровнем, чем базовая реляционная модель.

6. На основе предложенного подхода разработана расширенная модель данных. Определены структурные компоненты модели данных, ограничения целостности модели данных, операции манипулирования данными.

Главной структурой модели является упорядоченное дерево информационных объектов с горизонтальными связями и со специфическим для каждого объекта набором понятий. Иерархические связи реализуются автоматически с помощью суррогатных кодов экземпляров. Горизонтальные связи реализуются пользователем, который должен задать пользовательские потенциальные и внешние ключи. Для описания связей понятий с объектами и связей объект-объект вводится дополнительная структура — отображение.

В модели данных предусмотрены ограничения целостности: ограничения типов и понятий, ограничения объектов и ограничения базы данных. Правила целостности сущностей и правила ссылочной целостности для иерархических связей создаются и поддерживаются автоматически.

В модели данных поддерживаются и видны для, пользователя как навигационные операции: манипулирования данными, так и спецификационные. Навигационные операции соответствуют низкоуровневым операциям модели DOM: Спецификационные операции соответствуют реляционной алгебре с расширениями на деревья объектов. Для описания расширенных реляционных операций используется язык XQuery.

7. Реализованы механизмы, реструктуризации хранимого деревабез создания дополнительных структур хранения — ссылочные и виртуальные объекты. С помощью механизмов ссылочных и виртуальных объектов решены задачи: представления горизонтальных связей как логических иерархических, инвертирования иерархии.

Ссылочные объекты ссылаются г на экземпляры объектов, реально существующие в базе данных. С использованием виртуальных объектов могут быть созданы виртуальныедеревья объектов. Экземпляры виртуальных объектов, не существуют в базе, а создаются пользователем. В отличие от существующих SQL-систем, в предложенной модели при логической реструктуризации с использованием ссылочных и виртуальных дополнительные физические структуры хранения не создаются- «.

8. Создан механизм интеграции физических деревьев в модель данных — объекты типа массив. С помощью объектов типа массив решены задачи: отображенияфизических иерархических баз данных, представления результатов аналитической обработки данных.

Объект типа массив ссылается на физический массив и, по сути, является виртуальным, так как его экземпляры не существуют в базе данных. С введением объектов типа массив обеспечена возможность работы как с логическими деревьями, так и с физическими деревьями единым образом в рамках структурного компонента модели данных. — отображения.

9. Разработанная модель данных основывается на базовой реляционной модели данных и модели данных XML, соответствует предложенной интерпретации модели данных RM/T и является функциональной полной.

В рамках модели обеспечивается возможность манипулирования логическими деревьями с горизонтальнымисвязями, предоставляютсясредства логической реструктуризации дерева и представления горизонтальных связей в виде логических деревьев. Также обеспечивается возможность манипулировать физическими и логическими деревьями в рамках единого структурного компонента. Модель обладает свойством самоописания, что позволяет использовать одни те же операции для манипулирования как данными, так и метаданными.

10. В качестве среды реализации физического уровня выбрано использование М-системы, которая представляет собой средство для построения собственной СУБД.

На физическом уровне инструментальная среда реализуется как надстройка над М-системой. М-системы с одной стороны предоставляют низкоуровневый интерфейс к структурам хранения, а с другой обладают развитыми средствами СУБД, что позволяет использовать М-системы в качестве эффективного средства для построения собственной СУБД. Главным достоинством" М-систем является эффективный механизм управления внешней памятью в виде В*-деревьев, которые на логическом-уровне представляются* через многомерные массивы — глобалы. С помощью глобалов реализуются, структуры хранения инструментальной среды.

11. Реализовано использование кластерных индексов^ в качестве основной структуры, хранения данных, что обеспечивает чтение данных в последовательности иерархического^ обхода и извлечение поддеревьев. Для поиска данных реализованы обычные индексы.

В" предложенной модели экземпляры объектов должны быть логически упорядочены по значениям позиционного первичного ключа, поэтому для. эффективного иерархического-обхода имеет смысл хранить их в такой же последовательности. Для этого, в качестве основной структуры хранения используется кластерный индекс кодов экземпляров, в котором экземпляры каждого объекта хранятся в порядке кодов экземпляров, вместе с данными экземпляров. Код экземпляра на уровне хранения^ является ключом кластерного индекса. Для поиска требуемых экземпляров реализуются некластерные индексы, которые ссылаются на коды экземпляров кластерного индекса.

12. Реализовано кодирование слов значений понятий суррогатными кодами,' что обеспечивает устранение избыточности, свойственной иерархической организации данных, на уровне хранения.

Иерархической организации данных свойственна избыточность, что проявляется в дублировании информации. В реляционной модели отношения должны быть нормализованы, поэтому для устранения дублирования информации отношения перепроектируют. В иерархических системах дублирование информации на уровне модели позволяет адекватно отобразить реальные документы без их перепроектирования, достаточно только устранить избыточность на уровне хранения.

Для устранения избыточности, свойственной иерархической организации данных, на физическом уровне выполняется кодирование слов структурированных значений понятий суррогатными кодами. Для поддержки кодирования слов значений создаются дополнительные структуры хранения — прямой и обратный словари. Обратный словарь реализуется как кластерный индекс слов значений, что позволяет создавать характеристики слов значений. Прямой словарь реализуется как некластерный индекс слов значений.

13. На внешнем уровне инструментальная среда построена как клиентское приложение к М-серверу. Для совмещения различных инструментальных средств в рамках единой универсальной визуальной инструментальной среды реализованы механизмы унификации программирования информационной системы и унификации хранения, обработки и представления данных для конечных пользователей.

14. Создан механизм унификации программирования информационной системы. Согласно механизму унификации программирования всё программирование информационной системы — взаимодействие с базой данных, описание логики работы приложения, реализация пользовательского интерфейса — осуществляется на стороне сервера на языке М. Инструментальная среда является единственным" универсальным клиентским приложением ко всем построенным в ней информационным системам.

15. Реализован механизм унификации создания, хранения, обработки и представления данных для конечных пользователей.

Согласно этому механизму унификации всё взаимодействие пользователя с информационной системой осуществляется через экранные формы инструментального средства — отображения. Описание отображения создаётся в результате визуального проектирования и автоматически сохраняется в базе данных. Построение информационной системы сводится к созданию отображений и определению действий по ситуациям.

16. Выявлены основные характеристики автоматизируемой предметной области — службы медико-социальной экспертизой (МСЭ). Определены требования, предъявляемые к системе автоматизации предметной области медико-социальной сферы.

К основных характеристикам предметных областей медицинской и социальной сферы относятся:

• Ориентация на иерархические структуры данных — документы и справочники.

• Высокая динамика изменения ситуации (например, законодательства).

• Отсутствие единого механизма работы организаций в различных регионах.

• Большое количество незапланированных запросов.

• Большое количество выходных бумажных документов.

• Недостаток квалифицированных администраторов баз данных и пользователей.

17. Требования, предъявляемые к автоматизированной информационной системе (АИС) медико-социальной сферы, могут быть удовлетворены, если информационная система создаётся с помощью инструментальной среды qWORD-XML, построенной на базе опорной СУБД Cache'.

Благодаря используемой модели данных появляется возможность отображения документов и алгоритмов их обработки в базу данных на уровне СУБД, а не на уровне приложения. В результате построение информационной системы значительным образом упрощается, а сама система оказывается простой в своей организации.

В рамках единого механизма отображений объединяются инструмент для визуального проектирования структуры базы данных, инструмент для визуального построения приложений к спроектированной базе данных, визуальное средство для проектирования внешнего вида выходной печатной формы, визуальное средство для поиска данных и для представления результатов поиска, визуальное средство для аналитической обработки данных и для предоставления результатов обработки. С использованием предложенного единого инструмента ускоряется разработка информационных систем, упрощается их сопровождение, облегчается работа пользователей.

18. Разработаны рабочие места АИС МСЭ, определяющие функциональные возможности системы и позволяет проводить автоматизацию бюро МСЭ как полностью, так-и поэтапно.

19. Выявлено, что преимущества инструментальной среды проявляются на этапах проектирования и реализации базы данных и приложения, эксплуатации и сопровождения информационной системы, и инструментальная среда предоставляет преимущества для всех категорий пользователей информационной системы: разработчиков баз данных, прикладных программистов, конечных пользователей и администраторов.

20. Определено, что инструментальная среда наиболее подходит для автоматизации предметных областей, данные которых описываются древовидной структурой, к которым, в частности, относятся предметные области медицинской и социальной сферы.

Благодаря реализованной модели данных, унификации программирования информационной системы, унификации создания, хранения, обработки и представления данных, инструментальное средство qWORD-XML представляет собой удобную среду для быстрой и простой разработки, простого сопровождения и использования информационных систем.

Еще один важный показатель, как для производителя, так и для потребителя системы — стоимость решения. Этот показатель складывается из стоимости разработанной системы, стоимости аппаратного обеспечения, на котором будет работать система, СУБД, стоимости внедрения и сопровождения. Решения на qWORD-XML выигрывают по стоимости у конкурентов. Разработчик может быстро и качественно создать информационную систему на qWORD-XML за счёт реализованной модели данных и объединения различных инструментальных средств в рамках единой инструментальной визуальной среды, опорная СУБД Cache менее требовательна к аппаратному обеспечению: нужной производительности можно добиться на более дешевом сервере, гибкая лицензионная политика позволит снизить стоимость как qWORD-XML, так и СУБД Cache. Решения на qWORD-XML легче сопровождать — система надежна и не требует сложного администрирования, кроме этого разработчиками обеспечивается постоянная техническая поддержка.

Заключение

.

В результате работы реализована программная среда qWORD-XML, основанная на предложенной интерпретации модели данных ИМ/Т и объединяющая различные инструментальные средства в рамках единого универсального визуального инструмента.