Исследование и разработка моделей распределенных баз данных информационных систем корпоративного типа

Актуальность темы

Проблемы совершенствования планирования и управления промышленным предприятиями тесно связаны с ускорением научно-технического прогресса, с повышением научного уровня планирования и прогнозирования, улучшением организационно-технической структуры управления. Внедрение вычислительной техники и разработка на ее основе автоматизированных систем управления (АСУ) представляет большую и важную задачу. Получили широкое распространение АСУ, обслуживающие различные уровни организации производства.

Одним из главных направлений совершенствования системы управления крупными промышленными предприятиями в настоящее время является разработка и внедрение интегрированных автоматизированных систем управления (ИАСУ), информационных и управляющих систем. Массовое внедрение АСУ технологическими процессами (АСУТП) и предприятиями (АСУП) весьма остро ставит проблемы повышения эффективности использования ЭВМ и систем передачи информации. Специфика этих систем заключается в том, что вычислительные, информационные ресурсы и средства передачи данных размещаются на территории некоторого региона. При этом возникает необоснованное дублирование информации, затрудняется доступ пользователей к накопленной информации. Непрерывное развитие рыночных экономических отношений требует решения все более сложных и трудоемких задач управления. При отсутствии развитой информационной системы невозможно обеспечить адекватные управленческие технологии, соответствующие динамике сегодняшнего дня.

В последние годы появились объективные предпосылки для создания на предприятиях систем, позволяющих интегрировать разнородные технологические подсистемы с целью построения автоматизированной системы оперативного диспетчерского управления (АСОДУ), а также интегрировать системы автоматизации технологических процессов с системами автоматизации административно-хозяйственной деятельности. Вышесказанное характерно практически для всех крупных корпоративных предприятий химической промышленности.

Создание автоматизированных систем управления и информационных систем связано с широким внедрением сетей ЭВМ, распределенных баз данных (РБД) и систем передачи информации. РБД отличает функциональная и структурная сложность [1], процесс их проектирования характеризуется большой длительностью, высокой трудоемкостью и значительными финансовыми затратами.

Имеющийся в настоящее время аппарат для разработки логических и физических структур РБД недостаточно формализован и базируется в основном на использовании опыта и интуиции разработчиков, что не позволяет оптимизировать процессы проектирования и функционирования РБД. Более того, при проектировании никак не учитываются ни особенности химической технологии, ни, тем более, особенности работы цепочки взаимосвязанных и размещенных на значительной территории производств.

Вопросы формирования методики синтеза эффективных структур распределенных баз данных для создания интегрированных АСУ предприятиями химической технологии в настоящее время разработаны недостаточно, решены только отдельные вопросы проектирования структур РБД, не содержащие общих подходов к созданию такого рода систем.

Одной из важных компонент распределенных систем являются системы, которые обладают развитым аппаратом обработки больших объёмов информации, структурированной в базы данных. В настоящее время применение концепции баз данных в распределенных системах является общепринятым. По мере развития таких систем постоянно возрастают сложность решаемых ими задач и объёмы обрабатываемой информации [2]. При этом распределенные системы должны обладать средствами оперативной обработки больших объёмов информации.

Современные тенденции развития информационной системы состоят в переходе от централизованных вычислительных систем к распределённым. Стратегии распределения данных по узлам сети диктуются как управленческими, так и производственными задачами конкретных химических производств.

Можно рассмотреть несколько альтернативных стратегий распределения данных [3, 4, 5], каждая из которых имеет как преимущества, так и недостатки. Основным преимуществом централизованной базы данных является простота. Все операции выполняются под контролем единственного узла. Все запросы на выборку и обновление данных направляются в центральный узел. Недостатком данной стратеги является то, что размер базы данных ограничивается объемом внешней памяти в центральном узле. Кроме того, центральный узел может стать узким местом всей системы с точки зрения надежности, поскольку база данных становится недоступной при появлении ошибки в системе связи и полностью выходит из строя при выходе из строя центрального узла. Это является недопустимым для экологически опасных химических производств.

Стратегия расчленения, при которой единственная копия базы данных в виде непересекающихся подмножеств распределяется по многим узлам сети, не допускает существования копий отдельных частей базы данных. При этом на первый план выдвигается процесс проектирования расчлененных данных с целью получения преимуществ за счет распределения запросов на выборку и обновления по тем узлам, где расположены. запрашиваемые данные. В этом случае стоимость связи может быть снижена за счет того, что большая часть запросов к базе данных будет осуществляться в локальных узлах. С другой стороны, запрос может потребовать доступа ко всем узлам сети, и это приведет к большой стоимости связи и к большему времени задержки [6, 7, 8], чем в случае централизованной базы данных, что для ряда производств химической технологии может быть недопустимо, поскольку сопряжено с риском появления аварийных ситуаций. Однако, надежность может быть повышена по сравнению с централизованным подходом, поскольку в случае выхода из строя системы база данных все же может оказаться частично работоспособной.

При распределении данных с использованием стратегии дублирования в каждом узле сети размещается полная копия базы данных. Основное преимущество этой стратегии относится к области надежности и эффективности выборки, что требует, однако, значительных затрат памяти. Кроме того, с целью согласования множественных копий базы данных необходимо поддерживать их изменения, что является трудно выполнимой задачей, отвлекающей значительные ресурсы системы.

Смешанная стратегия распределения данных объединяет подходы, связанные с расчленением и дублированием данных, и приобретает как все их преимущества, так и недостатки. При этом подходе любая часть базы данных может быть дублирована произвольное число раз, и в каждом узле может содержаться желаемая часть базы данных. Недостатком такого подхода является сложность обработки и оптимизации запросов.

В связи с вышеизложенным, сокращение сроков и стоимости создания РБД, необходимость эффективного использования ресурсов РБД определяют целесообразность разработки формализованных моделей и методов, позволяющих автоматизировать наиболее трудоемкие этапы проектирования РБД, выбрать решения, оптимизирующие их состав и структуру.

Объектом исследования диссертационной работы являются модели и методы проектирования распределенных баз данных для цепочки технологически связанных химических производств.

Цель работы.

Обобщить и развить методику применения имеющегося в настоящее время аппарата для разработки логических и физических структур распределенных баз данных с целью построения интегрированной автоматизированной системы управления для цепочки взаимодействующих непрерывных химических производств.

Автоматизировать и оптимизировать наиболее трудоемкие этапы проектирования РБД для сокращения сроков и стоимости их создания.

Применить предложенные подходы к решению задач создания комплекса взаимосвязанных формализованных моделей и методов анализа предметных областей пользователей, синтеза оптимальных логических и физических структур распределенных баз данных.

Разработать и исследовать модели и методы построения оптимальной структуры РБД.

Разработать алгоритмы получения оптимального решения согласно предложенным моделям.

Выбрать решения, оптимизирующие состав и структуру проектируемой РБД.

Применить научно обоснованные рекомендации по оптимизации структуры РБД при проектировании элементов АСУ ряда предприятий Новомосковской акционерной компании (НАК) «Азот».

Научная новизна работы состоит в следующем:

— обобщена и развита методика разработки поэтапного построения распределенных структур баз данных для построения интегрированной автоматизированной системы управления цепочкой взаимодействующих непрерывных химических производств;

— создан комплекс взаимосвязанных формализованных моделей и методов анализа предметных областей пользователей, синтеза оптимальных логических и физических структур распределенных баз данных;

— предложена совокупность процедур последовательного преобразования матричных и графовых моделей предметных областей пользователей в процессе многоэтапного проектирования распределенных баз данных с учетом специфики целей и ограничений;

— обоснован выбор вида экономической целевой функции синтеза оптимальной информационной структуры базы данных;

— предложены соотношения и алгоритмы, позволяющие снизить размерность исходных структур данных;

— введено понятие свертки и предложен алгоритм декомпозиции структуры исходных данных, что обеспечивает уменьшение размерности задачи и сокращение времени её решения;

— разработан быстродействующий алгоритм нахождения всех замкнутых контуров для исключения некорректных запросов в результате ошибок при анализе исходных структур;

— предложены модели размещения баз данных по зонам;

— предложена модель размещения серверов и баз данных в зоне;

— решена задача оптимального размещения баз данных по узлам хранения информации;

— поставлена и решена задача оптимизации структуры сети передачи информации, при условии минимизации затрат при наличии штрафа за отсутствие канала связи между узлами.

Практическая ценность и реализация результатов работы.

Предложенные в диссертации методы, модели и алгоритмы вошли в состав разработанного пакета программных средств автоматизированного проектирования структур данных распределённой БД и были использованы при разработке и практической реализации интегрированной распределённой системы управления для' основных производств корпоративного предприятия НАК «АЗОТ».

Апробация работы.

Основные результаты работы докладывались:

— на международной конференции «Математические методы в химии и химической технологии» (ММХ-10) (г.Тула, 1998);

— на заседаниях кафедры «Системы обработки информации и управления».

МГТУ им. Н. Э. Баумана (г. Москва, 1998 и 2001);

— на научных конференциях Российского химико-технологического университета (г. Москва, 1999 и 2000) и Новомосковского института РХТУ (г.

Новомосковск, 1998 и 1999).

Публикации. Результаты, отражающие основное содержание диссертационной работы, изложены в 8 публикациях.

В первой главе показано, что непрерывное развитие рыночных экономических отношений требует решения все более сложных и трудоёмких задач управления, которые невозможно получить при отсутствии развитой информационной системы, позволяющей обеспечить адекватные управленческие технологии, соответствующие динамике сегодняшнего дня. Одним из возможных направлений совершенствования системы планирования и управления крупными химическими предприятиями в настоящее время является разработка и внедрение интегрированных автоматизированных систем управления, информационных и управляющих систем.

Рассмотрены возможности современных пакетов построения АСУ промышленным предприятием, произведён их анализ с точки зрения применимости для построения интегрированных АСУ. Показано, что им всем присущи типовые недостатки, ограничивающие их применение для предприятий химической промышленности.

Проведён обзор отечественных и зарубежных исследований и разработок, посвященных методам, моделям и системам проектирования и управления территориально распределенными базами данных. Показано, что вопросы формирования общей методики синтеза эффективных структур распределенных баз данных для построения интегрированных АСУ разработаны недостаточно. Рассмотренные в работах задачи решают только отдельные вопросы проектирования структур распределенных баз данных. Они не учитывают динамику и взаимосвязи работы комплекса предприятий химических производств, не содержат общей методики проектирования структур распределенных баз данных, отражающей задачи всех этапов создания такого рода систем.

Во второй главе проведён анализ химического предприятия как сложного объекта управления и рассмотрен типовой состав его производств. Анализ показал, что объекты, между которыми существуют наиболее значимые материальные и информационные связи, территориально распределены и образуют структуру, типичную для большинства химических предприятий.

Определен характер информации, циркулирующей на различных уровнях управления группой химических предприятий, и выделены интервалы периодичности решения характерных задач. Это позволяет учесть динамику движения информации и предложить новые подходы к получению более эффективных решений задачи синтеза структуры данных.

Предложена методика поэтапного построения распределённых структур баз данных, уточняющая этапы проектирования и направленная на уменьшение стоимости передачи, хранения и обновления информации. Включены этапы, направленные на уменьшение размерности и учёт особенностей химической технологии. При этом для упрощения решаемых задач в методику не включены этапы оптимизации времени выполнения запроса в узле хранения информации, а также выбора конкретной СУБД.

Проведен сравнительный анализ ряда критериев применительно к созданию РБД по их влиянию на параметры, характеризующие эффективность функционирования системы.

Обоснован выбор комплексного критерия экономического характера как наиболее рационального для синтеза оптимальной информационной структуры распределённых баз данных.

В третьей главе предложен метод анализа исходных информационных структур проектируемой базы данных, учитывающий периодичность решения задач в проектируемой системе.

Предложен метод, позволяющий снизить размерности исходных структур путем представления их в виде сверток и основанный на выделении однотипных элементов, для которых структуры связей элементов, принадлежащих одному классу, одинаковы в пределах принятых допущений.

Разработан эффективный алгоритм определения всех элементарных контуров для исключения некорректных запросов в результате ошибок при анализе исходных структур.

Предложен алгоритм поиска вариантов реализации элементарных запросов при решении задачи синтеза оптимальной структуры для определения множества возможных реализаций заданных запросов пользователей.

Разработана математическая модель и алгоритм синтеза оптимальной информационной структуры базы данных в соответствии с критерием, согласующимся с выбранным ранее глобальным критерием.

Предложены соотношения и алгоритмы, позволяющие выбрать систему отношений между элементами информации, включаемыми в проектируемую базу данных, разбить исходные структуры с целью удобства анализа на несвязные подструктуры.

В четвертой главе разработаны модели и алгоритмы размещения баз данных и прикрепления пользователей с точностью до зоны с учётом оптимальных масштабов дублирования информации.

Сформирована модель и предложен алгоритм оптимального размещения баз данных и прикрепления пользователей к узлам хранения и обработки информации.

Поставлена и решена задача оптимизации структуры сети передачи данных, включающая этапы построения избыточной структуры сети и её локальной оптимизации, при условии минимизации затрат при наличии штрафа за отсутствие канала связи между узлами.

Разработан комплекс программ для автоматизированного проектирования структур баз данных.

Разработанные методы и средства применены для решения задачи проектирования распределенных баз данных информационной системы ряда производств НАК «Азот».

Объём работы. Диссертационная работа состоит из введения, четырех глав, выводов и списка использованной литературы. Работа изложена на 133 страницах текста, включает 22 рисунка, 13 таблиц и приложений.

4.7. Выводы.

1. Разработаны модели и алгоритмы размещения баз данных и прикрепления пользователей с точностью до зоны с учётом оптимальных масштабов дублирования информации.

2. Сформирована модель и предложен алгоритм оптимального размещения баз данных и прикрепления пользователей к узлам хранения и обработки информации.

3. Поставлена и решена задача оптимизации структуры сети передачи данных, включающая этапы построения избыточной структуры сети и её локальной оптимизации, при условии минимизации затрат при наличии штрафа за отсутствие канала связи между узлами.

4. Разработан пакет программ для автоматизированного проектирования структур БД.

5. Разработанные в работе методы и средства применены для решения задачи проектирования РБД информационной системы ряда производств НАК «Азот».

Заключение

.

В работе рассмотрены некоторые задачи проектирования информационных структур территориально распределенных БД. Показано, что большинство задач сводятся к задачам нелинейного целочисленного программирования с булевыми переменными и ограничениями. Основные трудности поиска точного оптимального решения задач подобного класса связаны с большими размерностями дискретных переменных. Поэтому только для некоторых задач удалось сформировать алгоритмы поиска точного оптимального решения, используя искусственные приемы уменьшения размерностей задач. В некоторых случаях специфика задач позволила сформулировать эвристические алгоритмы поиска решений, достаточно близких к оптимальным.

Были сформулированы и обоснованы принципы проектирования территориально структур распределенных баз данных. В качестве глобального критерия синтеза структуры распределенной базы данных предложен комплексный критерий экономического характера, а именно — минимум стоимости хранения, передачи, поиска и обновления информации.

Показано, что для формального описания и анализа исходные информационные структуры удобно интерпретировать в виде неориентированных и ориентированных графов. Для уменьшения размерностей исходных логических структур предложен метод представления логических структур в виде графов-сверток. Описанные в работе модель и алгоритм синтеза оптимальной логической структуры позволяют синтезировать эффективные в смысле выбранного критерия логические структуры, что существенно сокращает сроки и трудоемкость проектирования базы данных.

Применение алгоритма последовательного разбиения синтезированной логической структуры на минимально связанные блоки обеспечивает возможность получения блоков заданных размеров при достаточно плотной упаковке блоков и сохранении их внутренней логической структуры.

В работе реализован поэтапный подход к структуризации территориально распределенных БД. Вначале определяются оптимальные масштабы дублирования и размещение массивов по зонам, а затем выделяются сервера в зоне и пользователи прикрепляются к соответствующему серверу. Поэтапный подход к размещению информации и разбиение пространства размещения на условные зоны позволили уменьшить размерности реальных задач до практически реализуемых.

Методы и модели проектирования, описанные в работе, представляют собой методический и математический аппарат для формализации анализа и синтеза информационных структур территориально распределенных БД.

Использование материалов данной работы позволяет существенно повысить эффективность использования информационных ресурсов в АСУ за счет выбора оптимальных структур, размещения баз данных и оптимизации степени дублирования информации.