Методическое обеспечение оценки надежности программного обеспечения информационных систем образовательного назначения

Актуальность темы

диссертации. Опыт создания и применения сложных информационных систем (ИС) в последние десятилетия выявил множество ситуаций, при которых сбои и отказы их функционирования были обусловлены дефектами комплексов программ, что приводило к большому экономическому ущербу. Около двадцати лет назад появились первые обобщающие работы, в которых были сформулированы концепция и основные положения теории надежности программного обеспечения информационных систем. В это время были заложены основы методологии и технологии создания высоконадежных сложных комплексов программ. Стало ясно, что для обеспечения высокой надежности функционирования и безопасности применения создаваемых сложных комплексов программ необходимы четкая организация и высокая квалификация всего коллектива специалистов, участвующих в таком проекте. В коллективе разработчиков целесообразно выделять специалистов, ответственных за соблюдение технологии создания и развития программ, за обеспечение и контроль качества, а также за надежность и безопасность проекта программного обеспечения (ПО) и его компонентов.

Отмеченная проблема обеспечения надежности программного обеспечения имеет большое прикладное значение для сферы образования. Для современного состояния образовательного процесса характерно широкое внедрение информационных и коммуникационных технологий (ИКТ), которые реализуются в образовательном процессе в виде информационных систем образовательного назначения (ИСОН). Следует отметить, что развитие аппаратной составляющей ИСОН закономерно влечет за собой совершенствование программных средств, и, наоборот, развивающееся программное обеспечение предъявляет повышенные требования к аппаратной компоненте ИСОН. Многообразие актуальных задач, являющихся объективным следствием необходимости достижения педагогических целей, а также задач управленческого характера образовательным процессом, обусловило активное развитие прикладного программного обеспечения образовательного назначение (ППООН).

В настоящее время сложился достаточно обширный круг фирм-разработчиков, занимающихся программным обеспечением для системы образования. Среди них есть общепризнанные лидеры, осуществляющие массовый выпуск программных средств по самым разным учебным дисциплинам, такие как: «1С», «NMG», «Кирилл и Мефодий», «Интеллект — Сервис», «Физикон», «Новый диск». Многие учебные заведения самостоятельно занимаются разработкой ППООН. В сложившихся условиях первостепенной задачей является задача обеспечения требуемого качества ППООН.

Следует отметить, что многие аспекты проблемы оценки качества ППООН рассматривались в исследованиях, прежде всего, в области педагогической науки. Ряд исследований посвящен разработке экспертных методов оценки психолого-педагогических характеристик ППООН, реализованных на базе технологии Мультимедиа. Разработаны методологические основы использования экспертных методов в педагогических исследованиях, ориентированные на использование программных средств (Марченко Е.К., Михеев В. И., Полонский В. М., Черепанов B.C.), определены основные методические цели, которые наиболее эффективно реализуются с использованием ППООН. Разработана типология программных средств по функциональному и методическому назначению, дидактические требования к ППООН, сформулированы основные положения экспертно-аналитической деятельности по оценке качества ППООН и анализа их педагогической целесообразности (Роберт И.В.). Сформированы теоретические основы разработки технологии применения программно-методических средств в учебном процессе общеобразовательной школы (Саф-ронова Н.В.). Разработаны также психологические основы организации диалога учащегося с ИКТ (Горелов И.Н., Машбиц Е. И., Тихомиров O.K.). Успешно развивается Система добровольной сертификации программного обеспечения в сфере информатизации РОСИНФОСЕРТ, разработаны организационно-методические документы этой системы (Позднеев Б.М., Шахин В.П.). Вопросы практического использования экспертных методов для проведения сертификационных испытаний ППООН отражены в работах Ваграменко Я. А., Галкиной А. И., Роберт И. В. Одной из последних и значимых работ в области оценки отмеченных выше аспектов качества ППООН является диссертационная работа Вострокнутова И. Е., которая посвящена исследованию и разработке теоретических и прикладных аспектов методического обеспечения процесса оценки качества ППООН. Большая теоретическая и практическая работа по проведению экспертизы ППООН ведется в Институте информатизации образования РАО, в лаборатории, возглавляемой Романенко Ю.А.

Над вопросами теории и технологии оценки качества ПО ОН работают: Отраслевой фонд алгоритмов и программ (ОФАП) Государственного координационного центра информационных технологий, Институт информатизации образования (ИНИНФО), Институт информатизации образования Российской академии образования, СЦНИТ МГТУ «Станкин», Всероссийский НИИ проблем вычислительной техники и информатики Министерства связи России. Эта тема тесно переплетается с необходимостью разработки стандартов, отвечающих современным требованиям санитарно-гигиенических норм, как к средствам вычислительной техники, так и к программному обеспечению образовательного назначения.

Обеспечение надежности должно реализовываться специалистами в жизненном цикле программного обеспечения на основе использования современной методологии, технологического инструментария, стандартов и нормативных документов.

Вместе с тем закономерно отметить, что отмеченные выше работы в большей степени затрагивают именно психолого-педагогические аспекты обеспечения качества ППООН и оставляют в стороне техническую сторону проблемы. А вместе с тем, сложность ППООН, входящего в ИСОН такова, что в принципе не существует технологий создания программной продукции без единого дефекта. Поэтому ни одна организация-разработчик не может гарантировать (и не гарантирует) абсолютной надежности создаваемого ППООН. Кроме того, решение вопроса надежности ППООН затрудняют программные дефекты, например, логические мины. Эти дефекты (как «пассивные» так и «активные») могут быть непреднамеренно внесены как при эксплуатации, так и при разработке ППООН и привести к искажению или уничтожению информации.

Проблема обеспечения надежности ППООН информационных систем образовательного назначения резко обострилась в связи с широким внедрением информационных и коммуникационных технологий в образовательный процесс. Учитывая сложившуюся тенденцию к увеличению доли ППООН в ИСОН, расширение круга задач, решаемых ППООН, важность этих задач и ужесточение требований по надежности к ИСОН актуальным на сегодняшний день является вопрос об обеспечении надежности ППООН, предназначенного для использования в ИСОН. Декомпозиция этого вопроса определяет целый ряд задач, решение которых в априори позволит обеспечить требуемую надежность ППООН в ИСОН. Это задачи организации и подбора программистских кадров, разработки перспективных технологий программирования, проведения тестирования разработанного ППООН, оценки показателей надежности (ПН) ППООН.

Достаточно очевидно, что сбои в работе ППООН, входящего в состав ИСОН, имеют резко негативное последствие. Они могут привести к авариям, выходу из строя ИСОН, что чревато снижением уровня эффективности образовательного процесса.

Для эффективной эксплуатации информационных систем образовательного назначения необходимо располагать сведениями о значении их текущей интегральной оценки надежности. В области надежности аппаратуры уже достигнут тот уровень, когда создан ряд математических методов, позволяющих оценить ее надежность. Известна методика оценки интегральной надежности технического изделия с учетом топологии его структурной схемы и вероятностных характеристик его модулей. Но с учетом интеграции ППООН в сложные технические ИСОН оценка надежности такого комплекса только надежностью его аппаратных модулей дает неприемлемую погрешность. Следовательно, нам необходимы математические методы для оценки надежности ППООН. Вмести с тем, специфика ППООН, входящего в состав ИСОН, не позволяет в полной мере использовать уже существующие методы для оценки надежности. Специфика ППООН в частности заключается, во-первых, том, что в силу его функциональной неотъемлемости от ИСОН для получения интегральной оценки надежности такой системы и у программных и аппаратных модулей необходимо оценивать идентичные по сущности показатели надежности, а, во-вторых, в непостоянстве интенсивности модификаций ППООН.

В связи с этим актуальной на сегодняшний день является диссертационное исследование, посвященное разработке математических методов для оценки показателей надежности прикладного программного обеспечения информационных систем образовательного назначения.

С учетом проведенного выше анализа может быть определена проблемная ситуация, сущность которой состоит в противоречии между необходимостью эффективной интегральной оценки надежности ППООН, предназначенного для использования в ИСОН на всех этапах его разработки и эксплуатации и практической невозможностью ее получения на основе существующих математических моделей и методик.

В связи с этим целью диссертации является разработка методического обеспечения для оценки показателей надежности прикладного программного обеспечения информационных систем образовательного назначения.

Для достижения этой цели в диссертации решены следующие задачи исследований:

— Разработаны мозаичные модели оценки показателей надежности для этапа разработки и тестирования ППООН.

— Разработаны мозаичные модели оценки показателей надежности для этапа эксплуатации ППООН в нормальных условиях;

— Разработаны мозаичные модели оценки показателей надежности для этапа эксплуатации ППООН в критичных условиях.

— Разработано методическое обеспечение для оценки показателей надежности ППООН на различных этапах его жизненного цикла.

— Разработан программный комплекс для автоматизации расчетов показателей надежности ППООН.

Методы исследований и математический аппарат. Для решения задач исследований использованы методы теории вероятностей, математической статистики, теории конечных множеств, математического анализа и численных методов.

Научная новизна диссертации заключается в том, что в ней впервые получены следующие научные результаты:

1. Дискретные экспоненциальные и рекуррентные модели для оценки показателей надежности ППООН на этапе его разработки и испытаний.

2. Однородные непрерывные экспоненциальные и рекуррентные модели для оценки показателей надежности ППООН на этапе его подконтрольной эксплуатации.

3. Неоднородные непрерывные экспоненциальные и рекуррентные модели для оценки показателей надежности ППООН на этапе его эксплуатации в критических условиях.

4. Методика оценки показателей надежности ППООН на различных этапах его жизненного цикла.

5. Программный комплекс для автоматизации расчетов показателей надежности ППООН.

На защиту выносятся следующие научные результаты диссертационного исследования:

1. Мозаичные модели надежности ППООН ИСОН для оценки его вероятности безотказной работы на различных этапах жизненного цикла.

2. Методика использования порядковых статистик с урезанной выборкой, позволяющая учесть подмножество тестов, не вошедших в испытания.

3. Методика оценки количества тестов, необходимых для достижения требуемой вероятности безотказной работы и средней наработки на отказ, позволяющая сократить объем предварительных испытаний ППООН.

4. Автоматизированный программный комплекс, в котором реализована методика оценки надежности ППООН, позволяющий обеспечить оценку показателей надежности ППООН в режиме реального времени. Достоверность полученных научных результатов обусловлена корректным применением математического аппарата теории вероятностей и математической статистики, а также численных методов и использования практических статистических данных для решения поставленной задачи.

Реализация и внедрение результатов исследований. Результаты исследований, полученные в диссертации, реализованы в Институте информатизации образования Российской академии образования и в учебном процессе Тульского военного артиллерийского института.

Практическая ценность диссертационной работы состоит в том, что результаты проведенных теоретических и экспериментальных исследований доведены до алгоритмов и программ специального математического обеспечения программного комплекса для оценки вероятности безотказной работы ППООН, а их использование позволяет повысить на 10 — 15% точность определения вероятности безотказной работы ППООН на этапах его разработки и эксплуатации.

Результаты исследований опубликованы в 5 статьях и 6 докладах на научно-технических конференциях.

Диссертация имеет объем 125 страниц, включает 8 рисунков, 2 таблицы и состоит из введения, четырех глав, заключения, списка литературы (70 наименований) и приложения.

Выводы.

Разработанная на основе полученных аналитических выражений для оценок основных показателей надежности ППООН методика позволяет провести оценивание надежности ППООН по данным на этапе разработки и эксплуатационным данным, имеющим статистически неоднородный характер, с учетом постоянной и непостоянной интенсивности модификации и получать, при этом, оценки на 30 — 40% точнее, чем при использовании широко известных статистических методов. Рост точности оценки интегрального показателя надежности ИСОН составляет 15−20%.

Использование разработанного комплекса программ расчета основных показателей надежности ППООН по статистически неоднородным данным дает возможность оперативно, в режиме реального времени, провести исследования надежностных свойств ППООН с учетом реальных режимов и условий функционирования, спланировать проведение испытаний и провести уточнение технических условий и другой нормативно-технической документации.

Проведение уточнения показателей надежности ППООН по эксплуатационным данным с учетом реальных режимов и условий функционирования позволяет получать более реальную информацию о надежностных свойствах ППООН и, используя информацию об интервальных оценках, более обоснованно корректировать процессы разработки и эксплуатации, а также вносить изменения в производственно-технологическую документацию на последующие серии с целью снижения количества отказов (в некоторых случаях на 30 -40%). щ.

ЗАКЛЮЧЕНИЕ

.

В ходе решения научной задачи, состоящей в разработке математических методов оценки показателей надежности прикладного программного обеспечения информационных систем образовательного назначения и имеющей в современных условиях широкого внедрения информационных и коммуникационных технологий в сферу образования высокую актуальность, в диссертации были получены следующие результаты.

1. На основе комплексного анализа существующих математических моделей надежности ППООН были установлено, что имеющиеся модели или дают недопустимо низкую точность оценки или же адекватны только узкому классу программ. Поэтому были разработаны мозаичные модели в байесовском классе моделей надежности. Разработанные модели позволяют повысить точность вычислений на 30 — 40% при оценке ПН ППООН. Эти модели учитывают специфику ППООН, а именно, то что, во-первых, том, что в силу его функциональной неотъемлемости от ИСОН для получения интегральной оценки надежности такой системы и у программных и аппаратных модулей необходимо оценивать одинаковые (идентичные по сущности) показатели надежности, а, во-вторых, в непостоянстве интенсивности модификаций ППООН. Рост точности оценки интегрального показателя надежности ИСОН составляет 15 — 20%,.

2. Разработаны мозаичные модели, которые позволяют получить оценку вероятности безотказной работы для этапов разработки и эксплуатации ППООН. Для этапа разработки были разработаны дискретные модели, а для этапа эксплуатации — однородные и неоднородные модели. С помощью однородных непрерывных моделей оценивается вероятность безотказной работы ППООН в случае, когда последовательность случайных моментов времени, в которые осуществляется модификация ППООН, представляет собой однородный пуассоновский точечный процесс. Эта ситуация возникает в случае эксплуатации ППООН в стационарном режиме, когда постоянно идет сбор данных по его отказам. Использование же неоднородных непрерывных моделей позволяет оценить вероятность безотказной работы ППООН в случае, когда интенсивность процесса модификации ППООН непостоянна, т. е. точки на временной 4 оси, в которые осуществляются модификации, образуют дважды стохастический пуассоновский точечный процесс (процесс Кокса). Подобная ситуация имеет место при использовании ППООН на комплексах с ограниченным временем доступа персонала.

3. Предложена методика оценки показателей надежности на основе разработанных моделей для этапов разработки и эксплуатации. Данная методика позволяет учесть специфику конкретного образца ППООН и характерные особенности распределения временных интервалов между отказами ППООН. Адаптация моделей под конкретный тип ППООН производится путем оценки первоначальной вероятности безотказной работы и параметризации коэффициентов, определяющих математическое ожидание и дисперсию распределения.

4. С учетом разработанных методик, моделей и алгоритмов созданы основы информационного и специального программного обеспечения для оценки показателей надежности ППООН на различных этапах его эксплуатации. Использование разработанного АРМ позволяет сократить время расчетов на 30%.