Методы и средства интегральной оценки тестированности программного проекта, позволяющие управлять процессом разработки тестов

В последние годы принципиально изменилась роль программных средств для ЭВМ, что позволило квалифицировать их как продукцию производственно-технического назначения. Это привело к необходимости создания эффективных методов достижения заданного качества программного продукта и его оценки.

Понятие качества программного обеспечения (ПО) является комплексным и включает в себя целый ряд различных показателей. В данной работе под основным показателем качества ПО будет принято количество невыявленных, оставшихся в поставляемом программном продукте ошибок, приведенное к объему проекта в операторах исходного кода [46, 51]. Этот показатель также называется плотностью, или количеством ошибок на единицу объема проекта.

Высокое качество ПО может быть достигнуто в результате применения передовых технологий в ходе проектирования и разработки, предотвращающих возникновение ошибок, («пассивными» методами [21]) и выявлением и устранением ошибок («активными» методами [21]).

Методы предотвращения ошибок основываются на применении организационных и методологических правил проектирования ПО. Эти правила определяют организацию технологического процесса проектирования, построение программного проекта и его компонент, методологию проведения системного анализа, подготовку спецификаций требований и т. д. Однако соблюдение всех методов данного спектра, хотя и способствует значительному повышению качества ПО, но не может гарантировать удовлетворение всех заданных требований к программному продукту, а главное, не полностью предотвращает ошибки. При этом ошибки преимущественно являются не столько результатом некачественного концептуального решения, неряшливого программирования, упущений на этапе отладки или нестабильной работы окружения системы, скорее это следствие невозможности достаточного контроля свойств и поведения продукта в процессе проектирования и разработки.

Активные методы поиска и устранения ошибок в процессе достижения заданного качества ПО дополняют пассивные методы и позволяют оценивать ряд показателей качества. Основным активным методом является тестирование.

Тестирование — это процесс функционирования системы или компоненты в заранее определенных условиях, записи и анализа результатов функционирования и оценки свойств системы или компоненты (стандарт IEEE Std 610.12−1990, [52]). Существует множество различных определений тестирования [4, 21, 23, 26, 37, 52, 57, 72], но существенно важным является факт, что лишь тщательное тестирование в соответствии с приемочным критерием снижает как вероятность фатального сбоя в процессе эксплуатации, так и количество оставшихся в программе мелких погрешностей. На проведение тестирования при создании сложных программных проектов требуется до 30−40% полных трудовых затрат и от эффективности его выполнения в значительной степени зависят трудоемкость и сроки создания программ.

Чтобы процесс тестирования был эффективным, он должен быть задокументированным и повторяемым, а его результаты должны подвергаться систематической проверке. Для достижения заданного качества при тестировании ПО также требуется наличие инструментальной и методологической базы для проектирования тестового комплекта и автоматизации его прогона. В данной работе описывается подход к построению численной оценки тестированности ПО, которая может служить одной из метрик общей оценки качества программного продукта.

Цель работы — создать методику интегральной оценки тестированности программного проекта, предоставляющую возможность управления качеством создаваемого продукта, и разработать инструментальные средства поддержки процесса тестирования, а также исследовать результаты применения данной методики на реальных проектах.

Для достижения цели в работе поставлены следующие задачи:

1. Анализ существующих инструментальных средств тестирования ПО и выбор требований к таким системам.

2. Описание графовой модели программы (ГМП), написанной с использованием техники объектно-ориентированного программирования (ООП).

3. Разработка методики определения интегральной оценки тестированности программного проекта. Оценка тестированности должна опираться на соответствующий математический аппарат, отражающий суть разработанной ГМП, иметь численное выражение, оцениваемое с точностью до зафиксированного уровня структуры программы и изменяющееся в фиксированных пределах от 0 до 1. Инкрементальные изменения в тестах должны получать отражение в интегральной оценке тестированности проекта.

4. Разработка методики управления процессом проектирования тестов путем идентификации участков, непокрытых тестами, а также ранжирования охваченных тестами путей по классам значимости в интегральной метрике с использованием результатов, достигнутых в ходе решения предыдущей задачи.

5. Создание инструментария, поддерживающего процесс автоматизации тестирования.

6. Применение предложенных методик и инструментального пакета при тестировании нескольких программных проектов.

Основные результаты работы докладывались и обсуждались на семинарах СПИИРАН (Санкт-Петербург), кафедры «Информационные и Управляющие Системы» СПбГТУ, а также на симпозиуме по моделированию в Финиксе, США.

По материалам диссертационной работы опубликовано 7 печатных работ, одна из которых находится в печати.

Практические результаты, полученные в ходе работы, подтверждают успешность решения задач, поставленных в диссертационной работе.

ЗАКЛЮЧЕНИЕ

.

На защиту выносится:

1. Формальная классовая модель программного проекта в аппарате теории графов.

2. Интегральная оценка тестированности программного проекта.

3. Методика проведения тестирования программного проекта, позволяющая управлять процессом разработки тестов.

4. Возможность управления качеством ПО при использовании предложенной методики проведения тестирования.

В работе была поставлена цель: создать методику интегральной оценки тестированности программного проекта, предоставляющую возможность управлять качеством создаваемого продукта, и инструментальные средства поддержки процесса тестирования, а также исследовать результаты применения данной методики на реальных проектах.

Для достижения цели в работе были решены следующие задачи:

1. Проанализированы существующие инструментальные средства тестирования ПО и выбраны требования к таким системам.

2. Описана ГМП, ориентированная на проекты, использующие технику ООП.

3. Разработана методика определения интегральной оценки тестированности программного проекта. Оценка тестированности опирается на математический аппарат, отражающий суть разработанной ГМП, имеет численное выражение, оцениваемое с точностью до зафиксированного уровня структуры программы и изменяющееся в пределах от 0 до 1. Инкрементальные изменения в тестах получают отражение в интегральной оценке тестированности проекта.

4. Разработана методика управления процессом проектирования тестов путем идентификации участков, непокрытых тестами, а также ранжирования охваченных тестами путей по классам значимости в интегральной метрике с использованием результатов, достигнутых в ходе решения предыдущей задачи.

5. Создан инструментарий, поддерживающий процесс автоматизации тестирования.

6. Предложенные методики и инструментальный пакет применены при тестировании нескольких программных проектов.

Полученные в ходе работы основные результаты:

1. Проведен обзор существующих инструментальных средств тестирования ПО. На основе анализа данных средств сформулированы соответствующие требования к САЭЕ-системам автоматизации тестирования программ.

2. Определены недостатки существующих САБЕ-систем автоматизации тестирования программ, написанных на ООЯП. Эти недостатки относятся к области структурного тестирования программ данного класса.

3. Выполнено теоретическое обоснование предложенных в работе методов и средств интегральной оценки тестированности программного проекта:

— проведено исследование механизма взаимодействия элементов программ, написанных на ООЯП;

— предложена в качестве ГМП классовая модель программного проекта, являющаяся формальной моделью представления подобных программ в аппарате теории графов;

— дана интегральная оценка тестированности программного проекта для данной ГМП на основе математического аппарата, отражающего физический смысл формальной модели;

— сформулированы свойства предложенной оценки — инкрементальные приращения в тестах отражаются в общей оценке, при этом численное выражение получается с точностью до зафиксированного уровня структуры программы и изменяется в пределах от 0 до 1.

4. Разработана методика определения интегральной оценки тестированности программного проекта.

5. Разработана методика управления процессом построения тестов для достижения требуемого уровня тестированности.

6. Разработана методика управления качеством ПО по нескольким направлениям:

— ранжирование элементов программы по частоте использования и определение критических участков программы;

— идентификация неоттестированных участков программы;

— диагностика «медленных» алгоритмов.

7. Создан программный комплекс автоматизации тестирования, реализующий на практике теоретические положения работы. Разработанный профайлер языка Тс1 является ядром прототипа САБЕ-системы автоматизации тестирования для получения программных продуктов высокого качества.

8. Определена методика проведения тестирования программных проектов с использованием разработанных программных средств.

9. Проведено тестирование трех программных проектов средней сложности с использованием разработанных программных средств и методики по их применению.

10. Подтверждены на основе анализа результатов выполненного на практике тестирования работоспособность и эффективность разработанных методов и средств интегральной оценки тестированности программного проекта.

Практическая ценность работы заключается в разработке методики проведения тестирования программных проектов, дающей высокую эффективность работ и возможность управления качеством ПОсоздании прототипа программного комплекса автоматизации тестирования, реализующего предложенный подходпрактическом подтверждении постулированных в работе положений во время тестирования трех программных проектов. Внедрение разработанных методов и средств позволило снизить трудоемкость фазы тестирования ПО и улучшить качество выпускаемого программного продукта.

Определена рекомендуемая область применения разработанных методов и средств — программные продукты с развитым графическим интерфейсом, реализующим вычисления по корректным алгоритмам. Определены ограничения на применение для программ, в работе которых используется динамическое взаимодействие нитей (тиШШгеаёз), а также для программ, работающих в реальном режиме времени — из-за снижения скорости работы при инструментировании исходного кода.

Разработанные методы и средства интегральной оценки тестированности программного проекта внедрены в НПФ «Юпитер» (Санкт-Петербург), ЗАО «Северо-Западная Лаборатория» (Санкт-Петербург) и в учебном цикле «Технология программирования» кафедры «Информационные и Управляющие Системы» СПбГТУ.

Общий объем разработанного ПО, вошедшего в программный комплекс автоматизации тестирования, составил около 15 500 строк исходного кода на языке Tcl/Tkобъем документации на разработанное ПО — более 150 страниц.