Метод и средства автоматизации тестирования интерфейса программирования приложения

Актуальность темы

В настоящее время необходимость систематизированного тестирования в промышленной разработке программного обеспечения (ПО) общепризнанна и неоспорима. Традиционные методы разработки тестов вручную уже не могут обеспечить качественное тестирование современных программных систем. Появляется все большее число методик автоматизации и инструментальных средств, направленных на повышение качества и сокращение ресурсозатрат на тестирование ПО. Недостаточно хорошо проведенное тестирование может нанести серьезный урон проекту в целом. Устранение ошибки на стадии сопровождения готового ПО обходится в среднем в 200 раз дороже, чем на стадии определения требований, а в результате позднего выявления ошибок общий бюджет проекта возрастает на 30−40% [1].

Однако в большинстве случаев тестируемое ПО связывают с наличием в нем графического интерфейса пользователя, которое служит медиатором, преобразующим тесты в реальные входные воздействия на целевое приложение, и представляющим результаты в удобной для восприятия форме. Зачастую при этом остается без должного внимания целый класс ПО, предоставляющий доступ к своей функциональности лишь посредством программного интерфейса (интерфейса программирования).

Под интерфейсом программирования приложения (Application Programming Interface, API) понимается набор готовых классов, процедур, функций, структур и констант, предоставляемых приложением (библиотекой, сервисом) для использования во внешних программных продуктах[2]. Детали реализации API при этом, как правило, скрыты. Помимо понятия «интерфейс программирования приложения» в литературе встречаются термины ."прикладной программный интерфейс"[3], «интерфейс прикладного программирования"^], которые являются синонимами. Примерами API могут служить библиотеки функций (COM DLL, .NET assembly), webсервисы, встроенные средства программирования приложений (YBA б MS Office).

Тестирование API обладает рядом особенностей, которые необходимо учитывать при автоматизации. Вокруг интерфейсных методов отсутствует графическая или иная оболочка, позволяющая осуществлять тестовые воздействия и получать результаты этих воздействий. Такую оболочку необходимо создавать отдельно, что приводит к дополнительным затратам ресурсов на тестирование.

Данные для обработки поступают в методы интерфейса посредством передачи их через один или несколько входных параметров. В качестве входных параметров могут использоваться как простые типы данных (целые или вещественные числа, строки, логические значения и т. д.), так и сложные, полученные, как правило, в результате работы других методов. Даже для простых параметров число их возможных значений слишком велико, чтобы проверить работу метода для каждого из них за разумное время. Необходимо выбрать небольшой набор перспективных в плане поиска дефектов значений для каждого из параметров, чтобы протестировать максимум функциональности метода. Кроме того, часть функциональности может зависеть не от каждого параметра в отдельности, а от их комбинации.

Зачастую методы интерфейса оперируют данными сложного типа в качестве параметров. Эти данные не могут быть созданы напрямую, а должны быть получены в результате работы других методов. Например, в JavaScript API карт от Google[5] имеется интерфейсный метод Geocoder. geocode (.), принимающий в качестве параметра сложный объект GeocoderRequest. Объект GeocoderRequest создается отдельным методом-конструктором, при этом для создания этого объекта необходимо создать и передать конструктору сложные объекты LatLng и LatLngBounds. Таким образом, не всегда возможно независимое тестирование интерфейсных методов, необходимо уметь строить последовательности вызовов. Причем промежуточный результат должен быть пригодным для успешного вызова последующего метода в последовательности.

Наиболее простые из известных подходов к автоматизации функционального тестирования интерфейса программирования используют идеи и инструментарий модульного тестирования. Однако в таком случае автоматизируется лишь этап выполнения тестов. Последовательности вызовов интерфейсных функций и код проверки корректности результатов работы приходится записывать вручную, что приводит к большим затратам временных ресурсов. Кроме того, качество такого тестового набора напрямую зависит от квалификации тестировщика и может содержать недостаточно перспективных сценариев.

В последнее время определенный прогресс в автоматизации тестирования API достигнут в исследованиях в области моделирования программного обеспечения. Модели позволяют унифицировано описать структуру и функциональные требования к системам, а, значит, имеется возможность их обработки формальными методами. Вопросы применения моделей ПО для тестирования освещены в работах B. Beizer [15], H. Robinson [29], J. Whittaker [35] и других. Наиболее успешными технологиями, использующими идеи моделирования ПО для автоматизации тестирования, являются разработанная в Институте системного программирования РАН технология UniTESK [57, 58] и разработанная группой Microsoft Research технология AsmL [66, 67].

Однако существующие технологии тестирования на основе моделей не позволяют существенно снизить трудоемкость разработки тестов. Саму модель системы, критерии тестового покрытия, наборы функциональных требований, оракулы, медиаторы, связывающие модель с реальной системой, приходится описывать вручную на языках программирования. Сложность такого описания сравнима с ручной записью тестов, качество тестирования при этом все еще существенно зависит от квалификации тестировщика.

В существующих технологиях не учитывается тот факт, что повысить степень автоматизации при построении модели интерфейса программирования и генерации тестов можно за счет анализа уже существующей спецификации интерфейса, полученной на этапе проектирования системы.

Таким образом, актуальной проблемой является разработка методов тестирования интерфейсов программирования приложений, обеспечивающих автоматизацию построения, выполнения и анализа результатов тестов с использованием существующей информации об интерфейсе. При этом должна быть обеспечена генерация параметров интерфейсных функций в виде объектов как простой, так и сложной структуры, получаемых путем вызова других интерфейсных функций. Кроме того, построенная цепочка вызовов интерфейсных функции должна быть корректна и не нарушать связей в структуре интерфейса программирования.

В данной работе исследуются вопросы использования спецификации интерфейса программирования для автоматического построения модели системы и последующей генерации набора тестов. Применение спецификации для построения модели и генерации тестов требует решения ряда специфических задач, которые представлены в данной диссертационной работе и учитывают особенности тестирования интерфейса программирования приложения.

Объект исследований. Объектом исследования являются методы автоматизации тестирования интерфейса программирования приложения на основе модели, а также программные средства автоматизации тестирования на основе программных интерфейсов.

Целью настоящей работы является сокращение трудоемкости тестирования интерфейса программирования приложения.

Методы исследований. При выполнении данной работы использовался аппарат теории графов, теории моделирования систем, теории формальных спецификаций, методов тестирования на основе модели программного обеспечения.

Научная задача, решаемая в диссертации, — создание метода и алгоритмов универсальной среды тестирования программных интерфейсов, обеспечивающей сокращение трудоемкости тестирования АР1-интерфейсов.

Для достижения поставленной цели в диссертации решаются следующие задачи:

1) Провести анализ известных подходов к автоматизации тестирования интерфейса программирования приложения.

2) Разработать унифицированную модель интерфейса программирования приложения с расширением для формальных функциональных требований.

3) Разработать алгоритм автоматического построения унифицированной модели интерфейса на основе спецификации.

4) Разработать алгоритм обхода модели для генерации тестов.

5) Разработать алгоритм оптимизации тестов.

6) Разработать совокупность программных средств, объединенных в универсальную среду тестирования программных интерфейсов приложений.

7) Провести экспериментальные исследования и апробацию разработанного метода.

Научная новизна диссертации состоит в том, что в ней:

1) Разработана унифицированная модель интерфейса программирования, отличающаяся возможностью представления структуры интерфейса и функциональных требований на основе модифицированного метода контрактных спецификаций в рамках единого типа данных.

2) Разработан метод автоматизации тестирования интерфейса программирования приложения, отличающийся автоматизацией процесса построения модели АР1-интерфейса с расширением функциональными требованиями по его спецификации и этапа генерации кода тестов.

3) Впервые разработан алгоритм построения унифицированной модели, отличающийся наличием процедур разбора спецификации интерфейса, заданной в терминах ГОЬ, ЦМЬ или .1ЧЕТ-библиотеки.

4) Разработан алгоритм обхода унифицированной модели интерфейса программирования, выполняющий автоматическую генерацию тестов в виде последовательности вызовов интерфейсных методов и условий проверки функциональных требований, отличающийся наличием параметров обхода, позволяющих гибко управлять степенью тестового покрытия модели.

5) Разработан алгоритм оптимизации тестов, отличающийся от известных способом выполнения оптимизации путем статического анализа тестового набора без изменения степени тестового покрытия.

Практическая ценность. В диссертации решена важная научная задача, заключающаяся в создании метода и алгоритмов автоматизации тестирования интерфейсов программирования приложений, позволяющего в сравнении с другими методами тестирования АР1-интерфейсов в 1,5−1,8 раза сократить временные затраты за счет автоматического построения модели на основе спецификации АР1 и генерации тестов с трансляцией в код без снижения качества тестового набора.

Практическая ценность работы подтверждается эффективностью применения предложенного метода и алгоритмов для тестирования программных библиотек макета корреляционно-экстремальной системы навигации в рамках научно-исследовательской работы № 12 405−8/533 «Исследования и разработка методов и средств высокоточного определения местоположения маневренных объектов по стереоскопическим изображениям местности и топогеодезической информации» (шифр* «Аксиома-ЮФУ»), что позволило сократить временные затраты на 65−75%.

Практическую ценность представляют разработанные программные модули разбора спецификаций API, построения модели API, обхода модели, генерации тестов, оптимизации тестов, объединенные в универсальную среду тестирования программных интерфейсов APITest.

Данная работа представляет интерес для ее использования в одном из этапов совершенствования и повышения эффективности производственных процессов разработки программного обеспечения за счет сокращения ресурсозатрат, увеличения качества тестирования, снижения итоговой стоимости разработки. Программная реализация разработанного метода может быть полезна как сторонним организациям, которые занимаются тестированием программных компонент с закрытым кодом, так и разработчикам ПО для самостоятельной верификации разрабатываемых программных классов.

Апробация работы. Результаты работы докладывались и обсуждались на Международных, Всероссийских и региональных научно-технических конференциях, в том числе на:

1) II Международной научно-практической Интернет-конференции «Инновационные подходы к применению информационных технологий в профессиональной деятельности», Белгород, 2010.

2) VII Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых «Молодежь и современные информационные технологии», Томск, 2009.

3) VII Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования», Таганрог, 2010.

4) II Ежегодной Всероссийской научно-практической конференции с международным участием «Перспективы развития информационных технологий». Новосибирск, 2010.

5) Всероссийской научно-технической конференции аспирантов, студентов и молодых ученых «Информатика и вычислительная техника — 2010». Ульяновск, 2010.

Достоверность полученных в диссертации результатов подтверждается разработкой действующей программной системы для автоматизации функционального тестирования АР1Тез1, проведенными экспериментальными исследованиями, а также апробацией научных результатов на международных и всероссийских конференциях.

Публикации. Результаты, полученные в диссертации, нашли отражение в 12 печатных работах, среди них 7 статей (2 статьи в журналах перечня ВАК) и 1 свидетельство об официальной регистрации программы для ЭВМ № 2 010 617 638 «Программа автоматизации функционального тестирования интерфейса программирования приложения АРГГезЪ).

Структура работы. Материал основной части диссертационной работы изложен на 149 страницах. Диссертация состоит из введения, трех глав, заключения, списка литературы из 102 источников и приложений на 17 страницах.

3.4. Выводы.

1) Разработаны программные средства универсальной среды тестирования программных интерфейсов АР1Тез1, содержащие модули разбора спецификаций АР1, построения модели АР1, обхода модели, генерации тестов, оптимизации тестов.

2) Предложена методика проведения экспериментальных исследований разработанного метода автоматизации тестирования интерфейса программирования приложения.

3) Проведенные экспериментальные исследования влияния параметров обхода модели на качество тестов позволяют сделать вывод о предпочтительном использовании комбинации параметров «порождающее действие — перебрать все», «значения параметроввыбрать любое» для практического применения. Комбинация параметров «порождающее действие — перебрать все», «значения параметров — перебрать все» может быть использована для получения наилучших результатов в условиях наличия достаточных вычислительных ресурсов.

4) Исследования показали, что эффективность набора тестов может быть увеличена путем использования значений по умолчанию в доменах значений простых объектов. Кроме того, это позволяет избавиться от части ручного ввода перспективных в плане тестирования значений.

5) Полученные экспериментальным путем данные об эффективности оптимизации набора тестов свидетельствует о возможности сокращения исходного тестового набора до 1,5 раза без ухудшения качества.

6) Сравнительный анализ временных ресурсозатрат на получение тестовых наборов показал, что предложенный метод позволяет до 1,7 раз сократить временные затраты и до 3 раз уменьшить долю ручного труда по сравнению с другими модельными подходами за счет автоматического построения модели на основе спецификации АР1 и генерации тестов с трансляцией в код.

7) Проведенное формальное сравнение по критерию вводимых вручную строк кода разработанного метода с подходом на основе специализированных программ тестирования показывает, что использование системы АР1Тез1 с учетом времени на обучение работе с системой в 1,5−1,8 раз обеспечивает выигрыш в трудоемкости тестирования интерфейсных функций.

8) Апробация разработанного метода для автоматизации функционального тестирования программных библиотек макета корреляционно-экстремальной системы навигации позволила сократить временные затраты на 65−75% за счет автоматизации этапов построения модели, разработки и кодирования тестов.

ЗАКЛЮЧЕНИЕ

.

Основной научный результат диссертационной работы заключается в создании метода и алгоритмов универсальной среды тестирования программных интерфейсов, обеспечивающих сокращение трудоемкости тестирования API-интерфейсов.

При проведении исследований и разработок в диссертационной работе получены следующие теоретические и прикладные результаты.

1. Показано, что сокращение трудоемкости тестирования программных интерфейсов возможно за счет автоматического построения модели интерфейса на основе спецификации в формате IDL, UML или метаданных библиотеки .NET.

2. Для формализации функциональных требований к программному интерфейсу выбран метод контрактных спецификаций и выполнена его модификация, заключающаяся во введении спецификаций исключения, позволяющих выполнить проверку контракта в момент генерации исключения интерфейсной функции, а также во введении предикативных спецификаций, позволяющих определять разные контракты в одной точке теста.

3. На основе модифицированного метода контрактных спецификаций разработана унифицированная модель интерфейса программирования, позволяющая представить структуру интерфейса и функциональные требования в рамках единого типа данных.

4. Разработан метод автоматизации тестирования интерфейса программирования приложения, отличающийся автоматизацией процесса построения модели API-интерфейса с расширением функциональными требованиями по его спецификации и этапа генерации кода тестов.

5. Разработан алгоритм построения унифицированной модели, отличающийся наличием процедур разбора спецификации интерфейса, заданной в терминах ГОЬ, ИМЬ или метаданных ЛчГЕТ-библиотеки.

6. Разработан алгоритм обхода унифицированной модели интерфейса программирования, выполняющий автоматическую генерацию тестов в виде последовательности вызовов интерфейсных методов и условий проверки функциональных требований, отличающийся наличием параметров обхода, позволяющих гибко управлять степенью тестового покрытия модели.

7. Разработан алгоритм оптимизации тестов, отличающийся от известных способом выполнения оптимизации путем статического анализа тестового набора без изменения степени тестового покрытия.

8. Разработаны программные средства универсальной среды тестирования программных интерфейсов АР1Тез1: модуль разбора спецификаций АР1, модуль построения модели АР1, модуль обхода модели АР1, модуль генерации тестов, модуль оптимизации тестов.

Основные научные результаты диссертационной работы опубликованы в работах [14, 73, 74, 91, 92].

По результатам диссертационной работы получено свидетельство об официальной регистрации программы для ЭВМ № 2 010 617 638 «Программа автоматизации функционального тестирования интерфейса программирования приложения АРХТеБЪ).

Результаты диссертации использованы при выполнении научно-исследовательской работы № 12 405−8/533 «Исследования и разработка методов и средств высокоточного определения местоположения маневренных объектов по стереоскопическим изображениям местности и топогеодезической информации» (шифр «Аксиома-ЮФУ») для автоматизации тестирования программных библиотек макета корреляционно-экстремальной системы навигации и в учебном процессе по курсу.

Метрология и качество программного обеспечения", что подтверждается соответствующими актами и справками.

Все научные результаты, полученные при решении научной задачи создания метода и алгоритмов универсальной среды тестирования программных интерфейсов, обеспечивающих сокращение трудоемкости тестирования АР1-интерфейсов, получены автором лично.

Таким образом, в диссертации решена новая научная задача, которая является актуальной и имеет существенное научно-практическое значение. Внедрение полученных в диссертации результатов вносит значительный вклад в развитие разработки программного обеспечения.