Таким образом, автоматическая генерация тестов, выигрывая прак-
тически по всем частным критериям, существенно отстает по времен-
ным характеристикам, в результате чего оказывается наихудшим из
рассмотренных способов генерации тестов по критерию
q
2
(
табл. 1).
Таблица 1
Результаты сравнения методов генерации тестов
Вид генерации
c, %
t
,
с
η
e
q
1
q
2
Случайная
60
11,3 0,051 21 0,271 293,814
Граничные значения
85
3,1 0,734 36 20,126 1798,537
Структурная генерация 94 217,97
1
47 0,43
8,409
Общее значение
94 232,37 0,123 47 0,513 85,422
Помимо мультипликативного критерия качества для сравнения
способов генерации тестов применяется мутационный критерий. Из-
начально все тестовые модели приводятся к состоянию, в котором
используемые методы генерации входных параметров не обнаружива-
ют ошибок в работе моделей. Затем в программы вносятся ошибки —
мутации, для каждой одной мутации строится отдельная програм-
ма — мутант. Показателем качества является число обнаруживаемых
мутантов (табл. 2).
Таблица 2
Сравнение методов генерации тестов (обнаружение ошибок)
Вид генерации
Ошибок
выполнения
Нарушений условий
корректности
Всего
Случайная
14
7
21
Граничные значения
25
11
36
Автоматическая генерация
33
14
47
В результате проделанной работы был разработан метод провер-
ки алгоритмов, реализующий программный комплекс. Сравнение раз-
работанных и существующих способов генерации данных показало
улучшение времени проверки за счет уменьшения числа проводимых
тестов, но при этом обеспечивающего полноту покрытия кода.
Проведенные исследования позволили:
1)
установить глубину абстракции, после которой не происходит
существенного повышения числа найденных ошибок. Полученный ре-
зультат используется в методе как первая оценка при поиске достаточ-
ного уровня абстракции, что позволяет значительно сократить время
структурной генерации;
ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. “Приборостроение”. 2012
77
