11 / 15
Интервальные доверительные оценки для показателей качества…
11
и
( )
( )
G B
F z
имеет порядок 1/
N
. Поэтому для оценки
( )
( )
G B
F z
довери-
тельным
интервалом
с
уровнем
доверия
1
является
( )
( )
1
1
( )
,
( )
V
L
G B N
G B N
F z
F z
N
N
.
С помощью
( )
( )
G B N
F z
строится оценка
1
( )
( )
N
BN GN
ROC z F F z
,
а с помощью
( )
( )
L V
G B N
F
— верхняя и нижняя доверительные оценки
1
( )
( ) ( ) ;
L
L
L
N
GN BN
ROC z F F z
1
( )
( ) ( ) ,
V
V
V
N
GN BN
ROC z F F z
которые составляют доверительную полосу для функции
( )
ROC z
с заданным уровнем доверия
1
.
Аналогично по оценке
( )
N
ROC z
определяется оценка
,
N
AUC
а по
,
V
L
N
N
ROC ROC
строятся
,
V
L
N
N
AUC AUC
— верхняя и нижняя гра-
ницы доверительного интервала для AUC:
1
1
0
( )
(
) ( ) ;
L
L
L
N
GN BN
AUC z
F F z dz
1
1
0
( )
(
) ( ) .
V
V V
N
GN BN
AUC z
F F z dz
Заключение.
В работе для случая малых выборок построены дове-
рительные интервалы для ROC-кривых и показателя AUC с использо-
ванием связи полиномиального распределения с условным распределе-
нием независимых пуассоновских случайных величин. Указанные до-
верительные интервалы могут применяться для доверительного
оценивания характеристик бинарных классификаторов в автоматизиро-
ванных процедурах контроля качества продукции в случае малого числа
наблюдений, когда асимптотические доверительные интервалы имеют
большую погрешность.
Автоматизированные процедуры выявления дефектов и контроля
качества продукции повышают уровень качества выпускаемой
продукции в связи с сокращением времени обработки, снижением
трудозатрат при анализе образцов и уменьшением количества субъ-
ективных ошибок по сравнению с «ручным» контролем качества
операторами. Предлагаемые в статье доверительные интервальные
оценки для показателей качества бинарных классификаторов (ROC,
AUC и др.) позволяют повысить надежность и эффективность этих
автоматизированных процедур.