Интервальные доверительные оценки для показателей качества бинарных классификаторов

УДК 519.233.24

Интервальные доверительные оценки для показателей

качества бинарных классификаторов — ROC-кривых,

AUC для случая малых выборок

АО «Банк ЗЕНИТ», Москва, 127566, Россия

На основе представления полиномиального распределения как условного совмест-

ного распределения независимых пуассоновских случайных величин получены дове-

рительные интервалы для эмпирических функций распределения, построенных по

группированным данным. Оценки доверительных границ далее применяются при

построении доверительных интервалов для ROC-кривых. Указанные оценки могут

быть использованы в автоматизированных процедурах контроля качества про-

дукции при обнаружении и идентификации несплошностей, аномалий в структуре

конструкционных материалов и их элементов, для повышения надежности и эф-

фективности этих процедур при малых объемах выборок.

Ключевые слова:

доверительные интервалы, эмпирические функции распределе-

ния, полиномиальное распределение, пуассоновское распределение, ROC-кривая,

бинарный классификатор.

Введение.

В работе представлен подход к построению довери-

тельных границ для показателей качества бинарных классификато-

ров — ROC-кривых и связанных с ними характеристик (AUC, AR,

CAP [1, 2]) для случая малых выборок. Предложены оценки довери-

тельных границ для эмпирических функций распределения на основе

группированных данных с использованием точных доверительных

интервалов для пуассоновского распределения [3–6]. На основе этих

оценок построены доверительные границы для ROC-кривых и свя-

занных с ними характеристик [7–9].

Оценки показателей качества классификации могут быть исполь-

зованы в автоматизированных процедурах выявления дефектов, ос-

нованных на обработке визуальной информации, которая поступает в

ходе неразрушающего контроля (например, в автомобильной про-

мышленности — снимки структуры отливок металла для выпуска ав-

тодеталей, полученные с применением компьютерной томографии,

и т. п. [10–13]). Основой автоматизированных процедур контроля ка-

чества являются алгоритмы, реализующие бинарные классификато-

ры. По этим алгоритмам определяют наличие или отсутствие дефек-

тов на основе анализа снимков структуры образцов продукции. Ис-

пользование предлагаемых в статье доверительных оценок для

показателей качества (ROC-кривых и связанных с ними характери-