для случая, когда наблюдаемый случайный процесс порожден нена-
блюдаемыми состояниями:
P
(
X
=
x
) =
k
X
i
=1
P
(
X
=
x
|
C
=
i
)
P
(
C
=
i
)
,
где
P
(
X
=
x
)
— вероятность появления значения
X
случайной вели-
чины
x
;
P
(
X
=
x
|
C
=
i
)
— условная вероятность того, что значение
X
порождено состоянием
C
=
i
;
P
(
C
=
i
)
— вероятность возникновения
состояния
C
=
i
.
Для дальнейшей аппроксимации необходимо провести оценку па-
раметров распределений
p
1
, . . . , p
k
, а также оценить вероятности по-
явления компонентов
w
1
, . . . , w
k
и число компонентов
k
. Оценку па-
раметров смеси распределений проведем по методу максимального
правдоподобия [8, 9, 15]. В общем случае функция правдоподобия
модели смеси
m
компонентов выглядит следующим образом:
L
(
θ
1
, . . . , θ
k
, w
1
, . . . , w
k
|
x
1
, . . . , x
m
) =
m
Y
j
=1
k
X
i
=1
w
i
p
i
(
x
j
, θ
i
);
здесь
θ
1
, . . .
,
θ
k
— векторы параметров распределений компонентов;
w
1
, . . . , w
k
— вероятности появления компонентов смеси:
k
X
i
=1
w
i
= 1
;
x
1
, . . . , x
m
— наблюдения размером
m
. В дальнейшем будем обозначать
совокупность всех параметров смеси через
Ξ =
{
Θ
, w
}
= (
θ
i
, w
i
)
k
i
=1
.
При условии, что функции распределения компонентов смеси за-
даны параметрически
p
i
(
x
) =
p
(
x
|
θ
i
)
,
i
= 1
, . . . , k
, необходимо решить
задачу максимизации функции правдоподобия
Ξ
ML
:
Ξ
ML
=
arg
max
Ξ
p
(
X
|
Ξ) =
arg
max
Ξ
m
Y
j
=1
p
(
x
j
|
Ξ)
.
Переходя к логарифму правдоподобия, получаем следующую задачу
условной оптимизации:
L
(
X,
Ξ) = log
p
(
X
|
Ξ) =
m
X
j
=1
log
k
X
i
=1
w
i
p
(
x
j
|
θ
i
)
→
max
Ξ
L
(
X,
Ξ)
,
k
X
i
=1
w
i
= 1
, w
i
≥
0
, i
= 1
. . . k.
Приведенный функционал имеет вид “логарифм суммы” и сло-
жен для прямой оптимизации. Наиболее распространенным путем ре-
шения этой задачи является применение ЕМ-алгоритма [16, 18, 19].
ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. “Приборостроение”. 2012
141
1,2,3,4,5,6,7,8 10,11,12,13,14,15,16,17,18,19,...20