ISSN 2305-5626. Вестник МГТУ им. Н.Э. Баумана: электронное издание. 2013
5
Определение параметров модели
.
Рассмотрим, как, имея целе-
вой функционал, определить параметры модели (веса и смещения
нейронов).
1.
Квадратичная функция штрафа
.
Пусть
2
( )
( 1)
p
h x = C x
−
, где
C
p
— коэффициент штрафа.
Замечание 3. Это неудачная функция, так как штрафуем дву-
кратное покрытие так же, как и непокрытие.
Замечание 4. Квадратичная функция широко используется в ста-
тьях, так как позволяет получить удобные аналитические выражения.
Раскрывая (3) и приравнивая к (4), получаем веса и смещения:
1
;
2
n
p
jk
ij ik
i=
C
w =
a a
−
∑
(5)
1
1 1
1
2
.
2
n
n n
j
j
p
jk
p
ik ij
k=
k= i=
I = c – C a +C a a
⎛
⎞
− ⎜
⎟
⎝
⎠
∑ ∑∑
(6)
Отметим, что
ij
ji
w = w
, но
0,
ii
w
≠
это является необходимым усло-
вием устойчивости работы сети [20] (в случае
0
ii
w
≠
возможна ос-
цилляция сети). Для того чтобы это компенсировать, можно изменить
условие остановки процесса оптимизации с учетом возможных ос-
цилляций.
2.
Разрывная функция штрафа
.
Пусть теперь
[
]
( )
0
p
h x = C x =
, где
C
p
— коэффициент штрафа.
Проблема с данным функционалом заключается в том, что он разрывен
и напрямую получить выражение для параметров модели не удается.
Эту проблему можно решить двумя способами:
1) использовать непрерывную аппроксимацию, например
ˆ ( )
1 exp( )
p
C
h x =
+ x
α
, а для получения выражений параметров сети рас-
кладывать получившийся целевой функционал в ряд Тейлора в теку-
щей точке. Поскольку текущая точка постоянно изменяется, разло-
жение потребуется постоянно пересчитывать, что негативно влияет
на быстродействие. К тому же разложение корректно в небольшой
окрестности текущей точки, а движение осуществляется по верши-
нам гиперкуба;
2) модифицировать механизм активации нейронов — использовать
идею, похожую на машину Больцмана. В нейроне будем принимать
решение не пороговым правилом на основе локального потенциала
1
,
n
ij i
j
i=
w x
− θ
∑
а считать целевые функционалы для разных состояний
1,2,3,4 6,7,8,9,10