Вывод элемента
nj=
е
j 
 xiwij
(1)
Квадрат ошибки
Ep = 1
2
е
j 
 (tj - oj)2
(2)
Для функции активации выходом является
oj=f(nj)
(3)
Разыскивая минимум (2), найдем производную
E
wij
 = E
oj
 oj
nj
 nj
wij
(4)
Согласно (2)
E
oj
 = - (tj - oj)
(5)
Очевидно,
oj
nj
 = f ў(nj)
(6)
Из (1) следует
nj
wij
 = xi
(7)
В результате
E
wij
 = -(tj - oj)f ў(nj)xi
Обозначим
dj = (tj - oj)f ў(nj)
Изменение веса идет в направлении противоположном производной на поверхности ошибки
Dwij = hdj xi,
где h - норма обучения (эмпирический коэффициент). Для сигмоида
o = f(n) = 1
1+exp(-n)

Функция активации
имеем
f ў(n) = 1
1+exp(-n)
 ж
и 		1 - 1
1+exp(-n)
 ц
ш 		= f(n)(1-f(n))=o(1-o)
Пример
Пример, c. 75
Ошибка выхода (3-го слоя)
d5 = (0.900 - 0.288)0.288(1-0.288) = 0.125
Ошибки 2-го слоя
d4ў = 0.125·3 = 0.375

d3ў = 0.125·1 = 0.125
Фактические ошибки второго слоя (с учетом выходных значений второго слоя 0.122 и 0.728)
d4 = d4ў0.122·(1-0.122) = 0.040

d3 = d3ў0.728·(1-0.728) = 0.025
Для 1-го слоя
d2ў = 0.040·(-2) + 0.025·2 = - 0.030

d1ў = 0.040·(-4) + 0.025·2 = - 0.110
Фактические ошибки первого слоя (с учетом выходных значений первого слоя 0.5 и 0.993)
d2 = d2ў0.5·(1-0.5) = - 0.007

d1 = d1ў0.993·(1-0.993) = -0.001
Вводим норму обучения h = 0.8 и по формуле (7) получаем новые веса первого слоя
-2 + 0.8·d2·0.1 = -2.001,

-2 + 0.8·d2·0.9 = -2.005,

3 + 0.8·d1·0.1 = 2.999,

3 + 0.8·d1·0.9 = 2.999.
Смещение имеет сигнал 1:
2 + 0.8·d1·1 = 1.994,

2 + 0.8·d2·1 = 1.994.
Аналогично находим веса второго и третьего слоя. С новыми весами выполняем 2-й прямой проход.


File translated from TEX by TTH, version 3.64.
On 23 Sep 2005, 07:43.