АЛГОРИТМ НАВЧАННЯ ПРОЦЕДУРОЮ ЗВОРОТНОГО ПОШИРЕННЯ ПОМИЛКИ

Даний алгоритм використовує певну зовнішню ланку, що надає ШНМ, крім вхідних, і цільові вихідні образи, які створюються на попередньому етапі для кожного вхідного образу експертами. Тому такі алгоритми називаються алгоритмами навчання з учителем.

Оцінка реакції прихованих нейронів виробляється обчисленням зваженого значення помилки, знайденої для шару ефекторів. За вагову функцію використовують поточні значення ваги проекційних зв’язків, які йдуть від прихованих нейронів до ефекторів. Помилка немовби поширюється в зворотному діючому ззовні стимулу напрямку. Якщо прихованих шарів декілька перелік помилок наводять для кожного, починаючи з шару ефекторів.

Цільовою функцією помилки ШНМ, що мінімізується, є величина:

,(4.1)

де - реальний вихідний стан нейрона j вихідного шару N ШНМ при подачі на її входи р-ого образу; - ідеальний (цільовий) стан цього нейрона.

Підсумок ведеться за всіма нейронами вихідного шару і за всіма оброблюваними ШНМ образами. Мінімізація здійснюється за методом градієнтного спуску, тобто ваги модифікуються таким чином:

,(4.2)

де - ваговий коефіцієнт синапсу, що з’єднує і тий нейрон шару п-1 з j-тим нейроном шару п, η –коефіцієнт швидкості навчання (0<η<1). Похідну з (4.2) можна подати у вигляді:

,(4.3)

де - вихідний сигнал нейрона j, - зважена сума його вхідних сигналів (аргумент активаційної функції).

Очевидно, = .

вказує на те, що похідна активаційної функції за її аргументом повинна бути визначена по всій осі абсцис. (Наприклад, якщо за активаційну функцію взяти гіперболічний тангенс, то =1-s²).

,(4.4)

Тут підсумовування за k виконується серед нейронів шару (п+1)

Позначимо , тоді

.(4.5)

Для вихідного шару N

.(4.6)

Тоді (4.2) приймає вигляд: . (4.7)

Повний алгоритм навчання ШМН за процедурою зворотного поширення помилки має вигляд:

a) Подати на входи ШНМ один з можливих образів в режимі звичайного функціонування мережі.

b) Розрахувати для вихідного шару за (4.6).

c) Розрахувати зміни ваг для вихідного шару за (4.5) та (4.7).

d) Розрахувати та за (4.5) та (4.7) для всіх інших шарів n=N-1..1.

e) Скоригувати вагу всіх синапсів у ШНМ .

f) Якщо помилка істота, перейти на а).

ШНМ на кроці 1 поперемінно у випадковому порядку подаються всі тренувальні образи.

Неітеративні ШНМ:

1. Мережа Хопфілда.

Рік розробки: 1982. Автор: Хопфілд. Галузь застосування: Пошук і відновлення даних за їхніми фрагментами.

Опис: Мережа однорідна і симетрична. Складається з єдиного шару нейронів, кількість яких є одночасно кількістю входів і виходів ШНМ. Кожен нейрон пов’язаний синапсами з усіма іншими нейронами, а також має один вхідний синапс для введення сигналу. Вхідні сигнали утворюються на аксонах. Вхідні сигнали і реакції є компонентами загального вектора станів ШНМ, що запам’ятовуються при навчанні.

На стадії ініціалізації ШНМ вагові коефіцієнти синапсів задаються як:

Алгоритм функціонування має наступний вигляд:

1. На входи мережі подається невідомий сигнал. y_i(p)=x, i=0..n-1.
2. Розраховуємо новий стан нейронів , j=0..n-1 і нові значення аксонів y_j(p+1)=f[s_j+1], де f – активаційна функція у вигляді стрибка.
3. Якщо вхідні значення аксонів змінилися, то перехід на пункт 2, інакше – кінець.

2. Карти Кохонена, що само організуються (Self-Organizing Maps- SOM)

Рік розробки: 1980. Автор: Кохонен. Галузь застосування: Відображення однієї діляки на іншу.

Опис: SOM – різновид ШМН, в яких не змінюється структура мережі, а тільки підстроюються синапси. Нейрони розташовуються у вузлах двовимірної мережі з прямокутними або шестикутними осередками. При цьому кожен нейрон – це п-мірний вектор-стовпець. Алгоритм функціонування є одним з варіантів кластеризації багатовимірних векторів. При цьому в ході навчання модифікується не тільки нейрон-переможець, але й його сусіди в меншій мірі. За рахунок цього SOM можна вважати одним з методів проекціювання багатовимірного простору простір з меншою розмірністю, Вектори схожі у вихідному просторі, виявляються поруч і на отриманій карті. Величина взаємодії визначається відстанню між нейронами на карті (див. рисунок)

3. Мережа зустрічного поширення (Counterpropogation)

Рік розробки: 1986. Автор: Хетч-Нильсен. Галузь застосування: Стиск даних оцінка, ефективності капіталовкладень.

Опис: Має два шари з послідовними зв’язками: шар Кохонена (навчається без учителя методом змагання) і шар Гроссенберга (навчається із учителем, використовуючи бажані значення виходів).

4. Мережа зворотного поширення помилки (Back propogation)

Рік розробки: 1974. Автор: Вербос, Паркер, Румельхард. Галузь застосування: Синтез мови, адаптивний контроль руху роботів, оцінка ефективності капіталовкладень.

Опис: Нульовий шар виконує розподільні функції. Вхідний сигнал проходить через нього до нейронів прихованого шару. І кожен нейрон наступних шарів видає сигнали у_і і помилки δ_і=y_i-d_i, де d_i ідеальне значення вихідного сигналу.

МІСТКІСТЬ ШНМ

Місткістю ШНМ називають кількість образів, запропонованих на її входи, які вона спроможна розпізнати.

У мережі Хопфілда кількість запам’ятованих образів не може перевищувати 14% від кількості нейронів. При наближенні до цієї межі з’являються неправдиві атрактори, що перешкоджають конвергенції до запам’ятованих станів. Можлива втрата стаціонарності.

Для ШНМ із двома шарами (вихідним та прихованим) детермінована місткість C_d оцінюється так:

,

де - кількість ваг, що повлаштовуються, - кількість нейронів у вихідному шарі. При чому дана оцінка використовується для мереж, де кількість входів і нейронів у прихованому шарі задовольняє нерівностям:

+ > ,

/ >1000.

Проте, дана оцінка використовувалась для ШНМ з активаційними функціями у вигляді порога, а місткість ШМН зі гладкими функціями значно більша. Те, що дана оцінка детермінована, вказує на можливість її використання абсолютно для всіх можливих вхідних образів, які можуть бути подані входами. Насправді розподіл вхідних образів, як правило, має певну регулярність, що дозволяє ШМН робити узагальнення і таким чином збільшувати реальну місткість. Якщо розподіл невідомий, то говорити про реальну місткість можна тільки приблизно, але вона разів у два може перевищувати детерміновану.

Для ШМН, де більше двох шарів, місткість залишається відкритою.

Необхідна потужность вихідного шару ШНМ, що виконує остаточну класифікацію образів, розраховується з кількості класів образів. Наприклад, для двох класів достатньо одного виходу (при цьому кожний логічний рівень 1 або 0 позначатиме окремий клас), для 4 класів достаньмо 2 виходи и т.д.

Проте надійність результатів роботи такої ШНМ не дуже велика. Для її підвищення бажано ввести надмірність виділення кожному класу одного нейрона у вихідному шарі або, ще краще, декількох, кожний з яких навчається визначати приналежність образу до класу зі своїм ступенем достовірності. Такі ШНМ дозволяють класифікувати вхідні образи, об’єднані у нечіткі (розмиті або такі, що перетинаються) множини. Ця властивість наближає ШМН до умов реального життя.

Поиск по сайту: