Суть метода обратного распространения

Нейронные сети

Нейронная сеть состоит из нейронов. Высокая надежность такой системы обеспечивается тем, что в случае нарушения в этой системе сигнал начинает распространятся по параллельным цепочкам. Впервые предложил теорию нейронной сети Розенблат (во время создания системы оптического распознавания текста). Розенблат создал модель универсального нейрона.

Источники:

1. Боровиков В.П. – Нейронные сети

2. Баллод – Видеоурок

3. Баллод – М.У. к Л.Р.

4. Курс лекций Сотник (Методы обучения НС)

Синапс – переход от нейрона к нейрону без контакта аксонами.

Нейроны могут находится в 2 состояниях возбужденном и пассивном.

Розенблат предложил создать НС таким образом:

1 взвешенный сумматор (каждый сигнал умножается на некоторый весовой коэффициент (действие синапса)). В результате получаем взвешенную сумму входных сигналов. Следующий блок содержит активационную функцию и выход из нее либо ноль, либо единица. Активационная функция представляет собой некоторую нелинейную функцию с предельными значениями 0 или 1. Значение 1 достигается в том случае если аргумент этой функции выше некоторого порогового значения. y=f(S)

Если жестко задавать функцию активационную аксона, то сигнал начинает прыгать. Чтобы этого избежать создают линейную функцию в промежутке между 1 и 0 .(фото)

Как правило используется сигмоидная активационная функция. Она представляет из себя некоторую эсобразную характеристику которая принимает граничные значения без логики.

Один из вариантов такой функции – экспонентная.

Розенблат предложил модель нейронной сети которая представляет собой модель черного ящика. В результате сканирования получаем некоторую маску (6 на 9) с засвеченными и не засвеченными ячейками. Темная точка – 1, светлая – 0 – входные сигналы. На выходе получаем 1 из 32 сигналов (букву).

При использовании нейронных сетей необходимо выполнить 2 этапа:

1. Обучение

2. Использование.

Необходимо распознать объект: самолет или птица.

Обучающая выборка:

При обучении нейросети используются 2 вида коррекции

1. Параметрическая – изменение весовых коэффициентов

2. Структурная – выбор количества слоев нейронной сети и количество нейронов каждого слоя.

Если нейронная сеть содержит только входной и выходной слой, то по аналогии аппроксимации данных она реализует линейную дискриминантную функцию. В введение промежуточного слоя позволяет повысить степень полинома разделяющей функции. При этом сеть должна быть полносвязной.

Методы обучения нейронной сети.

1. Обратное распространение ошибки обучения.

2. Метод сопряженных градиентов.

3. Метод Левенберга-Маркара

Суть метода обратного распространения

Алгоритм обратного распространения последовательно обучает сеть на данных из обучающего множества. На каждой итерации (они называются эпохами) все наблюдения из обучающего множества (в данном случае оно совпадает со всем набором данных) по очереди подаются на вход сети. Сеть обрабатывает их и выдает выходные значения. Эти выходные значения сравниваются с целевыми выходными значениями, которые также содержатся в наборе исходных данных, и ошибка, то есть разность между желаемым и реальным выходом, используется для корректировки весов сети так. чтобы уменьшить эту ошибку. Алгоритм должен находить компромисс между различными наблюдениями и менять веса таким образом, чтобы уменьшить суммарную ошибку на всем обучающем множестве; поскольку алгоритм обрабатывает наблюдения по одному, общая ошибка на отдельных шагах не обязательно будет убывать.

Ошибка – суммарность между вектором выходных сигналов нейросети и векторм обучающей выборки.

j – Номер выходного сигнала

k – Номер записи обучающей выборки

n – Номер слоя

Подстройка весового коэффициента осуществляется как определение приращения изменения ошибки при варьировании вектора весовых коэффициентов при этом скорость изменения этого коэффициента будет пропорциональная относительной величине изменения ошибки. Скорость изменения – параметр который выбирается пользователем в зависимости от набора исходных данных и структуры нейронной сети. Проще всего это сделать если имеются в виду весовые коэффициенты последнего слоя.

Еще один параметр настройки процесса обучения называется коэффициентом инерции. Смысл заключается в том, чтобы предотвратить резкое изменение направления продвижения по поверхности отклика (ошибки) к ее экстремуму.

На некоторой итерации t мы осуществляем новое приращение и пр.

Последний метод дополняет аналитическим предсказанием экстремума. Используется для гладких поверхностей.

Проблема переобучения

Жертвуют частью обучающей выборки и одна часть используется для обучения, а другая для тестирования.

Логика

Порог отвержения

Порог принятия

Значение равное единице формируется у того у которого выходной сигнал Y больше порога принятия притом у всех остальных значение выходного сигнала меньше порога отвержения.

Вероятностные нейронные сети – составление регрессии.

Поиск по сайту: