Нейрон Мак-Каллока-Питтса.

Первым примером нейросетевой модели является нейрон Мак-Каплока-Питтса [McCulloch и Pitts. 1943]. На вход нейрона подаются биполярные сигналы (равные +1 или -1). Активационная функция — это пороговая зависимость, результат которой вычисляется следующим образом. Если взвешенная сумма входов не меньше нуля, выход нейрона принимается равным 1, в противном случае - -1. В своей работе Мак-Калпок и Питгс показали, как на основе таких нейронов можно построить любую логическую функцию. Следовательно, система из таких нейронов обеспечивает полную вычислительную модель.

На рисунке показан пример вычисления логических функций И и ИЛИ с помощью нейронов Мак-Каллока-Питгса. Каждый из этих нейронов имеет три входа, первые два из которых задают аргументы функции x и y, а третий, иногда называемый пороговым (bias), всегда равен 1. Весовые коэффициенты связей для входных нейронов составляют соответственно +1, +1 и - 2. Тогда для любых входных значений x и y нейрон вычисляет значение x+y-2. Если это значение меньше 0, выходным значением нейрона является -1, в противном случае 1. Из таблицы видно, что такой нейрон, по существу вычисляет значение функции . Аналогично можно удостовериться в том, что второй нейрон на рисунке вычисляет значение логической функции ИЛИ.

Несмотря на то что Мак-Каллок и Питгс продемонстрировали возможности нейросетевых вычислений, реальный интерес к этой области проявился только после разработки применимых на практике алгоритмов обучена. Первые модели обучения во многом связаны с работами специалиста по психологии Д. О. Хебба, который в 1949 году предположил, что обучение биологических существ связано с модификацией синапсов в мозгу. Он показал, что многократное возбуждение синапса приводят к повышению его чувствительности и вероятности его возбуждения в будущем. Если некоторый стимул многократно приводит к активизации группы клеток, то между этими клетками возникает сильная ассоциативная связь. Поэтому в будущем подобный стимул приведет к возбуждению тех же связей между нейронами, что в свою очередь обеспечит распознавание стимула. Модель обучения Хебба основана только на идее подкрепления и не учитывает забывчивость, штрафы за ошибки или износ. Современные психолога пытались реализовать модель Хебба, но не смогли получить достаточно общих результатов без добавления механизма забывчивости. Модель обучения Хебба более подробно будет рассмотрена в разделе 10.5.

В следующем разделе модель нейрона Мак-Каллока-Хебба расширена за счет формирования слоен взаимосвязанных нейронов и добавления алгоритмов их взаимодействия. Первая версия такой нейроподобной структуры получила название персептрона (perception).

Поиск по сайту: