Однослойные и многослойные нейронные сети

Простейшая сеть состоит из группы нейронов, образующих слой, как показано в правой части рис. 10.6. Вершины – круги слева служат только для распределения входных сигналов. Нейроны на схеме обозначены квадратами. Каждый элемент из множества входов Х отдельным весом соединен с каждым нейроном. А каждый нейрон выдает взвешенную сумму входов. В целях общности показаны все соединения. В конкретной сети некоторые соединения могут отсутствовать. Могут иметь место также соединения между выходами и входами нейронов в слое. Веса будем считать элементами матрицы W размера m х n, где m – число входов, n – число нейронов. Например, w ₂₃ – это вес связи, соединяющей второй вход с третьим нейроном. Таким образом, вычисление выходного вектора N,компонентами которого являются выходы OUT нейронов, сводится к матричному умножению , где N и X – векторы – строки.

Рис. 10.6 Однослойная нейронная сеть

Многослойные сети образуются каскадами слоев. Выход одного слоя является входом для последующего слоя. Подобная сеть показана на рис. 10.7.

Многослойные нейронные сети обладают большими вычислительными возможностями, чем однослойные сети, но только в том случае, если активационная функция между слоями нелинейная. Вычисление выхода слоя заключается в умножении входного вектора на первую весовую матрицу с последующим умножением (если отсутствует нелинейная активационная функция) результирующего вектора на вторую весовую матрицу: = . Таким образом, двухслойная линейная сеть эквивалентна однослойной сети с весовой матрицей, равной произведению двух весовых матриц. Следовательно, любая многослойная линейная сеть может быть заменена эквивалентной однослойной сетью. Однослойные сети весьма ограничены по своим вычислительным возможностям. Для расширения возможностей сетей по сравнению с однослойной сетью необходима нелинейная активационная функция.

Рис. 10.7 Двухслойная нейронная сеть

До сих пор рассматривались сети прямого распространения, у которых нет обратных связей, т.е. соединений, идущих от выходов некоторого слоя к входам этого же слоя или предшествующих слоев. Сети более общего вида, имеющие такие соединения, называют сетями с обратными связями. У сетей без обратной связи нет памяти. Их выход полностью определяется текущими входами и значениями весов. В некоторых конфигурациях сетей с обратными связями предыдущие значения выходов возвращаются на входы. Выход, следовательно, определяется как текущим входом, так и предыдущими выходами, поэтому сети с обратными связями могут обладать свойствами, сходными с кратковременной человеческой памятью, сетевые выходы частично зависят от предыдущих входов.

Персептрон Розенблатта

Одной из первых искусственных сетей, способных к перцепции (восприятию) и формированию реакции на воспринятый стимул, явился персептрон Розенблатта (1957). Простейший классический персептрон содержит нейроподобные элементы трех типов (см. рис. 10.8), назначение которых в целом соответствует нейронам рефлекторной нейронной сети. S -элементы формируют слой сенсорных клеток, принимающих двоичные сигналы от внешнего мира. Далее сигналы поступают в слой ассоциативных или A -элементов (для упрощения изображения часть связей от входных S -клеток к A -клеткам не показана). Только ассоциативные элементы, представляющие собой формальные нейроны, выполняют нелинейную обработку информации и имеют изменяемые веса связей. R -элементы с фиксированными весами формируют сигнал реакции персептрона на входной стимул.

Рис. 10.8 Персептрон Розенблатта.

Розенблатт называл такую нейронную сеть трехслойной, однако по современной терминологии представленная сеть называется однослойной, так как имеет только один слой нейропроцессорных элементов. Однослойный персептрон характеризуется матрицей синаптических связей W от S - к A -элементам. Элемент матрицы отвечает связи, ведущей от i -го S -элемента к j -му A -элементу.

В работах Розенблатта был сделано заключение о том, что нейронная сеть рассмотренной архитектуры будет способна к воспроизведению любой логической функции, однако, как было показано позднее М.Минским и С.Пейпертом (1969), этот вывод оказался неточным. Были выявлены принципиальные неустранимые ограничения однослойных персептронов, и в последствии стал в основном рассматриваться многослойный вариант персептрона, в котором имеются несколько слоев процессорных элементов.

С сегодняшних позиций однослойный персептрон представляет скорее исторический интерес, однако на его примере могут быть изучены основные по-

нятия и простые алгоритмы обучения нейронных сетей.

Обучение персептрона

Обучение сети состоит в подстройке весовых коэффициентов каждого нейрона. Пусть имеется набор пар векторов , , называемый обучающей выборкой. Будем называть нейронную сеть обученной на данной обучающей выборке, если при подаче на входы сети каждого вектора на выходах всякий раз получается соответсвующий вектор .

Предложенный Ф.Розенблаттом метод обучения состоит в итерационной подстройке матрицы весов, последовательно уменьшающей ошибку в выходных векторах. Алгоритм включает следующие шаги:

Шаг 0.	Начальные значения весов всех нейронов полагаются случайными.
Шаг 1.	Сети предъявляется входной образ, в результате формируется выходной образ .
Шаг 2.	Вычисляется вектор ошибки , делаемой сетью на выходе. Идея состоит в том, что изменение вектора весовых коэффициентов в области малых ошибок должно быть пропорционально ошибке на выходе, и равно нулю если ошибка равна нулю.

Шаг 3.

Вектор весов модифицируется по следующей формуле: , где - темп обучения.

Используемая на шаге 3 формула учитывает следующие обстоятельства:

а) модифицируются только компоненты матрицы весов, отвечающие ненуле-

вым значениям входов; б) знак приращения веса соответствует знаку ошибки, т.е. положительная ошибка ( > 0, значение выхода меньше требуемого) приводит к усилению связи; в) обучение каждого нейрона происходит независимо от обучения остальных нейронов.

Данный метод обучения был назван Ф.Розенблаттом “методом коррекции с обратной передачей сигнала ошибки”. Позднее более широко стало известно название “ – правило”. Представленный алгоритм относится к широкому классу алгоритмов обучения с учителем, поскольку известны как входные векторы, так и требуемые значения выходных векторов (имеется учитель, способный оценить правильность ответа ученика).

Доказанная Розенблаттом теорема о сходимости обучения по – правилу говорит о том, что персептрон способен обучиться любому обучающему набору, который он способен представить.

Что делает отдел по эксплуатации и сопровождению ИС? Отвечает за сохранность данных (расписания копирования, копирование и пр.)...

ЧТО И КАК ПИСАЛИ О МОДЕ В ЖУРНАЛАХ НАЧАЛА XX ВЕКА Первый номер журнала «Аполлон» за 1909 г. начинался, по сути, с программного заявления редакции журнала...

Система охраняемых территорий в США Изучение особо охраняемых природных территорий(ООПТ) США представляет особый интерес по многим причинам...

ЧТО ТАКОЕ УВЕРЕННОЕ ПОВЕДЕНИЕ В МЕЖЛИЧНОСТНЫХ ОТНОШЕНИЯХ? Исторически существует три основных модели различий, существующих между...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: