Глава 1     Глава 2   
 

 

Проведенный анализ многослойных нейронных сетей и алгоритмов их обучения позволил выявить ряд недостатков и возникающих проблем:

 

1. Неопределенность в выборе числа слоев и количества нейрон-

ных элементов в слое;

 

2. Медленная сходимость градиентного метода с постоянным

шагом обучения;

 

3. Сложность выбора подходящей скорости обучения α. Так как

маленькая скорость обучения приводит к скатыванию НС в локаль-

ный минимум, а большая скорость обучения может привести к про-

пуску глобального минимума и сделать процесс обучения расходя-

щимся;

 

4. Невозможность определения точек локального и глобального

минимума, так как градиентный метод их не различает;

 

5. Влияние случайной инициализации весовых коэффициентов

НС на поиск минимума функции среднеквадратической ошибки.

Большую роль для эффективности обучения сети играет архи-

тектура НС [114]. При помощи трехслойной НС можно аппроксими-

ровать любую функцию со сколь угодно заданной точностью [14,

110]. Точность определяется числомнейронов в скрытом слое но

при слишком большой размерности скрытого слоя может наступить

явление, называемое перетренировкой сети. Для устранения этого

недостатка необходимо, чтобы число нейронов в промежуточном

слое было значительно меньше, чем число тренировочных образов.

С другой стороны, при слишком маленькой размерности скрытого

слоя можно попасть в нежелательный локальный минимум. Для

нейтрализации этого недостатка можно применять ряд методов опи-

санных в [94, 127].

 

Прогнозирование с использованием теории генетических ал-

горитмов. Впервые идея использования генетических алгоритмов

для обучения (machine learning) была предложена в 1970-е годы

[241, 245, 244, 246]. Во второй половине 1980-х к этой идее верну-

лись в связи с обучением нейронных сетей. Они позволяют решать

задачи прогнозирования (в последнее время наиболее широко гене-

тические алгоритмы обучения используются для банковских про-

гнозов), классификации, поиска оптимальных вариантов, и совер-

шенно незаменимы в тех случаях, когда в обычных условиях реше-

ние задачи основано на интуиции или опыте, а не на строгом (в математическом смысле) ее описании.








if gte vml