|
|
|
Проведенный анализ многослойных нейронных сетей и алгоритмов их обучения позволил выявить ряд недостатков и возникающих проблем: 1. Неопределенность в выборе числа слоев и количества нейрон- ных элементов в слое; 2. Медленная сходимость градиентного метода с постоянным шагом обучения; 3. Сложность выбора подходящей скорости обучения α. Так как маленькая скорость обучения приводит к скатыванию НС в локаль- ный минимум, а большая скорость обучения может привести к про- пуску глобального минимума и сделать процесс обучения расходя- щимся; 4. Невозможность определения точек локального и глобального минимума, так как градиентный метод их не различает; 5. Влияние случайной инициализации весовых коэффициентов НС на поиск минимума функции среднеквадратической ошибки. Большую роль для эффективности обучения сети играет архи- тектура НС [114]. При помощи трехслойной НС можно аппроксими- ровать любую функцию со сколь угодно заданной точностью [14, 110]. Точность определяется числомнейронов в скрытом слое но при слишком большой размерности скрытого слоя может наступить явление, называемое перетренировкой сети. Для устранения этого недостатка необходимо, чтобы число нейронов в промежуточном слое было значительно меньше, чем число тренировочных образов. С другой стороны, при слишком маленькой размерности скрытого слоя можно попасть в нежелательный локальный минимум. Для нейтрализации этого недостатка можно применять ряд методов опи- санных в [94, 127]. Прогнозирование с использованием теории генетических ал- горитмов. Впервые идея использования генетических алгоритмов для обучения (machine learning) была предложена в 1970-е годы [241, 245, 244, 246]. Во второй половине 1980-х к этой идее верну- лись в связи с обучением нейронных сетей. Они позволяют решать задачи прогнозирования (в последнее время наиболее широко гене- тические алгоритмы обучения используются для банковских про- гнозов), классификации, поиска оптимальных вариантов, и совер- шенно незаменимы в тех случаях, когда в обычных условиях реше- ние задачи основано на интуиции или опыте, а не на строгом (в математическом смысле) ее описании. |
|
|
