РАЗДЕЛ 2
УСКОРЕНИЕ СИНТЕЗА ПРОГНОЗИРУЮЩИХ НЕЙРОННЫХ СЕТЕЙ
В этой главе представлены исследования влияния параметров и характеристик
процесса синтеза ИНС на его скорость и качество. На основе установленных
закономерностей и зависимостей предложены формальные подходы, позволяющие
существенно ускорить процесс синтеза ИНС. Объединение данных механизмов и
базового представления о достаточности дает в результате метод ускоренного
синтеза прогнозирующих ИНС для СППР АСУ.
2.1. Анализ основных этапов синтеза прогнозирующих нейронных сетей
Для окончательной постановки задачи рассмотрим более подробно процесс синтеза
ИНС. Основная последовательность выполняемых действий может быть представлена
схемой, изображенной на рис. 2.1. Таким образом, основные этапы процесса
синтеза ИНС:
формирование обучающей выборки;
структурный синтез ИНС;
параметрический синтез ИНС;
верификация синтезированной ИНС.
Последний этап, хоть и является обязательным, но не относится, по сути, к
процессу синтеза НС модели, поэтому предлагаемые в данной главе методики
ускорения синтеза ИНС не включают в себя этап верификации.
2.1.1. Формирование обучающей выборки
Эффективность функционирования любой обучающейся системы существенно зависит от
качества тех данных, на которых проходит обучение.
Рис. 2.1. Основные этапы синтеза ИНС.
Некачественность обучающего материала не только отразится на функционировании
системы в будущем, но может привести к невозможности обучиться в принципе.
Как и любая другая обучающаяся система, ИНС должна быть обеспечена исходными
данными для обучения, формирующими ее обучающую выборку. Однако, зачастую,
процессу формирования ОВ не уделяют должного внимания, кроме того, отсутствует
единая методика оценки качества построенной ОВ.
При построении ОВ для нейросетевых моделей, прогнозирующих поведение временного
ряда, используется так называемый "Метод скользящих окон", основанный на
теореме Такенса. Если результаты обучения не удовлетворяют разработчика, то
ответные действия обычно ограничиваются поиском такого размера окна, при
котором ошибка обучения нейронной сети, достигнет приемлемого значения. Либо
проектировщик ИНС дополнительно использует различные предварительные
преобразования данных (вейвлеты, промежутки стабильности и т.п.) для достижения
необходимого результата. Но в распоряжении разработчика нет критериев, по
которым он мог бы оценить качество построенной ОВ до обучения. Единственным
косвенным способом оценки качества построенной ОВ является обучение на ней
нейронной сети. И только после многократных попыток уменьшить ошибку обучения
за счет увеличения числа эпох обучения и изменения параметров обучающего
алгоритма разработчик пытается решить проблему переформированием ОВ.
2.1.2. Структурный синтез нейронных сетей
Из перечня задач, решаемых на этапе структурного синтеза (рис. 2.1), основным
вопросом является определение количества нейронов в скрытых слоях нейронной
сети. Эта задача до сих пор не получила четкой формализации.
Существует ряд алгоритмов и подходов, направленных на подбор «оптимального»
количества нейронов в скрытом слое, некоторые из которых обладают высокой
трудоемкостью. Однако и они носят достаточно приблизительный характер.
2.1.3. Параметрический синтез нейронных сетей
В данной области исследования искусственных нейронных сетей проделано
значительное количество работ. Разработано немалое количество алгоритмов и
методик, направленных на получение быстрого и точного результата обучения.
Однако в силу сложности поверхности, описываемой функцией ошибки , ни одна
методика не может гарантировать достижение точки глобального оптимума за
минимальное количество эпох обучения [20, 32]. Предлагаемые подходы, по
сравнению с классическим алгоритмом обратного распространения, обеспечивают
либо более высокую точность определения точки локального оптимума, либо более
быстрое достижение области, в которой эта точка находится.
При этом существенным недостатком первых методов является их высокая
вычислительная сложность, что ограничивает их применение только для сетей
небольшой размерности и делает их невыгодными для решения задач прогнозирования
в ситуациях, требующих быстрого обновления прогнозирующих моделей. С ростом
размерности задачи, что характерно для большинства реальных задач, преимущество
этих методов стремительно падает.
Методы и алгоритмы второй группы, хоть и позволяют получать решение достаточно
быстро, но обладают выраженной эвристикой. В арсенале таких методов находится
достаточное количество свободных параметров от начальной инициализации которых
и алгоритмов управления их последующим изменением зависит и качество, и
скорость ПС. Бесспорно, что при успешном решении этих задач предлагаемые
алгоритмы могут обеспечить при невысоких вычислительных затратах высокую
скорость сходимости процесса обучения и точность, сравнимую с методами первой
группы. Однако алгоритмы не дают формальных методик управления своими
свободными параметрами, оставляя это на рассмотрение разработчика ИНС. Поиск же
оптимальной методики инициализации параметров и управления ими для каждой
конкретной задачи в большинстве случаев оказывается весьма трудоемким.
2.1.4. Постановка задачи на разработку методов ускорения синтеза прогнозирующих
нейросетевых моделей
Таким образом, основными проблемами, вызывающими увеличение затрат времени в
процессе синтеза прогнозирующих ИНС, являются:
отсутствие конструктивных формальных критериев для оценки качества построенной
ОВ;
отсутствие эффективных алгоритмов выбора количества нейронов в скрытых слоях;
несовершенство классических методов обучения, высокая вычислите
- Київ+380960830922