ГЛАВА 2
РАЗРАБОТКА МЕТОДА РАСПРЕДЕЛЕНИЯ НАГРУЗКИ
С ИСПОЛЬЗОВАНИЕМ МОДЕЛЕЙ НЕЙРОННЫХ СИСТЕМ
2.1. Модели искусственного нейрона
При разработке метода применялись элементы теории нейронных сетей
[32-50], такие как модели искусственного нейрона с различными передаточными функциями, модель нейронной сети с обратным распространением ошибки, а также различные алгоритмы обучения.
Искусственные нейронные сети представляют собой набор математических и алгоритмических методов для решения широкого круга задач. Выделим характерные черты искусственных нейронных сетей как универсального инструмента для решения задач:
1. Нейронная сеть - средство обработки информации:
а) гибкая модель для нелинейной аппроксимации многомерных функций;
б) средство прогнозирования во времени для процессов, зависящих от многих переменных;
в) классификатор по многим признакам, дающий возможность разбиения входного пространства на области;
г) средство распознавания образов;
д) инструмент для поиска по ассоциациям;
е) модель для поиска закономерностей в массивах данных.
2. Нейронные сети свободны от ограничений обычных компьютеров благодаря параллельной обработке и сильной связанности нейронов.
Известно, что при решении многих задач мозг превосходит даже самые мощные суперкомпьютеры и кластеры. Этот выигрыш во многом обусловлен параллельностью обработки информации в мозге. Следовательно, для повышения производительности ЭВМ необходимо перейти от принципов фон Неймана к параллельной обработке информации. Тем не менее, параллельные компьютеры пока не получили широкого распространения по нескольким причинам:
1. Каждый процессор в параллельной системе связан с большим количеством других процессоров. Количество связей занимает намного больший объем, чем сами процессоры. Такая плотность связей не реализуется в обычных интегральных схемах.
2. Трехмерность структуры связей между процессорами. Существуют различные типы связей процессоров в параллельной системе. Обычно требуются трехмерные связи. Технологически такие связи тоже пока невыполнимы.
3. Сложность программирования. Пока не создано единых способов программирования параллельных ЭВМ и средств для написания программ.
Несмотря на перспективность параллельных ЭВМ и, в частности, нейронных сетей, элементная база для их создания очень дорогостояща, поэтому, вместо моделирования НС на параллельных машинах, большая часть исследований проводится двумя способами:
1) моделирование НС на обычных последовательных ЭВМ;
2) создание специализированных нейроплат и нейропроцессоров для ускорения работы ЭВМ с нейронными сетями.
Первый способ проигрывает в быстродействии даже по сравнению с обычной ЭВМ, а второй способ не позволяет переходить от одной модели нейросети к другой, так как модель определяется используемой нейроплатой или нейропроцессором, и требуется сменить нейропроцессор, чтобы сменить модель.
Нейронные сети как и человек превосходят последовательные машины в решении таких задач, как распознавание образов и речи, прогнозирование, классификация и т.д. Задачи, требующие большого объема вычислений или высокой точности, эффективнее решать на обычной ЭВМ.
К задачам, успешно решаемым НС на данном этапе их развития относятся:
- распознавание зрительных, слуховых образов; определяющих огромную область применения: от распознавания текста и целей на экране радара до систем голосового управления;
- ассоциативный поиск информации и создание ассоциативных моделей; синтез речи; формирование естественного языка;
- формирование моделей и различных нелинейных и трудно описываемых математически систем с прогнозированием развития этих систем во времени что позволяет применять их на производстве; прогнозирование развития циклонов и других природных процессов, прогнозирование изменений курсов валют и других финансовых процессов; создавать системы управления и регулирования с возможностями прогнозирования; управление роботами, другими сложными устройствами;
- создание разнообразных конечных автоматов, используемых в системах массового обслуживания и коммутации, телекоммуникационных системах;
- принятие решений и диагностика; особенно в областях, где отсутствуют четкие математические модели: в медицине, криминалистике, финансовой сфере;
Для разработки метода распределения нагрузки были рассмотрены различные модели формального нейрона (МФН).
Биологический нейрон - сложная система, математическая модель которого до сих пор полностью не построена. Введено множество моделей, различающихся вычислительной сложностью и сходством с реальным нейроном. Одна из важнейших - МФН приведена на (рис. 2.1). Несмотря на простоту МФН, сети, построенные из таких нейронов, могут сформировать произвольную многомерную функцию на выходе.
Рис. 2.1. Формальный нейрон
Нейрон состоит из взвешенного сумматора и нелинейного элемента. Функционирование нейрона определяется формулами:
,
где - входные сигналы (совокупность всех N входных сигналов МФН образует вектор X);
- весовые коэффициенты (совокупность N весовых коэффициентов образует вектор весов W;
NET - взвешенная сумма входных сигналов, значение NET передается на нелинейный элемент;
- пороговый уровень данной МФН;
F - нелинейная функция, называемая функцией активации;
N - количество входов МФН
OUT - сигнал на выходе МФН.
Нейрон имеет несколько входных сигналов x и один выходной сигнал OUT. Параметрами нейрона, определяющими его работу, являются: вектор весов W, пороговый уровень и вид функции активации F.
Рассмотрим основные виды функций активации, получившие распространение в НС.
1. Жесткая ступенька
.
используется в классической МФН. Развита теория, позволяющая синтезировать произвольные логические схемы на основе МФН с такой нелинейностью. Функция вычисляется несколькими машинными инструкциями, поэтому нейроны с такой нелинейностью требуют малых вычис