Глава 2. Ассоциативная память и линейные подпространства
Собственные векторы весовых матриц АП
В модели псевдоинверсной АП запоминание данных в весовой матрице C
осуществляется таким образом, что каждый запоминаемый вектор является для этой
матрицы собственным с собственным значением 1. Это означает, что любая линейная
комбинация этих векторов также будет СВ матрицы C; т. е. по этой матрице
исходное множество векторов не восстанавливается однозначно. Таким образом, на
самом деле в проекционной АП запоминаются не сами векторы, а линейные
подпространства в Rn. Затем, с помощью нелинейной процедуры экзамена (1.1) из
них отфильтровываются запомненные векторы. Это справедливо и для других правил
обучения ассоциативной памяти хопфилдовского типа. Рассмотрим в качестве
примера правило обучения Хопфилда. Поведение собственных векторов матрицы такой
сети иллюстрирует следующее утверждение:
Утверждение 2.1. Собственные векторы матрицы сети Хопфилда K являются
собственными и для матрицы C проекционной АП, хранящей тот же набор образов.
Они принадлежат линейной оболочке запоминаемых векторов.
Доказательство. Пусть запоминаемые векторы образуют столбцы матрицы V. Тогда
K=(1/n)VVT, а C=VV+=V(VTV)-1VT. Покажем, что эти матрицы коммутируют:
Как известно из линейной алгебры [16], перестановочность двух самосопряженных
операторов означает то, что у них есть общий собственный базис. Те векторы из
этого базиса, которые соответствуют единичному собственному значению C, будут
по построению линейными комбинациями запомненных.¦
Рис. 2. Спектры матриц проекционной АП и сети Хопфилда,
имеющих одинаковый набор образов в памяти
Примеры сети Хопфилда и проекционной АП иллюстрируют случай, когда
синаптическая матрица имеет в качестве образа линейную оболочку запомненных
векторов, а в качестве ядра – ее ортогональное дополнение. Но в практике
ассоциативных систем встречаются и более сложные ситуации.
Так например, АП с разнасыщением, селекцией весов, на базе клеточных сетей
обладает матрицей полного ранга. Вообще, почти любое (за исключением множества
меры нуль) искажение проекционной матрицы, сохраняющее симметрию, дает матрицу,
все собственные значения которой различны.
Это означает, что собственные векторы новой матрицы образуют единственный
ортонормированный базис.
Представление инвариантных подпространств с помощью точек многообразия
Грассмана
Таким образом, в нейронной сети типа Хопфилда носителями памяти служат линейные
подпространства в Rn. Каждое такое подпространство может быть задано с помощью
набора базисных векторов. Такое представление неоднозначно, выбор базиса
остается совершенно произвольным.
Однако существует известная математическая модель, позволяющая описать
множество всех линейных подпространств размерности m Rn и наделить его
метрической структурой. Это риманово многообразие Грассмана (МГ) [12]. Риманова
структура этого многообразия позволяет определит касательные пространства,
метрику, геодезические, расстояние. В данной работе рассматриваются только
вещественные многообразия Грассмана.
Определение 2.1 Множество всех матриц Y размера nґm, таких что YTY=Imґm c
римановой метрикой, получающейся ограничением метрики в Mn(R), задаваемой
нормой Фробениуса (на это множество), называется многообразием Штифеля и
обозначается Vn,m.
Определение 2.2 Многообразие всех классов эквивалентности матриц Y из
многообразия Штифеля по отношению , где U – произвольная ортогональная матрица
размером mґm называется многообразием Грассмана и обозначается Gn,m.
Это многообразие является многообразием всех m-мерных подпространств Rn . В
самом деле, каждый элемент многообразия Штифеля задает ортонормированный базис
в таком подпространстве, а эквивалентность в определении 2.2 обеспечивает
независимость от выбора базиса. Таким образом многообразие Грассмана есть
фактор многообразия Штифеля относительно действия ортогональной группы: [12].
Существует взаимно-однозначное соответствие между самосопряженными
проекционными операторами ранга m, m-мерными линейными подпространствами и
элементами многообразия Грасссмана Gn,m. Это соответствие можно сформулировать
следующим образом
Лемма 2.1. Каждому m-мерному подпространству взаимно-однозначно соответствует
симметричный проекционный оператор C ранга m и точка c на многообразии
Грассмана Gn,m .
Доказательство. Выберем в Lm какой-нибудь ортонормированный базис. Пусть
векторы этого базиса суть столбцы матрицы Y. Тогда C=YYT – самосопряженный
проекционный оператор, образ которого совпадает с Lm. Обратно, для каждого
симметричного проекционного оператора C Lm=imC. Соответствие линейных
подпространств и элементов Gn,m было показано выше. ¦
Существуют различные представления точек многообразия Грассмана. Одно из таких
представлений базируется на использовании ортогональных nґm-матриц. Один
элемент МГ есть класс эквивалентности таких матриц (см. выше). Эту
неоднозначность можно устранить, избрав представление с помощью проекционных
матриц: лемма 2.1 гласит, что каждая такая матрица (взаимно) однозначно
определяет элемент МГ. Однако это представление избыточно: используется n2 (или
n(n-1)/2 при хранении симметричной матрицы в треугольном виде) вещественных
чисел, в то время как размерность МГ составляет всего лишь m(n-m).
Измерение расстояния на многообразии Грассмана
Представление Грассмана можно использовать для сравнения наборов собственных
векторов синаптических матриц, получаемых при различных отклонениях от
проекционного алгоритма. В самом деле, почти любое искажение исходной матрицы
снимает вырождение: m-кратное
- Київ+380960830922