глава 2
Разработка подходов к автоматизации синтеза линейных по параметрам зависимостей
2.1. Редукционный метод параметрического синтеза
линейно-регрессионной модели
Автоматизация структурного синтеза зависимости, применение адаптивных
алгоритмов поиска оптимальной структуры функции, требуют, в свою очередь, от
базового метода параметрического синтеза наличия адаптивных процедур расчета
параметров функциональной зависимости. В основе подобных процедур должно лежать
представление о регрессионной модели, как о системе, в которую постоянно
вводятся новые, изначально неучтенные факторы, и исключаются факторы,
потерявшие свою актуальность. Иными словами, регрессионная модель должна
рассматриваться как система, существующая в динамике регулярного изменения
состава факторов. Данный подход будем называть динамическим построением
регрессионной модели. Заметим, что значительная часть информации, повторно
вычисляемой при изменении состава факторов, с большой долей вероятности уже
имеется в модели до модификации. Динамическое построение модели предполагает
замену повторного перерасчета параметров модели на вычисление недостающей части
информации. Ниже будут предложены вычислительные процедуры, обеспечивающие
полный цикл функционирования регрессионной модели в динамике регулярных
изменений состава учитываемых независимых факторов.
2.1.1. Предпосылки оптимизации вычислительного процесса расширения
линейно-регрессионной модели. Пусть имеется множество независимых факторов
X1=(x1,x2,...xk) и построена линейная регрессионная модель размерностью k:
, с коэффициентами регрессии .
Повысим размерность модели до величины m включением дополнительного вектора
независимых факторов:
X2= (xk+1, xk+2, ... xm)
Таким образом, полный набор независимых факторов можно представить в виде
составного вектора X = (X1, X2). Аналогично, вспомогательные матрицы W и V,
(см. пункт 1.5.1), для полученной модели могут быть также фрагментарно
представлены следующим образом:
, .
В силу симметричности W, очевидно, что
W21 = W12T.
Размерности матриц-фрагментов соответственно равны:
[W11] = k ґ k
[W12] = k ґ m-k,
[W21] = m-k ґ k,
[W22] = m-k ґ m-k,
[V1] = k ґ 1,
[V2] = m-k ґ 1.
W11 и V1 соответствуют вектору факторов X1. Следовательно, в силу (1.9):
ak = W11-1V1. (2.1)
Для модели y = F(X1, X2) необходимо восстановить коэффициенты регрессии:
=, , .
Запишем уравнение (2.1), используя фрагментарную запись матриц W, V и am:
(2.2)
Выразим a1m из первого уравнения системы.
a1m = W11-1 V1 - W11-1 W12 a2m
Используя (2.1), запишем:
a1m = ak - W11-1 W12 a2m.
Введем следующее обозначение:
bk = W11-1 W12. (2.3)
Таким образом можем записать:
a1m = ak – bk a2m (2.4)
Подставим полученное выражение для a1m во второе уравнение системы (2.2):
W21T ak - W21T bk a2m + W22 a2m = V2
(W22 - W21T bk) a2m = V2 - W21T ak
a2m = (W22 - W21T bk)-1 (V2 - W21T ak) (2.5)
Применяя сначала (2.5) для вычисления вектора регрессионных коэффициентов при
новых факторах X2, а затем (2.4) – для корректировки коэффициентов при факторах
X1, уже присутствующих в модели, можно получить коэффициенты регрессии для
модели y=F(X1,X2), используя в качестве заготовок коэффициенты модели y=F(X1).
При этом обращение матрицы W, размерностью m, заменяется на обращение другой
матрицы, размерностью m-k:
W22 - W21T bk
Однако "узким местом", снижающим суммарный выигрыш в производительности
подобной методики, является вычисление матрицы bk по формуле (2.3), требующее
обращения матрицы W11, размерностью k.
Рассмотрим теперь частный случай, когда в модель, размерностью m- независимых
факторов вводится единственный новый фактор xm+1. Запишем для этого случая
формулы (2.5) и (2.4) в скалярном виде. Коэффициент регрессии при новом
введенном факторе xm+1 для модели y будет определяться из (2.5) следующим
образом:
, (2.6)
а откорректированные значения регрессионных коэффициентов модели y для исходных
факторов соответственно выразятся:
, " j=[1, m], (2.7)
где , " j=[1, m] – вспомогательные коэффициенты:
, (2.8)
– добавочный m+1 столбец матрицы W, размерностью m – элементов,
соответствующий новому введенному фактору xm+1:
, " j=[1, m].
Выражения (2.6–2.8) по своей сути тождественны рекуррентному методу вычисления
коэффициентов регрессии в комбинаторном алгоритме [66]. Этот подход отличается
от прямого решения системы линейных уравнений с использованием обратной
матрицы, полученной по методу окаймления [104] тем, что вычисление
коэффициентов регрессии новой расширенной модели оптимизировано с
использованием коэффициентов исходной модели меньшей размерности. Сравнение
предлагаемого редукционного подхода и метода рекуррентного оценивания
коэффициентов подробно анализируется в [115]. Однако получение обратной матрицы
для новой системы линейных уравнений в явной форме по-прежнему необходимо для
вычисления вспомогательных коэффициентов по формуле (2.8). В (2.8) используется
обратная матрица для предыдущего состояния модели, размерностью m. Однако, хотя
обратная матрица (Wm+1)-1 для нового состояния модели (после включения в модель
фактора xm+1) на данном этапе не используется в явном виде, но она будет
необходима при дальнейшем наращивании числа факторов. Так, необходимость в
(Wm+1)-1 возникает уже при размерности m+2. При этом соотношение (2.8) будет
использовано для получения вспомогательных коэффициентов модели после включения
очередного фактора xm+2.
2.1.2. Редукционный метод расчета коэффициентов. Как уже было указано, прямое
использование (2.6–2.8) предполагает явное получение обратной матрицы для новой
системы нормальных уравнений. В рекур
- Київ+380960830922