РАЗДЕЛ 2
СТАТИСТИЧЕСКИЕ СВОЙСТВА И ВЫЧИСЛЕНИЕ ОЦЕНОК
ПАРАМЕТРОВ НЕЛИНЕЙНОЙ РЕГРЕССИИ, ПОДЧИНЯЮЩИХСЯ НЕЛИНЕЙНЫМ ОГРАНИЧЕНИЯМ-НЕРАВЕНСТВАМ
2.1. Вводные сведения. Вспомогательные результаты
Рассмотрим регрессию (обозначения см. п.1.1), истинное значение параметра которой удовлетворяет ограничениям
, (2.1)
задающим допустимую область изменения параметра .
Пусть и регрессор известны для . Оценку - вектор найдём в результате решения задачи:
(2.2)
, (2.3)
рассматривая как параметр функции .
Вектор может удовлетворять как ограничениям-равенствам, так и неравенствам:
Положим , где матрица определена в (1.12). Таким образом, элементом матрицы является
. (2.4)
Далее будут использоваться следующие допущения относительно регрессии.
Допущение 2.1. Случайные величины независимы и одинаково распределены с нулевыми математическими ожиданиями и дисперсиями .
Допущение 2.2.А. Функции , и , дважды непрерывно дифференцируемы.
Б. Для всех и всех возможных значений независимых переменных cуществуют такие постоянные и , что
В. В окрестности функции и их производные до второго порядка включительно ограничены.
Допущение 2.3. Оценка принадлежит компактному множеству , где - шар произвольного радиуса с центром , такой, что .
Для любых cуществует предел суммы , причём сходимость равномерная и тогда и только тогда, когда .
Допущение 2.4. Градиенты , линейно независимы.
Допущение 2.5. Матрица сходится к положительно определённой матрице при .
Допущение 2.6. Функции - выпуклые.
Допущение 2.7. Существует такое , что .
Из допущения 2.3 согласно [174] следует сильная состоятельность . Из последних двух допущений следует линейная независимость градиентовгде
Лемма 2.1. Пусть - случайная симметричная матрица размерности , которая при по вероятности сходится к положительно определенной матрице . Тогда:
1) - собственные значения по вероятности сходятся к - собственным значениям ;
2) - модальная матрица по вероятности сходится к - модальной матрице ;
3) где - вероятность того, что имеет положительные собственные значения.
Доказательство. Расставим собственные значения в неубывающем порядке, тогда они будут случайными величинами [14, гл. 3]. Собственные значения матрицы - непрерывные функции ее элементов, что вытекает из следующего утверждения (см. например, [8, с. 55]): вектор корней многочлена с комплексными коэффициентами является непрерывной функцией вектора в топологии n-мерного пространства . Отсюда
(2.5)
Для доказательства второго утверждения требуется, чтобы
(2.6)
где - собственный вектор , - собственный вектор A.
Будем считать собственные векторы различными и случайными, так как существует способ такого их задания [14, гл. 3, §1]. Он состоит в том, что у каждого вектора , удовлетворяющего условию (2.6), фиксируется знак какой-либо ненулевой компоненты. Если есть кратные собственные значения (среди величин , при некотором Т имеются одинаковые), то, кроме того, фиксируются некоторые компоненты . Тогда векторы с вероятностью 1 определяются однозначно из (2.6) и уравнений: Учитывая, что и (2.6), имеем:
, (2.7)
где . Имеем с учётом (2.6) .
Согласно условию леммы и (2.5) получаем Отсюда и (2.7) . Учитывая, что , получим из (2.7) . Общее решение данного неоднородного уравнения равно сумме любого его частного решения и общего решения однородного уравнения , равного , где q - произвольный скаляр; принадлежит линейному подпространству размерности r, которое порождается r линейно независимыми собственными векторами A. Таким образом, имеем где необходимо выбирать так, чтобы выполнялось (2.6). Отсюда имеем уравнение для определения : , где - компоненты соответственно и. Его корни с учётом (2.6): .
Без потери общности положим . Тогда
, где - подматрица , полученная вычёркиванием из неё последних r столбцов и строк, - i-ая компонента . Матрица - невырожденная, так как ранг равен n-r. Имеем , что влечёт Отсюда вытекает . Тогда получим:
(2.8)
Столбцами матрицы являются векторы . Отсюда и (2.8) следует
Докажем третье утверждение леммы. Согласно (2.5) для произвольных и найдется такое , что Выберем , чтобы оно было меньше минимального собственного значения A. Тогда
Таким образом, третье утверждение леммы доказано.
Лемма 2.2. Пусть случайная матрица размерности сходится по вероятности к положительно определённой матрице A. Тогда , где . Здесь , если матрица вырождена, в противном случае, - наименьшее собственное значение , с - некоторое положительное число.
Доказательство. Покажем сначала, что сходится по вероятности к 0. Определитель является непрерывной функцией элементов , поэтому он сходится по вероятности к . Выберем число так, чтобы . Тогда для произвольных и , имеем:
Таким образом, . Отсюда, а также из сходимости по вероятности к A и к - минимальному собственному значению A (согласно первому утверждению леммы 2.1), следует утверждение леммы.
Приведем два свойства решения задачи квадратичного программирования, которые понадобится в дальнейшем.
Лемма 2.3. Задача квадратичного программирования
, , (2.9)
имеет решение , непрерывное по и. Здесь , - положительно определенная матрица размерности , - матрица размерности , .
Доказательство. Для положительно определенной матрицы R всегда найдется такая невырожденная матрица , что . Положим . С учетом этих преобразований задача квадратичного программирования (2.9) преобразуется к виду
. (2.10)
Обозначим ее решение . Для произвольных и и имеем где Отсюда
. (2.11)
Учитывая, что , получим
, (2.12)
где
Пусть , , что в силу невырожденности влечет из (2.11) , . Тогда согласно лемме в [152] . Отсюда и (2.12) . Лемма доказана.
Лемма 2.4. Если в задаче квадратичного программирования (2.9) , - по