Оглавление
Введение 4
Исторический обзор понятий, исследуемых в диссертации .... 5
Структура и основные результаты работы ....................... 11
1 Псевдоразмерность и связанные с ней поперечники 16
1.1 Определения и примеры.................................. 16
1.2 Сравнение рп и 5П ....................................... 18
1.3 Сравнение рп и зт, т < п................................. 20
2 Энтропия 33
2.1 Локальная энтропия....................................... 33
2.2 Связь энтропии и комбинаторной размерности............... 47
2.3 Скобочная энтропия....................................... 49
3 Оценки погрешности в задаче непараметрической регрессии 52
3.1 Обозначения и вспомогательные утверждения................ 52
3.2 Случай неизвестной меры рх............................... 55
3.3 Случай известной меры рх................................. 36
Список литературы 59
2
Список обозначений
А%, 20 В(І), 16 Ъ{А,Х), 33 Р'{А), 33 сІітр(І'К), 16 £(/), 53
Є.ІЛ.53
£{•)>33 Х£(с,Л,Х), 34
Рє(с, А). 34
А.(И'), 16 т(/,і), П,49 уер7, є), 47 г, 52
й(И75), 17
/ < 1/, / ^ .9, / “ .9, / ~ а, 12 /р, 62 /г..Г> 53
«»(ИО, 17
З
Введение
В настоящее время многие методы и идеи теории приближений используются в математической статистике. С середины 20-го века в математической статистике начался переход от классической, “параметрической” парадигмы, в которой оцениваемый параметр принадлежит конечномерному евклидовому пространству, к современной “непараметрической” в которой это уже не так. Возникла необходимость работы с существенно бесконечномерными объектами, такими как, скажем, множество функций плотности, удовлетворяющих определенному условию гладкости. Это привело статистиков к активному использованию общих понятий из функционального анализа и теории функций, а позже — из теории приближений.
Проиллюстрируем сказанное на примере задачи регрессии. Задача регрессии состоит в аппроксимации функциональной зависимости среднего значения одной случайной величины от другой или нескольких других. Пусть, скажем, мы наблюдаем п значений (яь^х),(хп,у„) случайных величии х и у с неизвестным нам распределением. Требуется оценить функцию регрессии /(х) = Е(у|х = х). Обычно предполагается, что / принадлежит известному функциональному классу Т. В этом случае, как методы построения оценок функции регрессии, так и наилучшая возможная точность оценивания определяются аппроксимативными свойствами Т. Отметим также, что в отсутствии шума (у = /(х) почти наверное) имеем Ух — /(ж»), ъ = и задача переходит в классическую для теории
приближений задачу интерполяции.
С другой стороны, в задачах, возникших внутри теории вероятностей и математической статистики, появились различные объекты, представляющий самостоятельный интерес для теории функций и теории приближений.
В диссертации изучаются некоторые аппроксимативные характеристики, играющие большую роль в теории непарамстрической регрессии: энтропия, локальная энтропия, скобочная энтропия, псевдоразмерность и связанные с ней поперечники. Также получен ряд результатов непосредственно по непараметрической регрессии, носящих, впрочем, исключительно теоретический характер.
4
Краткому описанию содержания диссертации мы предваряем исторический обзор исследуемых понятий.
Исторический обзор понятий, исследуемых В диссертации
Одной из важнейших аппроксимативных характеристик функциональных классов является е-энтропия. Её определение дается в случае произвольного метрического пространства. Пусть (X,d) — метрическое пространство. Обозначим через В(х.г) замкнутый шар радиуса г с центром в х.
Определение. Пусть А С X и е > 0. Минимальное количество элементов в 6-сети для А в X назовем энтропийным числом А в X и обозначим N£(A,X). Логарифм этого числа называется е-энтропией А (в X).
Впервые идея о возможности характеризовать “массивность” компактов в метрических пространствах скоростью роста мощности их минимальных 6-покрытий была высказана в 1932 году Л.С. Понтрягииым и Л.Г. Шни-рельмаиом в работе [42] (перевод см. в конце книги |G|). Оценки подобных величии позволили А.Г. Витушкину [7] доказать теорему о неизбежности понижения гладкости при представлении функции через суперпозицию функций с меньшим числом переменных. В обзорной статье I960 года
A.Н. Колмогоров и В.М. Тихомиров [10| систематизировали полученные ими и другими математиками результаты, касающиеся е-энтропии множеств.
В настоящее время асимптотическое поведение 6-энтроп и и большинства известных функциональных классов хорошо изучено.
Использование энтропии в статистике восходит к Л. Ле Каму [31],
H.H. Ченцову [12], И.А. Ибрагимову и Р.З. Хасьминскому [8, 9], а также
B.Н. Вапнику и А.Я. Червопенкису [2, 5|, о работах которых мы расскажем позже. Л. Бирже [17, 18] развил идеи Ле Кама и получил достаточно общие результаты о минимаксной погрешности оценивания в терминах метрической энтропии пространства параметров. Среди большого количества последовавших работ отмстим [53, 50, 52] и особо выделим работу Я. Янга и
А. Бэррона [52|, которые значительно уточнили и придали более завершенный вид результатам Бирже. Не вдаваясь в технические детали, поясним их результат в части регрессии. Янг и Баррон показали, что при оценивании функции регрессии / 6 X по выборке (si,?yi),..., (хпууп) погрешность определяется энтропией класса Т в метрике d пространства где
Px — распределение переменной X. Пусть fn обозначает оценку регрессии, тогда
infsupd2(/„,/) же2, (1)
/» fzf
где определяется из условия
log W£n(Jr, rf) X пе*.
Важно, что результат Янга и Бэррона имеет место не в полной общности, а лишь при определенных ограничениях на поведение 6-энтропии. Ещё у Jle Кама в работе 1973 года на е-сети накладывались некоторые ограничения “локального” характера.
В книге |32] Ле Кам ввёл определение размерности, в терминах которой получил верхние оценки погрешности в задаче оценивания плотности. Для множества А в метрическом пространстве его размерность по Ле Каму D(e) определяется как минимальное число £>, такое что любое подмножество А диаметра 25 ^ 2е может быть покрыто но более чем 2° множествами диаметра 5.
Янг и Бэррон, в упомянутой выше работе [52], по-видимому, переот-крыли это понятие, применив его, в свою очередь, для нижних оценок. Их определение, впрочем, несколько другое: М1ос(с) есть максимально возможное количество точек множества А с попарными расстояниями больше . е/2, содержащимися в некотором шаре радиуса е.
В работе [23) Р. ДсВором, Ж. Ксркичиряном, Д. Пикар и В. Темляко-вым было дано определение “локальной энтропии” в несколько более общем виде — вместо постоянной “2” авторы вводят параметр с > 1. Приведем здесь их определение.
Определение. Локальным упаковочным числом, множества А называется величина
РЕ(с. А) = sup{n: З.ть...,хп 6 А: Vz < j е < d(x^ х3) ^ се.}
Несмотря на свою важность, локальная энтропия сама по себе практически не изучалась в теории приближений. В разделе 2.1 второй главы мы частично восполняем этот пробел, приводим основные свойства и некоторые содержательные примеры.
В.II. Вапник и А.Я. Червоненкис, при исследовании равномерного закона больших чисел, столкнулись, по существу, с несколько другим видом энтропии. Классический закон больших чисел утверждает, что для любого события А частота его появления в п независимых испытаниях Рп{А)
б
- Київ+380960830922