Оглавление
Введение
1 Слабая вероятностная аксиоматика
1.1 Основная аксиома.
1.1.1 Задачи эмпирического предсказания
1.1.2 Обращение оценок.
1.1.3 Наблюдаемые и ненаблюдаемые оценки
1.1.4 Эмпирическое оценивание вероятности
1.1.5 Замечания и интерпретации
1.2 Задача оценивания частоты события.
1.2.1 Свойства гипсргеометрического распределения.
1.2.2 Закон больших чисел в слабой аксиоматике.
1.2.3 Проблема неизвестного т и наблюдаемые оценки
1.3 Задача оценивания функции распределения
1.3.1 Усеченный треугольник Паскаля .
1.3.2 Теорема Смирнова в слабой аксиоматике
1.3.3 Обобщение на случай вариационного ряда со связками
1.4 Некоторые непараметрические критерии и доверительные оценки .
1.4.1 Доверительное оценивание.
1.4.2 Доверительные интервалы для квантилей
1.4.3 Критерий знаков
1.4.4 Критерий УилкоксонаМаннаУитни
1.5 Задача оценивания вероятности переобучения.
1.5.1 Основные понятия и определения.
1.5.2 Простой частный случай один алгоритм
1.5.3 Коэффициенты разнообразия и профиль расслоения.
1.5.4 Принцип равномерной сходимости и УСоценка
1.5.5 Степень некорректности и е влияние на переобучение.
1.5.6 Проблема завышенности УСоценок
1.5.7 Причины завышенности УСоцснок
1.6 Основные выводы
2 Теория статистического обучения
2.1 Теория ВапникаЧервоненкиса
2.1.1 Основные предположения УСтеории.
2.1.2 Основные результаты УСтеории
2.1.3 Бритва Оккама
2.2 Оценки, зависящие от задачи .
2.2.1 Локальные меры сложности.
2.2.2 Оценки, учитывающие отступы объектов.
2.2.3 Композиции алгоритмов
2.2.4 Стохастические методы обучения байесовский подход.
2.3 Оценки, учитывающие расслоение алгоритмов
2.3.1 Самооценивающие методы обучения .
2.3.2 Функции удачности. Подсемейства, зависящие от выборки .
2.3.3 Оценка расслоения но Лангфорду.
2.4 Оценки, учитывающие сходство алгоритмов
2.4.1 Кластеризация семейства алгоритмов.
2.4.2 Связные семейства алгоритмов.
2.4.3 Устойчивость метода обучения.
2.5 Скользящий контроль
2.6 Основные выводы
3 Эмпирический анализ факторов завышенности УСоценок
3.1 Эффективный локальный коэффициент разнообразия.
3.1.1 Определение и эмпирическое измерение ЭЛКР
3.1.2 Эмпирическое измерение факторов завышенности
3.1.3 О понятии эффективной мкости ио Вапиику
3.2 Эксперименты на реальных данных
3.2.1 Логические алгоритмы классификации
3.2.2 Измерение факторов завышенности для закономерностей
3.2.3 Эксперименты и выводы.
3.3 Эксперименты на модельных данных.
3.3.1 Семейство из двух алгоритмов.
3.3.2 Монотонная цепочка алгоритмов.
3.4 Основные выводы
4 Точные оценки вероятности переобучения
4.1 Общие оценки вероятности переобучения.
4.1.1 О разновидностях минимизации эмпирического риска
4.1.2 Порождающие и запрещающие множества объектов
4.1.3 Блочное вычисление вероятности переобучения.
4.2 Модельные семейства алгоритмов.
4.2.1 Семейство из двух алгоритмов
4.2.2 Слой булева куба
4.2.3 Интервал булева куба
4.2.4 Расслоение интервала булева куба
4.2.5 Монотонная цепочка алгоритмов.
4.2.6 Унимодальная цепочка алгоритмов.
4.2.7 Единичная окрестность лучшего азгоритма.
4.2.8 О некоторых других модельных семействах.
4.3 Рекуррентное вычисление вероятности переобучения.
4.3.1 Добавление одного алгоритма.
4.3.2 Вычисление вероятности переобучения.
4.3.3 Профили расслоения и связности
4.4 Основные выводы
5 Комбинаторные оценки полного скользящего контроля
5.1 Функционал полного скользящего контроля.
5.2 Априорные ограничения компактности
5.2.1 Профиль компактности выборки
5.2.2 Точная оценка полного скользящего контроля.
5.2.3 Задача отбора эталонных объектов.
5.3 Априорные ограничения монотонности
5.3.1 Профиль монотонности выборки
5.3.2 Верхняя оценка полного скользящего контроля
5.3.3 Монотонные композиции алгоритмов классификации.
5.4 Основные выводы.
Заключение
Список основных обозначений
Предметный указатель
Список иллюстраций
Список таблиц
Список литературы