Теория надёжности обучения по прецедентам (комбинаторная теория переобучения) Курс лекций К. В. Воронцов http://www.MachineLearning.ru - Участник:Vokov
[email protected] 9 июня 2012 г. Материал находится в стадии разработки, может содержать ошибки и неточности. Автор будет благодарен за любые замечания и предложения, направленные по адресу
[email protected], либо высказанные в обсуждении страницы «Теория надёжности обучения по прецедентам (курс лекций, К.В.Воронцов)» вики-ресурса www.MachineLearning.ru. Перепечатка фрагментов данного материала без согласия автора является плагиатом. Содержание 1 Проблема переобучения и слабая вероятностная аксиоматика 1.1 Обучение и переобучение . . . . . . . . . . . . . . . . . . . . . . . . 1.2 Слабая вероятностная аксиоматика . . . . . . . . . . . . . . . . . . 1.3 Вероятность переобучения . . . . . . . . . . . . . . . . . . . . . . . 1.4 Обсуждение слабой аксиоматики . . . . . . . . . . . . . . . . . . . Резюме . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Упражнения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Оценивание частоты и гипергеометрическое распределение 2.1 Задача оценивания (предсказания) частоты события . . . . . . 2.2 Гипергеометрическое распределение . . . . . . . . . . . . . . . 2.3 Закон больших чисел в слабой аксиоматике . . . . . . . . . . . 2.4 Переход от ненаблюдаемой оценки к наблюдаемой . . . . . . . 2.5 Одноэлементное семейство алгоритмов . . . . . . . . . . . . . . Резюме . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Упражнения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Непараметрические критерии и доверительные оценки 3.1 Доверительное оценивание . . . . . . . . . . . . . . . . . . 3.2 Доверительные интервалы для квантилей . . . . . . . . . 3.3 Критерий знаков . . . . . . . . . . . . . . . . . . . . . . . . 3.4 Критерий Уилкоксона–Манна–Уитни . . . . . . . . . . . . Резюме . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Упражнения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 7 11 12 15 19 19 . . . . . . . 20 20 21 23 25 28 28 29 . . . . . . 30 30 31 32 34 36 37 =2= 4 Эмпирические распределения и случайное блуждание 4.1 Эмпирическое распределение . . . . . . . . . . . . . . . . . 4.2 Усечённый треугольник Паскаля . . . . . . . . . . . . . . 4.3 Теорема Смирнова . . . . . . . . . . . . . . . . . . . . . . . 4.4 Обобщение на случай вариационного ряда со связками . . Резюме . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Элементы теории Вапника–Черво