'

Машинное обучение: качество

Понравилась презентация – покажи это...





Слайд 0

Игорь Куралёнок к.ф.-м.н., Яндекс/СПбГУ Машинное обучение: качество


Слайд 1

Немного «фраз» «Гораздо легче что-то измерить, чем понять, что именно вы измеряете.» — Джон Уильям Салливан «If you can't measure it, you can't improve it» — Lord Kelvin


Слайд 2

Постановка в случае учителя Ожидание хотим считать по всей ген. совокупности Функцию обучаем на X => Если бы X была репрезентативной то все проще:


Слайд 3

Какая нужна выборка Интересно получить выборку, несмещенную (смещенную не более чем …) по результатам процедуры обучения: Найти «хороший» способ генерации выборки при условии процедуры подбора Наложить ограничения на процедуру подбора Ограничения на решающую функцию => Надо научиться мерять смещенность выборки Иными словами, репрезентативная выборка представляет собой микрокосм, меньшую по размеру, но точную модель генеральной совокупности, которую она должна отражать. - Дж. Б. Мангейм, Р. К. Рич


Слайд 4

Как это выглядит на практике?


Слайд 5

Как это выглядит на практике?


Слайд 6

Как это выглядит на практике?


Слайд 7

Виды ошибок обучения


Слайд 8

Виды ошибок обучения Переобучение, переподгонка (overtraining, overfitting) — нежелательное явление, возникающее при решении задач обучения по прецедентам, когда вероятность ошибки обученного алгоритма на объектах тестовой выборки оказывается существенно выше, чем средняя ошибка на обучающей выборке. Недообучение (underfitting)— нежелательное явление, возникающее при решении задач обучения по прецедентам, когда алгоритм обучения не обеспечивает достаточно малой величины средней ошибки на обучающей выборке. Недообучение возникает при использовании недостаточно сложных моделей. - machinelearning.ru


Слайд 9

Наш первый метод


Слайд 10

Пример По материалам machinelearning.ru


Слайд 11

Пример По материалам machinelearning.ru


Слайд 12

Пример По материалам machinelearning.ru


Слайд 13

Задача Дано: Найти оптимальные p и a


Слайд 14

Постановка в случае учителя Ожидание хотим считать по всей ген. совокупности Функцию обучаем на X => Если бы X была репрезентативной то все проще:


Слайд 15

Схема тестирования


Слайд 16

Overfit on validation


Слайд 17

Как не оверфитнуться? White box: Выбор решающего семейства при фиксированном объеме данных: VC оценки Оценка вероятности переобучения (по Воронцову) PAC-Bayes bounds Изменение процедуры подбора: Игры с шагом Регуляризация Black box: Cross-validation


Слайд 18

Теория Вапника-Червоненкиса Владимир Наумович Вапник, Алексей Яковлевич Червоненкис Задача минимизации эмпирического риска VC-оценка (классификация):


Слайд 19

Вероятность переобучения Воронцов Константин Вячеславович (machinelearning.ru, ШАД в Москве) Вводим слабую вероятностную аксиоматику Оцениваем вероятность переобучения:


Слайд 20

PAC-Bayes bounds Результат алгоритма – распределение над семейством Решающая функция –среднее выборки этого распределения


Слайд 21

Изменение процедуры подбора Игры с шагом: а давайте не будем точно решать задачку Поменяем Lossь так, чтобы более «рискованные» решения получали discount.


Слайд 22

Cross-validation Рандомно поделим множество X на несколько кусочков Обучимся на одной части Проверим на оставшихся Повторим до ощущения надежности


Слайд 23

Виды cross-validation 2-fold k-fold Random sub-sampling (e.g. bootstrapping) Leave-one-out (LOOCV)


Слайд 24

Как принять решение по результатам CFV? Wilcoxon signed rank test для проверки на равенство Знак по выборочному среднему Проблемы: Чем меньше выборка X тем более зависимы результаты Интересно: а наблюдаем мы только 1 реализацию. Слишком оптимистичные решения Любое практическое исследование должно иметь эти оценки


Слайд 25

На чем тестировать? Реальные данные Поиск: РОМИП, TREC, Яндекс.ИМАТ, Yahoo LTRCh Pascal Challenge InnoCentive Искусственные данные (многомерный XOR) Задумаем «хитрое» распределение и попробуем его отгадать


Слайд 26

ОТСЕБЯТЕНА Машинное Обучение: качество


Слайд 27

Решающие функции и информация Решающая функция несет информацию о выборке Чем «короче» можно записать решающую функцию, тем меньше оверфита Чем сложнее зависимость, тем больше данных надо


×

HTML:





Ссылка: