'

Машинное обучение: начало

Понравилась презентация – покажи это...





Слайд 0

Игорь Куралёнок к.ф.-м.н., Яндекс/СПбГУ Машинное обучение: начало


Слайд 1

Знакомство: Куралёнок Игорь Руководитель группы модернизации поиска. Яндекс. +7(921)9031911


Слайд 2

Что почитать? Википедия (лучше en) T. Hastie, R. Tibshirani, J. Friedman “The elements of Statistical Learning” T. Mitchell “Machine Learning” Труды конференций: ICML, KDD, NIPS, CIKM,… Журналы: JMLR, JML, JIS, NC Видео курс: www.ml-class.org


Слайд 3

Какие у нас цели? Уметь сформулировать задачу в терминах ML Найти подходящий класс решающих алгоритмов по формулировке Ориентироваться в области и знать «где посмотреть» существующие решения Понимать границы применимости


Слайд 4

Что нужно, чтобы понять? ТВ и МС Линейная алгебра Язык программирования


Слайд 5

Как отчитываться? К концу обучения сделать 15 минутную презентацию по применению ML в вашей любимой задаче. Задачки на Octave Ошибки к лекциях и в слайдам :)


Слайд 6

Машинное обучение: определения Tom M. Mitchell: A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E. Webster: machine learning - The ability of a machine to improve its performance based on previous results. Ru.Wikipedia: Машинное обучение — обширный подраздел искусственного интеллекта, изучающий методы построения алгоритмов, способных обучаться.


Слайд 7

Немного истории 50-60 базы знаний, полнотекстовый поиск, распознавание образов, нейронные сети 70-е символьный вывод, Quinlan ID3 деревья, разумные практические результаты, VC-оценки 80-е первые конференции, много практического применения, активное применение кластеризации в анализе 90-е повторное семплирование в ML, SVM, применение в IR, ML != DM, LASSO, bagging, boosting, CF валидация 00-е Compressed sensing, развитие ансамблей,…


Слайд 8

Основные понятия Область работы Опыт = Data Set = DS Целевая функция = Target Решающая функция


Слайд 9

Какое бывает обучение Делить можно по: способу генерации DS; виду целевой функции; классу решающих функций;


Слайд 10

Деление по способу формирования DS/U Transductive Обычное Активное Стохастическая оптимизация Бюджетное Бандиты Необычное Online learning Reinforcement learning


Слайд 11

Transductive learning Фиксируем множество примеров Фиксируем рабочее множество Обучаемся на всех/доступных примерах


Слайд 12

Обычное обучение Фиксируем множество примеров Определяем генеральную совокупность Обучаемся на доступных примерах


Слайд 13

Активное обучение Фиксируем множество примеров Определяем генеральную совокупность Обучаемся на доступных примерах Пополняем множество примеров по просьбе алгоритма и переходим к п. 3


Слайд 14

Активное обучение Стохастическая оптимизация: Бюджетное Бандиты


Слайд 15

Деление по целевой функции С учителем Классификация Аппроксимация (экстраполяция) Metric learning Последовательности Без учителя Кластеризация Уменьшение размерности Representation Learning Смешанные Кластеризация с условиями Все те же, что и с учителем Transfer learning


Слайд 16

Обучение с учителем Классификация Аппроксимация (экстраполяция) Metric learning = Классификация Последовательности


Слайд 17

Другое обучение Без учителя Кластеризация Уменьшение размерности Representation Learning Смешанные Кластеризация с условиями Все те же, что и с учителем Transfer learning


Слайд 18

Деление по решающей функции Линейные решения Графы Нейронные сети (ANN) Параметрические семейства функций Instance based learning Предикаты Ансамбли


Слайд 19

Деление по решающей функции (1) Линейные решения Линейная регрессия, логистическая регрессия Скрытый дискриминантный анализ (LDA/QDA*) LASSO SVM LSI*


Слайд 20

Деление по решающей функции (2) Графы Деревья решений Байесовы сети Conditional Random Fields Нейронные сети (ANN) Персептронные сети Сети Хопфилда Машины Больцмана Сети Кохоннена


Слайд 21

Деление по решающей функции (3) Параметрические семейства функций Сэмплирование Генетические алгоритмы PLSI/LDA/прочие модели с распределениями (им нет числа) Instance based learning kNN


Слайд 22

Деление по решающей функции (4) Предикаты Логические выражения Регулярки/NFA/DFA Ансамбли Просто ансамбли Bagging Boosting BagBoo/BooBag


Слайд 23

ОТСЕБЯТЕНА Машинное Обучение: Начало


Слайд 24

Дедуктивные/индуктивные методы


Слайд 25

Data Mining vs. Machine Learning


Слайд 26

Artificial Intelligence vs. Machine Learning


Слайд 27

Применение ML Практически везде (дайте задачку, я попробую придумать применение) Есть два больших класса работ


×

HTML:





Ссылка: