'

Обучение классификаторов на основе выделения фрагментов

Понравилась презентация – покажи это...





Слайд 0

Обучение классификаторов на основе выделения фрагментов Васильев В.Г. vvg_2000@mail.ru


Слайд 1

Задачи выделения фрагментов Задача поиска фрагментов релевантных запросу (Passage Retrieval) вычисление весов фрагментов вычисление функции правдоподобия запроса построение вероятностных моделей запросов использование методов машинного обучения использование скрытых марковских моделей Задача классификации фрагментов в соответствии с классификатором (Passage Recognition) обучение на полных текстах , выделение фрагментов, классификация фрагментов классификация текста целиком, поиск наиболее релевантного фрагмента оценивание параметров скрытой марковской модели на полных текстах, выделение фрагментов


Слайд 2

Методы классификации текстов Метод машин опорных векторов (SVM) – рубрика отделяется от других классов с помощью гиперплоскости Байесовский классификатор на основе модели смеси распределений фон Мизеса-Фишера (VMF) – рубрика описывается с помощью точки на гиперсфере единичного радиуса


Слайд 3

Модель фон Мизеса-Фишера


Слайд 4

Методы выделения фрагментов в текстах Выделение фрагментов путем классификации предложений (SENT) Выделение фрагментов путем классификации блоков текста (TILE) Выделение фрагментов путем классификации иерархического покрытия (HIER) Выделение фрагментов с использованием оптимизационных методов (LS)


Слайд 5

Выделение фрагментов путем классификации блоков текста


Слайд 6

Выделение фрагментов путем классификации иерархического покрытия


Слайд 7

Выделение фрагментов с использованием оптимизационных методов


Слайд 8

Схема итерационного обучения отдельной рубрики Исходный массив Обучение модели Выделение фрагментов фрагмент


Слайд 9

Схема классификации текстов с использованием фрагментов Текст Выделение фрагментов Текст фрагмент фрагмент Построение вектора признаков фрагмент фрагмент Классификация


Слайд 10

Характеристики массивов текстов Полные массивы Сокращенные массивы текстов


Слайд 11

Пример текста из массива 20NG


Слайд 12

Пример текста из массива Reuters-21578


Слайд 13

Пример текста из массива ROMIP 2004 Legal


Слайд 14

Оценка качества классификации для массива ROMIP 2004 Legal Mini


Слайд 15

Оценка точности и полноты классификации 20 News Group Mini Romip 2004 Legal Mini


Слайд 16

Качество классификации для массива 20 NG от размера обучающего множества


Слайд 17

Качество классификации для массива Reuters-21578-10 от размера обучающего множества


Слайд 18

Качество классификации для массива 20 NG от числа итераций


Слайд 19

Время обучения и классификации массива 20 NG от числа итераций


Слайд 20

Среднее число выделяемых предложений для массива 20 NG в зависимости от числа итераций


Слайд 21

Выводы Обучения классификаторов с использованием фрагментов более эффективно при маленьких размерах обучающих выборок В некоторых случаях использование данного метода может заметно улучшить полноту классификации Для сходимости метода достаточно выполнения нескольких итераций


Слайд 22

Направления дальнейших исследований Анализ характера выделяемых фрагментов и областей применимости рассмотренного подхода Использование методов рандомизации (бутстреп метода) для расширения объема обучающих выборок Выделение фрагментов с использованием правил на специальном языке


×

HTML:





Ссылка: