'

Итерационное извлечение шаблонов описания событий по новостным кластерам

Понравилась презентация – покажи это...





Слайд 0

Итерационное извлечение шаблонов описания событий по новостным кластерам Котельников Дмитрий Сергеевич МГУ им. М.В. Ломоносова Лукашевич Наталья Валентиновна НИВЦ МГУ им. М.В. Ломоносова


Слайд 1

План Задача извлечения информации из текста Извлечение сущностей Итерационное извлечение шаблонов описания событий Оценка предложенного подхода и результаты


Слайд 2

Извлечение информации из текста Выделение из текста на естественном языке структурированной информации «МВФ предоставит Белоруссии кредит на сумму $2,46 млрд» Кредитор: МВФ Получатель: Белоруссия Сумма: $2,46 млрд


Слайд 3

Подходы к созданию систем Системы основанные на знаниях («инженерный подход») Правила выделения фактов из текста составляются человеком вручную Высокая трудоемкость создания Сложность адаптации к извлечению новых фактов Автоматически обучающиеся системы Правила выделения событий формируются автоматически Необходимость создания размеченной коллекции


Слайд 4

Итерационный метод S. Brin “Extracting Patterns and Relations from the World Wide Web” Обучение начинается с небольшого количества размеченных примеров <LI><B>First Men in the Moon</B>by H. G. Wells ( <LI><B>title</B> by author ( Извлечение шаблонов Извлечение фактов


Слайд 5

Постановка задачи Разработать способ автоматического формирования шаблонов для системы извлечения информации из текста. Проверить качество работы системы при обучении на небольшом количестве размеченных примеров Новостные кластеры — источник разнообразных описаний событий


Слайд 6

План Задача извлечения информации из текста Извлечение сущностей Итерационное извлечение шаблонов описания событий Оценка предложенного подхода и результаты


Слайд 7

Извлечение сущностей Виды извлекаемых сущностей: обозначения даты или времени: «5 августа 2006 года» «05.07.1988» числовые выражения: «5,5 миллиардов долларов» «пятьдесят процентов» именованные объекты: «Международный валютный фонд» «В.В. Путин»


Слайд 8

Извлечение сущностей Для выделения именованных сущностей использовался упрощенный алгоритм Президент Дмитрий Медведев поручил правительству Российской Федерации не выполнять протокол


Слайд 9

Извлечение сущностей Анализ совместной встречаемости сущностей в предложениях: Россия готова участвовать в кредите ЕС Киеву на энергоцели - заявил Путин; В ответ на жесткую позицию России, которая заявила, что не будет выполнять подписанный Киевом протокол по транзиту газа из-за внесенных в него оговорок, ЕС и Украина говорят, что согласны рассмотреть претензии Москвы»


Слайд 10

Поиск синонимичных сущностей Один объект может описываться различными выражениями: «МВФ» «Международный валютный фонд» «Совет директоров МВФ» «Исполнительный совет Международного валютного фонда»


Слайд 11

Поиск синонимичных сущностей Совпадение контекстов употребления слова: Заместитель главы Газпрома Александр Медведев заявил, что поставки российского газа в Евросоюз через территорию Украины могут быть возобновлены. Поставки российского газа в Европу через территорию Украины могут быть возобновлены.


Слайд 12

Поиск синонимичных сущностей Контексты через глагол: Президент Дмитрий Медведев поручил правительству Российской Федерации не выполнять протокол до тех пор, пока в нем не будут сняты противоречия. Президент России Дмитрий Медведев поручил правительству Российской Федерации не выполнять протокол до тех пор, пока в нем не будут сняты противоречия.


Слайд 13

План Задача извлечения информации из текста Извлечение сущностей Итерационное извлечение шаблонов описания событий Оценка предложенного подхода и результаты


Слайд 14

Исходные данные Новостной кластер на заданную тему, в котором указаны все участники события: Покупатель: «Microsoft» Товар: «Yahoo» Сумма: «44,6 млрд»


Слайд 15

Метод формирования шаблонов Известные факты Поиск сущностей в предложениях кластера Извлечение шаблонов Применение шаблонов


Слайд 16

Метод формирования шаблонов «Microsoft намерена купить Yahoo за 44,6 млрд долларов» «Компания Microsoft собирается приобрести поисковую систему Yahoo за 44,6 миллиардов долларов»


Слайд 17

Метод формирования шаблонов Известные факты Поиск сущностей в предложениях кластера Извлечение шаблонов Применение шаблонов


Слайд 18

Значимые слова Присутствие некоторых слов в предложении может указывать на наличие в нем извлекаемого события «МВФ предоставил Белоруссии кредит на $2,46 млрд» «МВФ дал Белоруссии $2,46 млрд»


Слайд 19

Извлечение шаблонов Выделяется непустая подстрока лемм между двумя различными слотами Шаблон должен обязательно содержать глагол и значимое слово: «Microsoft намерена купить Yahoo за 44,6 млрд долларов» [Entity:Buyer:[Им]] НАМЕРИТЬ {КУПИТЬ} [Entity: Goods:[Дт]] ЗА [Number:Amount]


Слайд 20

Метод формирования шаблонов Известные факты Поиск сущностей в предложениях кластера Извлечение шаблонов Применение шаблонов


Слайд 21

План Задача извлечения информации из текста Извлечение сущностей Итерационное извлечение шаблонов описания событий Оценка предложенного подхода и результаты


Слайд 22

Эксперименты Была размечена коллекция из 84 новостных кластеров. Пример разметки: Кредитор : МВФ ; Совет директоров МВФ ; совета директоров Международного валютного фонда ; Международный валютный фонд ; Исполнительный совет директоров МВФ ; СД МВФ Сумма : 2 , 5 миллиардов долларов ; 2 , 46 млрд долл ; Получатель : Минск ; Белоруссии ; Беларуси ; власти Белоруссии


Слайд 23

Эксперименты Результаты перекрестной проверки при разделении на 4 части:


Слайд 24

Эксперименты Сравнение с системой, основанной на инженерном подходе для факта получения кредита


Слайд 25

Примеры шаблонов [Entity:Creditor:[Им]] <ПРЕДОСТАВИТЬ> [Entity:Debtor:[Рд, Дт, Пр]] {КРЕДИТ} [Entity:Creditor:[Вн, Им]] <ВЫДЕЛИТЬ> [Entity:Debtor:[Им, Рд]] {КРЕДИТ} [Entity:Debtor:[Им]] <ПОЛУЧИТЬ> {КРЕДИТ} НА [Number:Amount] [Entity:Creditor:[Им]] <ВЫДЕЛИТЬ> [Entity:Debtor:[Рд, Дт, Пр]] {КРЕДИТ} В [Number:Amount]


Слайд 26

Примеры значимых слов


Слайд 27

Результаты Разработан метод итерационного извлечения шаблонов для системы извлечения информации из текста, основанный на нахождении в новостном кластере несколько близких по содержанию предложений. Проведены эксперименты, которые показали применимость системы для формирования шаблонов на небольшом количестве размеченных примеров


×

HTML:





Ссылка: