'

АДАПТИВНЫЙ ОПЕРАТОР МУТАЦИИ ДЛЯ НЕЙРОЭВОЛЮЦИОННОГО АЛГОРИТМА

Понравилась презентация – покажи это...





Слайд 0

АДАПТИВНЫЙ ОПЕРАТОР МУТАЦИИ ДЛЯ НЕЙРОЭВОЛЮЦИОННОГО АЛГОРИТМА Цой Ю.Р., Спицын В.Г. Томский политехнический университет Кафедра вычислительной техники qai@mail.ru, spitsyn@ce.cctpu.edu.ru http://qai.narod.ru


Слайд 1

СОДЕРЖАНИЕ Введение Алгоритм NEvA Адаптивный оператор мутации Результаты работы Заключение


Слайд 2

Использование ИНС включает: Подготовка обучающих данных Выбор архитектуры Обучение Дополнительные операции по оптимизации обученной ИНС 1. Введение (1/2) Генетические алгоритмы (ГА) и искусственные нейронные сети (ИНС) – две концепции, имеющие природные «прототипы».


Слайд 3

1. Введение (2/2) Эволюционные алгоритмы для настройки и обучения ИНС: Настройка значений весов связей (F. Gomez, D. Whitley, Л. Комарцова, О. Мосалов) Поиск структуры ИНС (A. Fiszelew, А. Хомич) Одновременная настройка весов и структуры ИНС (C. Ferreira, F.Gruau, C. Igel, D. Moriarty, K. Stanley, X. Yao) Ограничиваемые параметры: - количество скрытых нейронов и топология ИНС; - количество входных связей нейронов; - «направление» эволюции сетей (усложнение/упрощение)


Слайд 4

2. Алгоритм NEvA (1/3) NEvA – NeuroEvolutionary Algorithm Настройка весов и структуры ИНС 1 особь = нейронная сеть Популяция = множество нейронных сетей


Слайд 5

2. Алгоритм NEvA (2/3) Пример скрещивания:


Слайд 6

2. Алгоритм NEvA (3/3) Начальная популяция – ИНС без скрытых нейронов. Усложнение структуры нейронных сетей в процессе эволюции. Нейроны с лог-сигмоидной функцией активации


Слайд 7

NC – количество связей в сети, NI, NO, NN – соответственно количество входных, выходных нейронов и общее число нейронов в сети, FB – флаг, обозначающий, разрешено появление обратных связей (FB=1) или нет (FB=0) 3. Адаптивный оператор мутации (1/5)


Слайд 8

fC – степень «связанности» ИНС fN – регуляция скорости усложнения структуры ИНС 3. Адаптивный оператор мутации (2/5) Нет обратных связей (FB = 0) Возможны обратные связи (FB = 1)


Слайд 9

3. Адаптивный оператор мутации (3/5) FC = fC2 FN = FC * fN2 СВ – случайная величина NH – число скры- тых нейронов


Слайд 10

3. Адаптивный оператор мутации (4/5) Пример fC = 6 /(0,5*(5*4 – 2*1 – 1*0)) = 0,667 fN = 3/5 = 0,6 FC = fC2 = 0,445, FN = FC * fN2 = 0,160 p1 p2 p3 p4 p1 = ( 1 - FC )(1-FC+aFC) = 0,308 p2 = 0,454, p3 = 0,071, p4 = 0,166


Слайд 11

3. Адаптивный оператор мутации (5/5) Вероятность мутации: «Уменьшение вероятности мутации в процессе эволюции улучшает результаты работы ГА» (Schаffer, Caruana, Eshelman, Das, 1989, Goldberg, 1989, Eiben, Hinterding, Michalewicz,1999, Igel, Kreutz, 2003 ) NC – количество связей в ИНС, представленной особью Вероятность мутации разыгрывается NI+NO раз для каждой особи. Таким образом, вероятность k-кратной мутации:


Слайд 12

Исключающее ИЛИ 4. Результаты экспериментов (1/4)


Слайд 13

Балансирование 1 шеста 4. Результаты экспериментов (2/4)


Слайд 14

Балансирование 2 шестов 4. Результаты экспериментов (3/4)


Слайд 15

Удаление входных сигналов для задачи балансирования двух маятников: 7 раз удален 1 вход с сигналом о движении тележки. 1 раз удалено 2 входа с сигналами о движении тележки. 4. Результаты экспериментов (4/4) Удаление связей может привести к изоляции некоторых входных нейронов в полученной ИНС, и, следовательно, к уменьшению размерности проблемы.


Слайд 16

5. Заключение (1/2) Планы на будущее: исследовать скорость работы алгоритма на задачах, требующих использование обратных связей; исследовать обобщающие способности получаемых ИНС на примере данных из тестового набора Proben1; реализовать адаптивную настройку размера популяции, что способно увеличить скорость работы алгоритма до 30%.


Слайд 17

5. Заключение (2/2) Использование адаптивной вероятности мутации позволило добиться улучшения скорости работы алгоритма (до 30% процентов в задаче балансирования двух маятников). В алгоритме NEvA нет явного ограничения на сложность структуры получаемых ИНС. Направление эволюции (упрощение или усложнение сетей) также не ограничивается.


Слайд 18

Ваши вопросы qai@mail.ru http://qai.narod.ru Спасибо за внимание!


×

HTML:





Ссылка: