'

Когнитивная наука

Понравилась презентация – покажи это...





Слайд 0

Когнитивная наука 2007/2008 Актуальные проблемы прикладной лингвистики


Слайд 1

МОДУЛЬНЫЙ ПОДХОД К ПОЗНАНИЮ (с) Леда Космидес, Джон Туби


Слайд 2

МОДУЛЬНЫЙ ПОДХОД К ПОЗНАНИЮ


Слайд 3

ОСНОВЫ МОДУЛЬНОГО ПОДХОДА К ПОЗНАНИЮ Ноэм Хомский (1988): врожденность языковой способности и ее независимость от других способностей -- язык как отдельный «умственный орган» Нейропсихология XIX века: речь может нарушаться при сохранности прочих функций (зона Брока, зона Вернике)


Слайд 4

Языковая способность как отдельный модуль Ген FOXP2 хромосомы 7 Разница в усвоении L1 и L2 Трудности в обучении обезьян языку Грамматики устной речи vs языки глухонемых Креольские языки, создание языка жестов группой глухонемых детей


Слайд 5

ОСНОВЫ МОДУЛЬНОГО ПОДХОДА К ПОЗНАНИЮ Идея модульности познания -- Дэвид Марр (1945-1980): «Любой большой массив вычислений должен быть разбит и реализован как набор частей, независимых друг от друга настолько, насколько это допускает общая задача…» (1976)


Слайд 6

РОЖДЕНИЕ МОДУЛЬНОГО ПОДХОДА К ПОЗНАНИЮ Джерри Фодор (1983): общая концепция «модульности»: познание как мозаика специализированных модулей Насколько этот принцип универсален?


Слайд 7

МОДУЛЬНЫЙ ПОДХОД К ПОЗНАНИЮ Когнитивная архитектура: Модульные системы ввода Центральные системы: планирование, принятие решения


Слайд 8

КРИТЕРИИ ВЫДЕЛЕНИЯ МОДУЛЕЙ Особая сфера влияния, или специализация (domain specificity): каждый модуль компетентен в обработке одного из видов информации или в решении одного из классов познавательных задач и не участвует в решении других классов задач


Слайд 9

Насколько речь модульна? Недавнее появление в филогенезе Пластичность поведенческих проявлений Пластичность нервных механизмов Произвольность связей между обозначением и обозначаемым Элизабет Бейтс (1947-2003)


Слайд 10

ГИПОТЕЗА ВСЕОБЩЕЙ МОДУЛЬНОСТИ Дэн Спербер: познание полностью модульно -- так же, как биологический организм. Неспециализированных систем переработки информации, использующих обобщенный «умственный лексикон», НЕТ.


Слайд 11

КРИТИКА МОДУЛЬНОГО ПОДХОДА 1. Теоретическая: проблема обучения и пластичности познания; влияние культуры на «модульные» процессы (см. в частности пример зрения, top-down processing) проблема нисходящей (data-driven) регуляции решения познавательных задач.


Слайд 12

А.Лентулов, Москва


Слайд 13

ВЫВОД: познавательные процессы не обусловлены наследственностью настолько, как того хотелось бы представителям модульного подхода… Неспециализированная обучаемая система! Адекватная модель?


Слайд 14

Представление и приобретение знаний: есть ли альтернатива компьютерной метафоре?


Слайд 15

Нейронные сети: Мозг как компьютер vs. Компьютер как мозг


Слайд 16

Мозг человека: преимущества перед компьютером 1011 нейронов, 1014-1015 связей между нейронами. Частота импульсации -- 102 Гц (современные персональные компьютеры -- до 109 Гц). NB! Медлительность и ненадежность отдельных нейронов компенсируется их количеством. Параллельная переработка информации (в компьютерах -- преимущественно последовательная). «Переход количества в качество»: богатство поведения. Нельзя сказать, что мозг исходно «готов к использованию»: велика роль обучения.


Слайд 17

Нейросетевой подход: основные положения Процессы познания -- результат взаимодействия большого числа простых перерабатывающих элементов, связанных друг с другом и организованных в слои («модули»). «Переработка информации» -- определенный ответ элемента на воздействия извне. Знания, управляющие процессом переработки, хранятся в форме весовых коэффициентов связей между элементами сети. Главное -- не элементы, а связи между ними («субсимвольный подход»). Обучение -- процесс изменения весовых коэффициентов связей между элементами сети (приспособления их к решению определенной задачи).


Слайд 18

Классы задач, решаемых современными нейросетями: Классификация: распознавание образов, распознавание голосов, верификация подписей, постановка диагноза, анализ экспериментальных данных и т.д. Моделирование: поведение системы, поставленной в определенные условия. Прогноз: погода, ситуация на рынке ценных бумаг, бега, выборы и т.д. Комплексные задачи: управление принятие решений


Слайд 19

Нейронные сети: рождение идеи (1943) Уоррен Маккаллох (1898-1969) Уолтер Питтс (1923-1969) «Логическое исчисление присуще нейронной активности» (1943)


Слайд 20

Нейронные сети РЕАЛЬНЫЙ НЕЙРОН


Слайд 21

Мозг человека содержит 1011 нейронов. Состав нейрона: аксон, 10 000 дендритов, синапсы Состояние нейрона: возбуждение и торможение


Слайд 22

Нейронные сети ФОРМАЛЬНЫЙ НЕЙРОН Элемент с пороговой логикой (TLU): преодоление порога -- 1, иначе -- 0.


Слайд 23

Формальный нейрон Входные сигналы формируются в рецепторах (не входят нейрон). Далее эти сигналы умножаются на веса соответствующих синапсов (которые могут изменяться при обучении), затем результаты суммируются. На основе полученной суммы (NET) с помощью активационной функции вычисляется выходной сигнал нейрона (OUT).


Слайд 24

Нейрон как компьютер Сигнал сумматора: n – количество синапсов i – индекс сигнала xi – входной сигнал NET – сигнал сумматора Активизационная функция: OUT = F(NET) Примеры активизационных функций: OUT = K*NET OUT=1, NET>T; OUT=0, NET? T OUT=1/(1 + e-NET)


Слайд 25

Искусственный нейрон: активационная функция (y)


Слайд 26

Классическая модель нейрона (Маккалох и Питт)


Слайд 27

Нейронная сеть Нейронная сеть – ориентированный ациклический граф, вершины которого нейроны разбиты на слои. Ребра – синапсы. Каждому ребру приписан свой вес и функция проводимости.


Слайд 28

Три типа нейронов: входные (рецепторы) -- активируются извне; внутренние (центральные) -- активируются входными и прочими нейронами и активируют входные и прочие нейроны; выходные (эффекторы) -- получают импульсы от центральных и входных нейронов и отвечают за выполнение действия. Теоретическая концепция искусственной сети Маккаллоха и Питтса


Слайд 29

Теоретическая концепция искусственной сети Маккаллоха и Питтса Правила функционирования сети: задержки в распространении активации одинаковы для всех нейронов сети; нейроны импульсируют не постоянно, а только в определенные моменты; каждый выходной синапс одного нейрона соответствует только одному входному синапсу следующего нейрона; на любом нейроне может сходиться несколько синапсов; входные синапсы вносят вклад в преодоление порога активации, при переходе через который (и только в этом случае) нейрон начинает передавать импульс.


Слайд 30

Развитие нейронных сетей Фрэнк Розенблатт (1928-1969), Корнельский университет, США -- перцептрон (1958)


Слайд 31

Развитие нейронных сетей Фрэнк Розенблатт (1928-1969), Корнельский университет, США 1962 -- «Принципы нейродинамики: перцептроны и теория мозговых механизмов»: интеграция данных компьютерного моделирования (включая перцептрон), нейрохирургии, регистрации активности отдельных нейронов и т.д.


Слайд 32

Перцептрон Розенблатта


Слайд 33

Перцептрон Розенблатта Однослойный персептрон характеризуется матрицей синаптических связей ||W|| от S- к A-элементам. Элемент матрицы отвечает связи, ведущей от i-го S-элемента (строки) к j-му A-элементу (столбцы).


Слайд 34

Обучение нейронной сети Нейронная сеть обучается, чтобы для некоторого множества входных сигналов давать желаемое множество выходных сигналов. Каждое множество сигналов при этом рассматривается как вектор. Обучение осуществляется путем последовательного предъявления входных векторов с одновременной подстройкой весов в соответствии с определенной процедурой. В процессе обучения веса сети постепенно становятся такими, чтобы каждый входной вектор вырабатывал требуемый выходной вектор, используя правила, указанные выше.


Слайд 35

Обучение перцептрона Обучение классической нейронной сети состоит в подстройке весовых коэффициентов каждого нейрона. Пусть имеется набор пар векторов {xa, ya}, a = 1..p, называемый обучающей выборкой, состоящей из p объектов. Вектор {xa} характеризует систему признаков конкретного объекта a обучающей выборки, зафиксированную S-элементами. Вектор {ya} характеризует картину возбуждения нейронов при предъявлении нейронной сети конкретного объекта a обучающей выборки:  


Слайд 36

Обучение перцептрона


Слайд 37

Обучение перцептрона Будем называть нейронную сеть обученной на данной обучающей выборке, если при подаче на вход сети вектора {xa} на выходе всегда получается соответствующий вектор {ya}, т.е. каждому набору признаков соответствуют определенные классы.


Слайд 38

Обучение перцепторна Система связей между рецепторами S и A - элементами, так же как и пороги A - элементов выбираются некоторым случайным, но фиксированным образом Обучение – изменение коэффициентов ki. Задача: разделять два класса объектов: при предъявлении объектов первого класса выход перцептрона был положителен, а при предъявлении объектов второго класса – отрицательным. Начальные коэффициенты ki полагаем равными нулю.


Слайд 39

Обучение перцептрона Предъявляем обучающую выборку: объекты (например, круги либо квадраты) с указанием класса, к которым они принадлежат. Показываем перцептрону объект первого класса. При этом некоторые A - элементы возбудятся. Значения возбуждений каждого нейрона образуют входной вектор. Коэффициенты ki , соответствующие этим возбужденным элементам, увеличиваем на 1. Предъявляем объект второго класса и коэффициенты  ki тех A - элементов, которые возбудятся при этом показе, уменьшаем на 1. Процесс продолжим для всей обучающей выборки. В результате обучения сформируются значения весов связей ki . Значения пороговой функции – выходной вектор.


Слайд 40

ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ Дональд Олдинг Хебб (1904-1985) Итог -- образование «нейронного ансамбля», который все быстрее активируется при каждом очередном повторении входа. Правило Хебба (1949): между одновременно активированными нейронами сети пороги синаптической связи снижаются.


Слайд 41

УПАДОК КОННЕКЦИОНИЗМА 1969 -- Марвин Минский, Сеймур Пейперт «Перцептроны»: приговор нейронным сетям?


Слайд 42

РЕНЕССАНС КОННЕКЦИОНИЗМА 1986 -- Дэвид Румельхарт (Стэнфорд), Джеймс Макклелланд (Карнеги-Меллон) «Параллельно-распределенная переработка» (PDP)


Слайд 43

АРХИТЕКТУРА НЕЙРОННОЙ СЕТИ


Слайд 44

Основные понятия: «Нейрон» (unit, node) -- элемент сети, который суммирует входные сигналы и, в случае превышения порога его активации, выдает выходной сигнал (1 или 0) , выполняющий функцию активации или торможения в соответствии с весовым коэффициентом связи между ним и последующими нейронами. Функция связи между элементами сети («синапса») -- умножение сигнала на весовой коэффициент. Порог -- весовой коэффициент, связанный с постоянным входным сигналом, равным 1.


Слайд 45

ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ: «Обучение с наставником»: задачи распознавания (заранее известен правильный ответ -> сеть настраивается на выдачу ответов, максимально близких к нему). «Обучение без наставника»: задачи классификации (правильный ответ неизвестен, но набор параметров относительно устойчив -> раскрытие внутренней структуры данных или связей между образцами). Смешанные формы обучения.


Слайд 46

Алгоритм обучения (метод градиентного спуска aka обратное распространение ошибки) Выбрать очередную пару векторов Xk и Yk из обучающей выборки. Вычислить выход сети Y . Вычислить разность между выходом сети Y и требуемым выходным вектором Yk (целевым вектором обучающей пары). Т.е. определить ошибку нейронной сети. Подкорректировать веса сети wji так, чтобы минимизировать ошибку. Повторять шаги с 1 по 4 для каждой пары обучающей выборки до тех пор, пока ошибка не достигнет приемлемого уровня.


Слайд 47

Обучение нейрона Угол между векторами: скалярное произведение / произведение длин Минимизация средней квадратичной ошибки при помощи корректировки весовых коэффициентов метод минимальных квадратов F(x) = mx+b MIN SS(m,b) = ?(yi-f(xi))2 = ?(yi-mxi-b)2, i=1…n


Слайд 48

Организация памяти (Макклелланд, 1981):


Слайд 49

Работа сети Nodes organized in pools Inhibitory weights within pool Excitatory weights between pools Individual units point to property units Signals pass through network, and the network finds a stable pattern of processor activity


Слайд 50

Преимущество нейронной сети Retrieve info from partial description •Correct info from incorrect input •Retrieve info not explicitly encoded Retrieve info after network damage


Слайд 51

Коннекционизм Формирование у нейронной сети «социальных стереотипов»


Слайд 52

ПРЕИМУЩЕСТВА СЕТЕВОЙ АРХИТЕКТУРЫ Возможность обучения Распределенное хранение информации ПРОБЛЕМЫ НЕЙРОСЕТЕВОГО ПОДХОДА Границы пластичности субстрата и «содержательная» специализация? Ограничения по типам решаемых задач


Слайд 53

Нейронные сети Символьные модели неявные правила, «интуитивные» задачи (индивидуальные знания): умозаключение по аналогии, выделение фигуры на фоне и т.п. явные правила, формализуемые задачи (культурно-обусловленные общедоступные знания): например, логические и математические задачи. СИМВОЛЬНЫЕ И НЕЙРОСЕТЕВЫЕ МОДЕЛИ: «СФЕРЫ ВЛИЯНИЯ» Задачи, требующие обучения. Задачи, требующие конечного набора знаний.


Слайд 54

Нейронные сети Символьные модели СИМВОЛЬНЫЕ И НЕЙРОСЕТЕВЫЕ МОДЕЛИ: «СФЕРЫ ВЛИЯНИЯ»


Слайд 55

Нейронная сеть распознавание образов, быстрые ответы на запросы сложной окружающей среды ВОЗМОЖНОСТИ ИНТЕГРАЦИИ НЕЙРОСЕТЕВОГО И СИМВОЛЬНОГО ПОДХОДОВ: ЭКСПЕРТНЫЕ СИСТЕМЫ Экспертная система принятие решений, логическая проверка выводов с учетом дополнительной информации


Слайд 56

ВОЗМОЖНОСТИ ИНТЕГРАЦИИ НЕЙРОСЕТЕВОГО И МОДУЛЬНОГО ПОДХОДОВ: ПРОБЛЕМА ВРОЖДЕННОГО И ПРИОБРЕТЕННОГО В ПОЗНАНИИ «Наследственность» нейронной сети: количество элементов количество слоев правила и параметры распространения активации и изменения весов в разных слоях Достаточно ли этого для развития форм познания, характерных для человека?


×

HTML:





Ссылка: