Когнитивная наука


The Presentation inside:

Slide 0

Когнитивная наука 2007/2008 Актуальные проблемы прикладной лингвистики


Slide 1

МОДУЛЬНЫЙ ПОДХОД К ПОЗНАНИЮ (с) Леда Космидес, Джон Туби


Slide 2

МОДУЛЬНЫЙ ПОДХОД К ПОЗНАНИЮ


Slide 3

ОСНОВЫ МОДУЛЬНОГО ПОДХОДА К ПОЗНАНИЮ Ноэм Хомский (1988): врожденность языковой способности и ее независимость от других способностей -- язык как отдельный «умственный орган» Нейропсихология XIX века: речь может нарушаться при сохранности прочих функций (зона Брока, зона Вернике)


Slide 4

Языковая способность как отдельный модуль Ген FOXP2 хромосомы 7 Разница в усвоении L1 и L2 Трудности в обучении обезьян языку Грамматики устной речи vs языки глухонемых Креольские языки, создание языка жестов группой глухонемых детей


Slide 5

ОСНОВЫ МОДУЛЬНОГО ПОДХОДА К ПОЗНАНИЮ Идея модульности познания -- Дэвид Марр (1945-1980): «Любой большой массив вычислений должен быть разбит и реализован как набор частей, независимых друг от друга настолько, насколько это допускает общая задача…» (1976)


Slide 6

РОЖДЕНИЕ МОДУЛЬНОГО ПОДХОДА К ПОЗНАНИЮ Джерри Фодор (1983): общая концепция «модульности»: познание как мозаика специализированных модулей Насколько этот принцип универсален?


Slide 7

МОДУЛЬНЫЙ ПОДХОД К ПОЗНАНИЮ Когнитивная архитектура: Модульные системы ввода Центральные системы: планирование, принятие решения


Slide 8

КРИТЕРИИ ВЫДЕЛЕНИЯ МОДУЛЕЙ Особая сфера влияния, или специализация (domain specificity): каждый модуль компетентен в обработке одного из видов информации или в решении одного из классов познавательных задач и не участвует в решении других классов задач


Slide 9

Насколько речь модульна? Недавнее появление в филогенезе Пластичность поведенческих проявлений Пластичность нервных механизмов Произвольность связей между обозначением и обозначаемым Элизабет Бейтс (1947-2003)


Slide 10

ГИПОТЕЗА ВСЕОБЩЕЙ МОДУЛЬНОСТИ Дэн Спербер: познание полностью модульно -- так же, как биологический организм. Неспециализированных систем переработки информации, использующих обобщенный «умственный лексикон», НЕТ.


Slide 11

КРИТИКА МОДУЛЬНОГО ПОДХОДА 1. Теоретическая: проблема обучения и пластичности познания; влияние культуры на «модульные» процессы (см. в частности пример зрения, top-down processing) проблема нисходящей (data-driven) регуляции решения познавательных задач.


Slide 12

А.Лентулов, Москва


Slide 13

ВЫВОД: познавательные процессы не обусловлены наследственностью настолько, как того хотелось бы представителям модульного подхода… Неспециализированная обучаемая система! Адекватная модель?


Slide 14

Представление и приобретение знаний: есть ли альтернатива компьютерной метафоре?


Slide 15

Нейронные сети: Мозг как компьютер vs. Компьютер как мозг


Slide 16

Мозг человека: преимущества перед компьютером 1011 нейронов, 1014-1015 связей между нейронами. Частота импульсации -- 102 Гц (современные персональные компьютеры -- до 109 Гц). NB! Медлительность и ненадежность отдельных нейронов компенсируется их количеством. Параллельная переработка информации (в компьютерах -- преимущественно последовательная). «Переход количества в качество»: богатство поведения. Нельзя сказать, что мозг исходно «готов к использованию»: велика роль обучения.


Slide 17

Нейросетевой подход: основные положения Процессы познания -- результат взаимодействия большого числа простых перерабатывающих элементов, связанных друг с другом и организованных в слои («модули»). «Переработка информации» -- определенный ответ элемента на воздействия извне. Знания, управляющие процессом переработки, хранятся в форме весовых коэффициентов связей между элементами сети. Главное -- не элементы, а связи между ними («субсимвольный подход»). Обучение -- процесс изменения весовых коэффициентов связей между элементами сети (приспособления их к решению определенной задачи).


Slide 18

Классы задач, решаемых современными нейросетями: Классификация: распознавание образов, распознавание голосов, верификация подписей, постановка диагноза, анализ экспериментальных данных и т.д. Моделирование: поведение системы, поставленной в определенные условия. Прогноз: погода, ситуация на рынке ценных бумаг, бега, выборы и т.д. Комплексные задачи: управление принятие решений


Slide 19

Нейронные сети: рождение идеи (1943) Уоррен Маккаллох (1898-1969) Уолтер Питтс (1923-1969) «Логическое исчисление присуще нейронной активности» (1943)


Slide 20

Нейронные сети РЕАЛЬНЫЙ НЕЙРОН


Slide 21

Мозг человека содержит 1011 нейронов. Состав нейрона: аксон, 10 000 дендритов, синапсы Состояние нейрона: возбуждение и торможение


Slide 22

Нейронные сети ФОРМАЛЬНЫЙ НЕЙРОН Элемент с пороговой логикой (TLU): преодоление порога -- 1, иначе -- 0.


Slide 23

Формальный нейрон Входные сигналы формируются в рецепторах (не входят нейрон). Далее эти сигналы умножаются на веса соответствующих синапсов (которые могут изменяться при обучении), затем результаты суммируются. На основе полученной суммы (NET) с помощью активационной функции вычисляется выходной сигнал нейрона (OUT).


Slide 24

Нейрон как компьютер Сигнал сумматора: n – количество синапсов i – индекс сигнала xi – входной сигнал NET – сигнал сумматора Активизационная функция: OUT = F(NET) Примеры активизационных функций: OUT = K*NET OUT=1, NET>T; OUT=0, NET? T OUT=1/(1 + e-NET)


Slide 25

Искусственный нейрон: активационная функция (y)


Slide 26

Классическая модель нейрона (Маккалох и Питт)


Slide 27

Нейронная сеть Нейронная сеть – ориентированный ациклический граф, вершины которого нейроны разбиты на слои. Ребра – синапсы. Каждому ребру приписан свой вес и функция проводимости.


Slide 28

Три типа нейронов: входные (рецепторы) -- активируются извне; внутренние (центральные) -- активируются входными и прочими нейронами и активируют входные и прочие нейроны; выходные (эффекторы) -- получают импульсы от центральных и входных нейронов и отвечают за выполнение действия. Теоретическая концепция искусственной сети Маккаллоха и Питтса


Slide 29

Теоретическая концепция искусственной сети Маккаллоха и Питтса Правила функционирования сети: задержки в распространении активации одинаковы для всех нейронов сети; нейроны импульсируют не постоянно, а только в определенные моменты; каждый выходной синапс одного нейрона соответствует только одному входному синапсу следующего нейрона; на любом нейроне может сходиться несколько синапсов; входные синапсы вносят вклад в преодоление порога активации, при переходе через который (и только в этом случае) нейрон начинает передавать импульс.


Slide 30

Развитие нейронных сетей Фрэнк Розенблатт (1928-1969), Корнельский университет, США -- перцептрон (1958)


Slide 31

Развитие нейронных сетей Фрэнк Розенблатт (1928-1969), Корнельский университет, США 1962 -- «Принципы нейродинамики: перцептроны и теория мозговых механизмов»: интеграция данных компьютерного моделирования (включая перцептрон), нейрохирургии, регистрации активности отдельных нейронов и т.д.


Slide 32

Перцептрон Розенблатта


Slide 33

Перцептрон Розенблатта Однослойный персептрон характеризуется матрицей синаптических связей ||W|| от S- к A-элементам. Элемент матрицы отвечает связи, ведущей от i-го S-элемента (строки) к j-му A-элементу (столбцы).


Slide 34

Обучение нейронной сети Нейронная сеть обучается, чтобы для некоторого множества входных сигналов давать желаемое множество выходных сигналов. Каждое множество сигналов при этом рассматривается как вектор. Обучение осуществляется путем последовательного предъявления входных векторов с одновременной подстройкой весов в соответствии с определенной процедурой. В процессе обучения веса сети постепенно становятся такими, чтобы каждый входной вектор вырабатывал требуемый выходной вектор, используя правила, указанные выше.


Slide 35

Обучение перцептрона Обучение классической нейронной сети состоит в подстройке весовых коэффициентов каждого нейрона. Пусть имеется набор пар векторов {xa, ya}, a = 1..p, называемый обучающей выборкой, состоящей из p объектов. Вектор {xa} характеризует систему признаков конкретного объекта a обучающей выборки, зафиксированную S-элементами. Вектор {ya} характеризует картину возбуждения нейронов при предъявлении нейронной сети конкретного объекта a обучающей выборки:  


Slide 36

Обучение перцептрона


Slide 37

Обучение перцептрона Будем называть нейронную сеть обученной на данной обучающей выборке, если при подаче на вход сети вектора {xa} на выходе всегда получается соответствующий вектор {ya}, т.е. каждому набору признаков соответствуют определенные классы.


Slide 38

Обучение перцепторна Система связей между рецепторами S и A - элементами, так же как и пороги A - элементов выбираются некоторым случайным, но фиксированным образом Обучение – изменение коэффициентов ki. Задача: разделять два класса объектов: при предъявлении объектов первого класса выход перцептрона был положителен, а при предъявлении объектов второго класса – отрицательным. Начальные коэффициенты ki полагаем равными нулю.


Slide 39

Обучение перцептрона Предъявляем обучающую выборку: объекты (например, круги либо квадраты) с указанием класса, к которым они принадлежат. Показываем перцептрону объект первого класса. При этом некоторые A - элементы возбудятся. Значения возбуждений каждого нейрона образуют входной вектор. Коэффициенты ki , соответствующие этим возбужденным элементам, увеличиваем на 1. Предъявляем объект второго класса и коэффициенты  ki тех A - элементов, которые возбудятся при этом показе, уменьшаем на 1. Процесс продолжим для всей обучающей выборки. В результате обучения сформируются значения весов связей ki . Значения пороговой функции – выходной вектор.


Slide 40

ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ Дональд Олдинг Хебб (1904-1985) Итог -- образование «нейронного ансамбля», который все быстрее активируется при каждом очередном повторении входа. Правило Хебба (1949): между одновременно активированными нейронами сети пороги синаптической связи снижаются.


Slide 41

УПАДОК КОННЕКЦИОНИЗМА 1969 -- Марвин Минский, Сеймур Пейперт «Перцептроны»: приговор нейронным сетям?


Slide 42

РЕНЕССАНС КОННЕКЦИОНИЗМА 1986 -- Дэвид Румельхарт (Стэнфорд), Джеймс Макклелланд (Карнеги-Меллон) «Параллельно-распределенная переработка» (PDP)


Slide 43

АРХИТЕКТУРА НЕЙРОННОЙ СЕТИ


Slide 44

Основные понятия: «Нейрон» (unit, node) -- элемент сети, который суммирует входные сигналы и, в случае превышения порога его активации, выдает выходной сигнал (1 или 0) , выполняющий функцию активации или торможения в соответствии с весовым коэффициентом связи между ним и последующими нейронами. Функция связи между элементами сети («синапса») -- умножение сигнала на весовой коэффициент. Порог -- весовой коэффициент, связанный с постоянным входным сигналом, равным 1.


Slide 45

ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ: «Обучение с наставником»: задачи распознавания (заранее известен правильный ответ -> сеть настраивается на выдачу ответов, максимально близких к нему). «Обучение без наставника»: задачи классификации (правильный ответ неизвестен, но набор параметров относительно устойчив -> раскрытие внутренней структуры данных или связей между образцами). Смешанные формы обучения.


Slide 46

Алгоритм обучения (метод градиентного спуска aka обратное распространение ошибки) Выбрать очередную пару векторов Xk и Yk из обучающей выборки. Вычислить выход сети Y . Вычислить разность между выходом сети Y и требуемым выходным вектором Yk (целевым вектором обучающей пары). Т.е. определить ошибку нейронной сети. Подкорректировать веса сети wji так, чтобы минимизировать ошибку. Повторять шаги с 1 по 4 для каждой пары обучающей выборки до тех пор, пока ошибка не достигнет приемлемого уровня.


Slide 47

Обучение нейрона Угол между векторами: скалярное произведение / произведение длин Минимизация средней квадратичной ошибки при помощи корректировки весовых коэффициентов метод минимальных квадратов F(x) = mx+b MIN SS(m,b) = ?(yi-f(xi))2 = ?(yi-mxi-b)2, i=1…n


Slide 48

Организация памяти (Макклелланд, 1981):


Slide 49

Работа сети Nodes organized in pools Inhibitory weights within pool Excitatory weights between pools Individual units point to property units Signals pass through network, and the network finds a stable pattern of processor activity


Slide 50

Преимущество нейронной сети Retrieve info from partial description •Correct info from incorrect input •Retrieve info not explicitly encoded Retrieve info after network damage


Slide 51

Коннекционизм Формирование у нейронной сети «социальных стереотипов»


Slide 52

ПРЕИМУЩЕСТВА СЕТЕВОЙ АРХИТЕКТУРЫ Возможность обучения Распределенное хранение информации ПРОБЛЕМЫ НЕЙРОСЕТЕВОГО ПОДХОДА Границы пластичности субстрата и «содержательная» специализация? Ограничения по типам решаемых задач


Slide 53

Нейронные сети Символьные модели неявные правила, «интуитивные» задачи (индивидуальные знания): умозаключение по аналогии, выделение фигуры на фоне и т.п. явные правила, формализуемые задачи (культурно-обусловленные общедоступные знания): например, логические и математические задачи. СИМВОЛЬНЫЕ И НЕЙРОСЕТЕВЫЕ МОДЕЛИ: «СФЕРЫ ВЛИЯНИЯ» Задачи, требующие обучения. Задачи, требующие конечного набора знаний.


Slide 54

Нейронные сети Символьные модели СИМВОЛЬНЫЕ И НЕЙРОСЕТЕВЫЕ МОДЕЛИ: «СФЕРЫ ВЛИЯНИЯ»


Slide 55

Нейронная сеть распознавание образов, быстрые ответы на запросы сложной окружающей среды ВОЗМОЖНОСТИ ИНТЕГРАЦИИ НЕЙРОСЕТЕВОГО И СИМВОЛЬНОГО ПОДХОДОВ: ЭКСПЕРТНЫЕ СИСТЕМЫ Экспертная система принятие решений, логическая проверка выводов с учетом дополнительной информации


Slide 56

ВОЗМОЖНОСТИ ИНТЕГРАЦИИ НЕЙРОСЕТЕВОГО И МОДУЛЬНОГО ПОДХОДОВ: ПРОБЛЕМА ВРОЖДЕННОГО И ПРИОБРЕТЕННОГО В ПОЗНАНИИ «Наследственность» нейронной сети: количество элементов количество слоев правила и параметры распространения активации и изменения весов в разных слоях Достаточно ли этого для развития форм познания, характерных для человека?


×

HTML:





Ссылка: