Книги по психологии

МАТЕМАТИЧЕСКАЯ МОДЕЛЬ ФОРМИРОВАНИЯ БИЛИНГВИЗМА У ВЗРОСЛЫХ С ПОСТРОЕНИЕМ СООТВЕТСТВУЮЩЕЙ МОДЕЛИ НЕЙРОННОЙ СЕТИ
Периодика - Психологічні перспективи

УДК 159.955:378.14:811 В. В. Пундев

В данной работе программным способом моделируются процессы усвое­ния единиц второго языка у взрослых, обучение рассматривается как с интен­сификацией формирования системы второго языка, так и без нее. Смодели­рованные интенсивные процессы определяют проблему обострения конкурен­ции нейронных ансамблей, ухудшения их симультанной работы и межгруппо - вой взаимосвязи, вследствие появления большего числа ошибок в нейронных сетях более высокого порядка, но при этом скорость обучения ансамблей низкого уровня выше.

Ключевые слова: модель, единица второго языка, нейрон, нейронная сеть.

Пундєв В. В. Математична модель формування білінгвізму в дорослих

• ^ • ••• • и •• • \г 'и л1 *

Із побудовою відповідної моделі неиронної мережі. У цій роботі програмним способом моделюються процеси засвоєння одиниць другої мови в дорослих, навчання розглядається як з інтенсифікацією формування системи другої мови, так і без неї. Змодельовані інтенсивні процеси визначають проблему загострен­ня конкуренції нейронних ансамблів, погіршення їх симультанної роботи й міжгрупового взаємозв’язку, унаслідок появи збільшеного числа помилок у нейронних мережах вищого порядку, але при цьому вище швидкість навчання ансамблів низького рівня.

Ключові слова: модель, одиниця другої мови, нейрон, нейронна мережа.

Pundev V. V. The Mathematical Model of Bilinguism Formation for Adults with the Building of Fitting Neuron Network Model. In this work by program method are modeled for adults the processes of learning the units of second language, tuition is considered with the SL formation intensification and without intensification. Modeled intensive processes determine a matter of competition of neuron ensembles, the worsening of their simultaneous work and group relationships, because of the number of mistakes in the neuron networks of higher layer, whereat the speed of the tuition of the ensembles of low layer is higher.

Key words: model, unit of second language, neuron, neuron network.

Постановка научной задачи. Одними из первых моделей, по­строенных для описания процесса усвоения единиц информации, были модели, представляющие кривую в виде зависимости между качеством решения задачи и количеством повторений [1, 2]. Эти модели, однако, не давали функционального представления о самом процессе, т. е. это было описание скорее кривой запоминания, чем самого процесса. Функциональное же описание процесса усвоения единиц информации представляется сейчас как “описание система­тического изменения взаимодействия человека с окружающей сре­дой, такое представление в основном принимается большинством исследователей” [3, 150]. Причем адаптивным элементом, способным к обучению, в математической психологии выступают различного рода “автоматы состояний” [3, 152]. В нашей работе адаптивный элемент описывался как видоизменяющаяся нейронная сеть.

Изложение основной части научного исследования. Вначале мы эмулировали работу элемента системы. Модель работы элемента сети - нейрона - обычно используется в трех вариантах: как матема­тическая функция со скалярным входом, как функция со скалярным входом и дополнительным весом, определяющим состояние нейрона, как функция с векторным входом и дополнительным весом. Мы использовали третий вариант для построения наиболее точной моде­ли структуры и процессов сети (рис. 1).

ВХОД нейрон

image025

ö = fiWp +Ъ)

Рис. 1. Модель и представляющая ее функция для нейрона с векторным входом и дополнительным весом: R - количество векторов входа (p1} p2,... Pr); W - вес связи, b (bias) - дополнительный вес функции работы нейрона


Соответственно, показатель n суммирующей работы нейрона представляет собой сумму множителей, сдвинутую значением b:

N = Wi, 1P1 + Wi, 2P +...+W1, rPr + b.

Большая латинская буква означает соответствующий ряд или матрицу, маленькая - их элемент.

Передаточная функция работы нейрона f математически опреде­ляется в трех вариантах hardlim (жесткая лимититующая), purelim (простая линейная), logsig (функция log-sigmoid) (рис. 2):

А а а

image026

А = hardlimin) а = рюеІЩп) а Щ togsig(ti)

Рис. 2. Варианты функции работы нейрона: слева - функция работы перцеп- тронов - нейронов, принимающих классификационные решения (neurons that make classification decisions); посередине - функция работы линейных аппрок - симаторов - нейронов, работающих подобно фильтрам (neurons as linear approximators); справа - функция работы нейронов (типа “backpropagation”), работающих по правилу Видроу-Хоффа, термин введен Румельхартом и Мак- клиландом для обозначения нейрона - основы кодового слова динамической

Памяти [7, 318-362]


Передаточные функции для нейронов других типов (позитивная, радиальная и др. функции, всего еще около десяти) нами не исполь­зовались, т. к. считается, что они описывают специфические процес­сы, не связанные с билингвизмом [8].

Один уровень нейронов (one-layer network), задействованный при формировании кодового слова (репрезентации) единицы второго языка (ВЯ), графически и математически представлен таким образом

(рис. 3):

Вход уровень (layer) нейронов

image027



Матрица весов связей входного сигнала и одного уровня нейро-



Нов:



image028


В многоуровневой нейронной сети каждый уровень имеет свои значения матрицы W, группы дополнительных векторов Ь и группы векторов выходного сигнала а. Для, например, трехуровневой нейронной сети графическая и математическая модели построены так, как изображено на рис. 4. Для того чтобы была возможность описывать уровни, состоящие из разного числа нейронов, была вве­дена дифференциация величины групп (б1, б2, б3). На рисунке пред­ставлено значение Ь всегда равное единице. Внутренняя взаимосвязь нейронной сети представлена векторами выхода каждого нейрона с входами каждого нейрона соседнего уровня, если связь усиливается, ослабляется или полностью отсутствует, то это отражается на величине веса вектора этой связи.

Вход уровень 1 уровень 2 уровень 3

Г

image029

Л' =^(ПУ’Р+Ь') ж1 = а* = ^1ЛУ^аЧЬ)

Рис. 4. Графическая модель трехуровневой нейронной сети

Математическая модель такой сети принимает вид:

Г ■ : Г- ■ 1_^У: * I ■ Ш7| ||> +|>| ,+ |>: и-Ь' = .


Такой подход реализован далее при построении модели нейрон­ной сети любого - подобранного автоматически - объема, причем за векторный ряд выходного сигнала всей нейронной сети принят вы­ходной сигнал только одного уровня, т. к. он является моделью вос­произведения языковой единицы ВЯ. Например, если единица ВЯ и проговаривается и воспроизводится письменно одновременно, то общим выходным сигналом считается двойной векторный ряд а двух уровней.

Временная структура входного сигнала может быть трех видов: вектора входного сигнала возникают вместе, вектора входного сигна­ла возникают один за другим, вектора входного сигнала возникают смешанным, последовательно-параллельным способом. Для модели формирования единицы речи в нейронной сети (в отличие, например, от модели восприятии зрительного поля) выбрано описание второго типа для группы векторов входного сигнала. Существует также три варианта временной организации распределения сигналов внутри уровней нейронов: статический, динамический, статико-динамический. Процессы формирования кодового слова единицы ВЯ (у взрослого человека) в нейронной сети предполагают обратные связи с единица­ми первого языка (также описываются векторами связей между вну­тренними уровнями нейронов и не предполагают каких-либо допол­нительных векторов). Это подразумевает, что процессы в структуре многоуровневой нейронной сети протекают по второму, динамическо­му типу. Такие соображения определили и временной тип выходного сигнала (последовательный). Видоизменения в нейронной сети в про­цессе научения (different styles of network training) могут быть двух типов: инкрементальные (incremental training) - когда b и w изменя­ются каждый раз при любом изменении входного сигнала, а также целостные (batch training) - когда b и w изменяются только после презентации ряда входных сигналов. Случай моделирования процесса формирования кодового слова для единицы ВЯ определил выбор мо­делирования “целостного” типа научения нейронной сети. Програм­мное моделирование процесса научения нейронной сети с такими выборами определили условия итераций (повторов моделирования) на языке программирования M - code для программы MATLAB 2006.

Далее мы определяли условия программирования самооргани­зующихся моделей двух типов: 1) нормализованного формирования кодового слова единицы ВЯ (модель для взрослого человека) в ней­ронной сети; 2) интенсивного формирования кодового слова единицы ВЯ (модель для взрослого человека) в нейронной сети. Отличие опр е - делялось разными пропорциями типов нейронов: 1) Nhardlim/Nlogsig= /2,

2) Nhardlim/Nlogsig 1


После строилась матрица Р входного сигнала. Для того чтобы можно было определить весь информационный объем довольно крупной единицы ВЯ (до пяти слов), приняли размер матрицы (1000,

2) - состоящей из тысячи двухэлементных векторов. Их веса выби­рались случайным образом в принятых приделах - моделировалось процессирование любой единицы ВЯ, но одной и той же в двух случаях (нормализованное и интенсивное процессирование).

Затем, по процедуре построения самоорганизующейся нейронной сети, которую также называют “карта” - Self-organizing feature map (SOFM)[9], вручную определили количество ее элементов (восемьде­сят) и веса связей, одинаковые для всех нейронов (wi1=wi2=0,5), такая сеть не несет в себе никакой информационной репрезентации входно­го сигнала. На следующем этапе программным способом производи­лось циклическое “самообучение” нейронной сети (“training” [9]), которое заключалось в постепенном видоизменении W до тех пор, пока новая структура SOFM не будет информационно подобной входному сигналу; использованный алгоритм самообучения SOFM основан на статистических процедурах и описан в [10].

подпись: heu'tili рйьйюгк
 
Таким образом моделировалось две SOFM для одного и того же входного сигнала и на основе одинаковых первоначальных SOFM, но для разного типа обучения - нормализованного и интенсивного. Ко­личество итераций в первом случае было равно девятнадцати, во вто­ром равно десяти. В конце каждого цикла самообучения мы получали промежуточные SOFM, две последние представлены на рис. 5.

Nfdnoii Pinions

image031

Рис. 5. Две модели самоорганизующейся нейронной сети, с одним и тем же входным сигналом. Представлен этап девятнадцатой и десятой итерации. Длина соединений между нейронами определена силой связи между ними. Слева

- случай нормализованного обучения, справа - случай интенсивного обучения

Таким же образом для еще семи различных входных сигналов получили семь пар SOFM. Процедура всякий раз была завершена (вручную) на десятой и девятнадцатой итерации.

Для построения модели нейронной сети более высокого порядка по отношению к двум полученным группам SOFM мы использовали математическую процедуру моделирования нейронной сети типа “com­petitive neural network” - состоящей из нейронов соревнующегося типа обучения (Competitive Learning - CL)[11].

Такая процедура используется для построения модели нейрона Конорски (презентирующего целую группу нейронов более низкого порядка) и нейрона ассоциативной связи между единичными нейрон­ными сетями, называемыми кластерами. Группа таких нейронов образует свой уровень (CL layer), архитектура которого представлена на рис. 6.

Вход уровень нейронов CL типа

подпись: iwuподпись: 5і xrподпись: iподпись: rxl'подпись: sjx1Г

Fll

SJxr

С

~\


J------------ —К 5x1

► llnd^stll nl

,_______ ,

—» ы S'


S[


J

Рис. 6. Блок сравнения весов |1 dist |1 принимает входной векторp и в соответствии со значениями матрицы весов IWu продуцирует вектор s. Вектор n является результатом суммы векторов s и b. С - “competitive transfer function ” - преобразование n функцией выделения нейронов победителей “winners ”, дающих выходной сигнал - вектора

Функция С математически может быть представлена в виде урав­нения Кохонена [11]:

IlW1, \q) = ilW1, 1 (q - 1) + a(p(q) - JW1’ '(q - 1),)

1, 1

Где ’ * - веса входного сигнала 1 ряда предполагаемого нейрона победителя, его вектор обозначен как q.

Далее мы скомпоновали восемь групп выходных сигналов для 80БМ типа нормализованного обучения и восемь групп выходных


Сигналов для SOFM типа интенсивного обучения. Две полученные матрицы (8 80, 2) использовались как входные матрицы IW для построения значений нейронов CL уровня. Программным способом были рассчитаны веса восьми нейронов репрезентантов нейронных сетей кодовых слов ВЯ, причем делалось это циклическим способом с заранее заданным числом итераций. Такая процедура носит назва­ние “тренировка” (training) CL нейронов. Мы произвели семь итера­ций тренировки CL нейронов для каждого из двух типов нейронных сетей.

На рис. 7 представлены результаты тренировки нейронов CL уровня.

image037

Рис. 7. Графическое представление выделения нейронов более высокого уровня после седьмого этапа их тренировки. Крестами обозначены параметры восьми кластеров нейронных сетей низкого уровня, кругами обозначены параметры репрезентирующих их нейронов - нейронов CL уровня. Слева - случай модели нормализованного формирования единиц ВЯ у взрослого человека, справа - случай модели интенсивного формирования тех же единиц

ВЯ у взрослого человека


Для сравнения надежности работы “reliability of the neural network” нейронов более высокого уровня мы использовали метод сравнения количества ошибок (репрезентации кластеров) нейронов CL уровня при подаче на вход нейронных сетей дополнительного шумового сигнала. Шумом являлись сигналы со средним значением весов 0 и стандартным отклонением от 0 до 0,5. На каждом уровне тестирования производили подачу 100 шумовых сигналов с постоянно увели­чивающимся разбросом параметров, при этом снимались показатели ошибок работы СЬ уровней. Показателем ошибки считалась сумма ошибок репрезентации всех СЬ нейронов. На рис. 8 представлен результат такой проверки работы СЬ уровней.

image038

Рис. 8. Процент ошибочной репрезентации кластеров нейронами более высо­кого уровня при постепенном увеличении уровня сигнала шума, подаваемого на

Вход нейронных сетей:------------ значения ошибки для модели нормализованного

Типа формирования единиц ВЯу взрослого человека;------------- значения ошибки

Для модели интенсивного типа формирования единиц ВЯ у взрослого человека


Данные сравнения надежности работы смоделированных СЬ уровней нейронов позволяют нам сделать следующие выводы. Хотя модель нейронной сети нижнего уровня (представляющая кодовое слово, подаваемое на вход нейронных сетей), которая была создана как интенсивно обучающаяся 80ЬМ, организует презентацию вход­ного сигнала за меньшее количество итераций, чем нормализовано обучающаяся 80ЬМ, значения дисперсии весов связей ее элементов выше значений альтернативного случая (рис. 7). Такая разница не сказывается на работе одного кластера нейронов. 80ЬМ двух типов одинаково хорошо процессируют входной сигнал (они отличаются числом итераций, обусловленным типом связи между нейронами). Но при этом меняется качество работы нейронов более высокого порядка и, соответственно, их сетей (CL уровней): б0льшая “размытость” кластеров интенсивного типа обучения определяют б0льшее число ошибок определения параметров конкурирующих (“competitive”) ней­ронов более высокого уровня. Считается, что CL уровень - это уровень ассоциативных связей между кластерами нейронов и их симультанных репрезентантов [11], поэтому можно говорить, что смоделированный процесс интенсивного формирования единиц ВЯ у взрослого определяет проблему обострения конкуренции кластеров, ухудшения их симультанной работы и межкластерной взаимосвязи, - вследствие появления б0льшего числа ошибок в нейронных сетях более высокого порядка.

Литература

1. Аткинсон Р. Введение в математическую теорию обучения / Р. Аткинсон, Г. Бауэр, Э. Кротерс. - М. : Наука, 1967. - 319 с.

2. Буш Р. Стохастические модели обучаемости / Р. Буш, Ф. Мостеллер. - М. : Наука, 1962. - 277 с.

3. Дрынков А. В. Математические модели процесса научения / А. В. Дрынков // Математическая психология : методология, теория, модели. - М. : Наука,

1985. - С. 144-168.

4. Feng J. A neural-network-based channel-equalization strategy for chaos-based communication systems / J. Feng, C. K. Tse, F. M. Lau // IEEE Transactions on Circuits and Systems I : Fundamental Theory and Applications. - 2003. - Vol. 50, No. 7. - Р. 954-957.

5. Jayadeva Е. A neural network with O(N) neurons for ranking N numbers in O(1/N) time / Е. Jayadeva, S. A. Rahman // IEEE Transactions on Circuits and Systems I : Regular Papers. - 2004. - Vol. 51, No. 10. - Р. 2044-2051.

6. De Jesús O. Analysis of Recurrent Network Training and Suggestions for Impro­vements / O. De Jesús, J. M. Horn, M. T. Hagan // Proceedings of the Interna­tional Joint Conference on Neural Networks. - 2001. - Р. 2632-2637.

7. Rumelhart D. E. Parallel Data Processing / D. E. Rumelhart, J. McClelland. - Cambridge : The M. I. T. Press, 1986. - Vol. 1. - 528 р.

8. Hagan M. T. Neural Network Design / M. T. Hagan, H. B. Demuth, M. H. Beale.

- Cambridge : The M. I. T. Press, 1995. - 282 р.

9. Kohonen T. Self-Organizing Maps. Second Edition / Т. Kohonen. - Berlin : Springer-Verlag, 1997. - 394 р.

10. Wasserman P. D. Advanced Methods in Neural Computing / P. D. Wasserman. - New York : Van Nostrand Reinhold, 1993. - 367 р.

11. Kohonen T. Self-Organization and Associative Memory. - 2nd Edition / T. Ko­honen. - Berlin : Springer-Verlag, 1987. - 246 р.