МАТЕМАТИЧЕСКАЯ МОДЕЛЬ ФОРМИРОВАНИЯ БИЛИНГВИЗМА У ВЗРОСЛЫХ С ПОСТРОЕНИЕМ СООТВЕТСТВУЮЩЕЙ МОДЕЛИ НЕЙРОННОЙ СЕТИ

УДК 159.955:378.14:811 В. В. Пундев

В данной работе программным способом моделируются процессы усвоения единиц второго языка у взрослых, обучение рассматривается как с интенсификацией формирования системы второго языка, так и без нее. Смоделированные интенсивные процессы определяют проблему обострения конкуренции нейронных ансамблей, ухудшения их симультанной работы и межгруппо - вой взаимосвязи, вследствие появления большего числа ошибок в нейронных сетях более высокого порядка, но при этом скорость обучения ансамблей низкого уровня выше.

Ключевые слова: модель, единица второго языка, нейрон, нейронная сеть.

Пундєв В. В. Математична модель формування білінгвізму в дорослих

• ^ • ••• • и •• • \г 'и л1 *

Із побудовою відповідної моделі неиронної мережі. У цій роботі програмним способом моделюються процеси засвоєння одиниць другої мови в дорослих, навчання розглядається як з інтенсифікацією формування системи другої мови, так і без неї. Змодельовані інтенсивні процеси визначають проблему загострення конкуренції нейронних ансамблів, погіршення їх симультанної роботи й міжгрупового взаємозв’язку, унаслідок появи збільшеного числа помилок у нейронних мережах вищого порядку, але при цьому вище швидкість навчання ансамблів низького рівня.

Ключові слова: модель, одиниця другої мови, нейрон, нейронна мережа.

Pundev V. V. The Mathematical Model of Bilinguism Formation for Adults with the Building of Fitting Neuron Network Model. In this work by program method are modeled for adults the processes of learning the units of second language, tuition is considered with the SL formation intensification and without intensification. Modeled intensive processes determine a matter of competition of neuron ensembles, the worsening of their simultaneous work and group relationships, because of the number of mistakes in the neuron networks of higher layer, whereat the speed of the tuition of the ensembles of low layer is higher.

Key words: model, unit of second language, neuron, neuron network.

Постановка научной задачи. Одними из первых моделей, построенных для описания процесса усвоения единиц информации, были модели, представляющие кривую в виде зависимости между качеством решения задачи и количеством повторений [1, 2]. Эти модели, однако, не давали функционального представления о самом процессе, т. е. это было описание скорее кривой запоминания, чем самого процесса. Функциональное же описание процесса усвоения единиц информации представляется сейчас как “описание систематического изменения взаимодействия человека с окружающей средой, такое представление в основном принимается большинством исследователей” [3, 150]. Причем адаптивным элементом, способным к обучению, в математической психологии выступают различного рода “автоматы состояний” [3, 152]. В нашей работе адаптивный элемент описывался как видоизменяющаяся нейронная сеть.

Изложение основной части научного исследования. Вначале мы эмулировали работу элемента системы. Модель работы элемента сети - нейрона - обычно используется в трех вариантах: как математическая функция со скалярным входом, как функция со скалярным входом и дополнительным весом, определяющим состояние нейрона, как функция с векторным входом и дополнительным весом. Мы использовали третий вариант для построения наиболее точной модели структуры и процессов сети (рис. 1).

ВХОД нейрон


Соответственно, показатель n суммирующей работы нейрона представляет собой сумму множителей, сдвинутую значением b:

N = Wi, 1P1 + Wi, 2P +...+W1, rPr + b.

Большая латинская буква означает соответствующий ряд или матрицу, маленькая - их элемент.

Передаточная функция работы нейрона f математически определяется в трех вариантах hardlim (жесткая лимититующая), purelim (простая линейная), logsig (функция log-sigmoid) (рис. 2):


Передаточные функции для нейронов других типов (позитивная, радиальная и др. функции, всего еще около десяти) нами не использовались, т. к. считается, что они описывают специфические процессы, не связанные с билингвизмом [8].

Один уровень нейронов (one-layer network), задействованный при формировании кодового слова (репрезентации) единицы второго языка (ВЯ), графически и математически представлен таким образом

(рис. 3):

Вход уровень (layer) нейронов



Матрица весов связей входного сигнала и одного уровня нейро-



Нов:




В многоуровневой нейронной сети каждый уровень имеет свои значения матрицы W, группы дополнительных векторов Ь и группы векторов выходного сигнала а. Для, например, трехуровневой нейронной сети графическая и математическая модели построены так, как изображено на рис. 4. Для того чтобы была возможность описывать уровни, состоящие из разного числа нейронов, была введена дифференциация величины групп (б1, б2, б3). На рисунке представлено значение Ь всегда равное единице. Внутренняя взаимосвязь нейронной сети представлена векторами выхода каждого нейрона с входами каждого нейрона соседнего уровня, если связь усиливается, ослабляется или полностью отсутствует, то это отражается на величине веса вектора этой связи.

Вход уровень 1 уровень 2 уровень 3

Г


Такой подход реализован далее при построении модели нейронной сети любого - подобранного автоматически - объема, причем за векторный ряд выходного сигнала всей нейронной сети принят выходной сигнал только одного уровня, т. к. он является моделью воспроизведения языковой единицы ВЯ. Например, если единица ВЯ и проговаривается и воспроизводится письменно одновременно, то общим выходным сигналом считается двойной векторный ряд а двух уровней.

Временная структура входного сигнала может быть трех видов: вектора входного сигнала возникают вместе, вектора входного сигнала возникают один за другим, вектора входного сигнала возникают смешанным, последовательно-параллельным способом. Для модели формирования единицы речи в нейронной сети (в отличие, например, от модели восприятии зрительного поля) выбрано описание второго типа для группы векторов входного сигнала. Существует также три варианта временной организации распределения сигналов внутри уровней нейронов: статический, динамический, статико-динамический. Процессы формирования кодового слова единицы ВЯ (у взрослого человека) в нейронной сети предполагают обратные связи с единицами первого языка (также описываются векторами связей между внутренними уровнями нейронов и не предполагают каких-либо дополнительных векторов). Это подразумевает, что процессы в структуре многоуровневой нейронной сети протекают по второму, динамическому типу. Такие соображения определили и временной тип выходного сигнала (последовательный). Видоизменения в нейронной сети в процессе научения (different styles of network training) могут быть двух типов: инкрементальные (incremental training) - когда b и w изменяются каждый раз при любом изменении входного сигнала, а также целостные (batch training) - когда b и w изменяются только после презентации ряда входных сигналов. Случай моделирования процесса формирования кодового слова для единицы ВЯ определил выбор моделирования “целостного” типа научения нейронной сети. Программное моделирование процесса научения нейронной сети с такими выборами определили условия итераций (повторов моделирования) на языке программирования M - code для программы MATLAB 2006.

Далее мы определяли условия программирования самоорганизующихся моделей двух типов: 1) нормализованного формирования кодового слова единицы ВЯ (модель для взрослого человека) в нейронной сети; 2) интенсивного формирования кодового слова единицы ВЯ (модель для взрослого человека) в нейронной сети. Отличие опр е - делялось разными пропорциями типов нейронов: 1) Nhardlim/Nlogsig= /2,

2) Nhardlim/Nlogsig 1


После строилась матрица Р входного сигнала. Для того чтобы можно было определить весь информационный объем довольно крупной единицы ВЯ (до пяти слов), приняли размер матрицы (1000,

2) - состоящей из тысячи двухэлементных векторов. Их веса выбирались случайным образом в принятых приделах - моделировалось процессирование любой единицы ВЯ, но одной и той же в двух случаях (нормализованное и интенсивное процессирование).

Затем, по процедуре построения самоорганизующейся нейронной сети, которую также называют “карта” - Self-organizing feature map (SOFM)[9], вручную определили количество ее элементов (восемьдесят) и веса связей, одинаковые для всех нейронов (wi1=wi2=0,5), такая сеть не несет в себе никакой информационной репрезентации входного сигнала. На следующем этапе программным способом производилось циклическое “самообучение” нейронной сети (“training” [9]), которое заключалось в постепенном видоизменении W до тех пор, пока новая структура SOFM не будет информационно подобной входному сигналу; использованный алгоритм самообучения SOFM основан на статистических процедурах и описан в [10].

подпись: heu'tili рйьйюгк
 
Таким образом моделировалось две SOFM для одного и того же входного сигнала и на основе одинаковых первоначальных SOFM, но для разного типа обучения - нормализованного и интенсивного. Количество итераций в первом случае было равно девятнадцати, во втором равно десяти. В конце каждого цикла самообучения мы получали промежуточные SOFM, две последние представлены на рис. 5.

Рис. 5. Две модели самоорганизующейся нейронной сети, с одним и тем же входным сигналом. Представлен этап девятнадцатой и десятой итерации. Длина соединений между нейронами определена силой связи между ними. Слева

- случай нормализованного обучения, справа - случай интенсивного обучения

Таким же образом для еще семи различных входных сигналов получили семь пар SOFM. Процедура всякий раз была завершена (вручную) на десятой и девятнадцатой итерации.

Для построения модели нейронной сети более высокого порядка по отношению к двум полученным группам SOFM мы использовали математическую процедуру моделирования нейронной сети типа “competitive neural network” - состоящей из нейронов соревнующегося типа обучения (Competitive Learning - CL)[11].

Такая процедура используется для построения модели нейрона Конорски (презентирующего целую группу нейронов более низкого порядка) и нейрона ассоциативной связи между единичными нейронными сетями, называемыми кластерами. Группа таких нейронов образует свой уровень (CL layer), архитектура которого представлена на рис. 6.

Вход уровень нейронов CL типа

подпись: iwuподпись: 5і xrподпись: iподпись: rxl'подпись: sjx1Г




J

Рис. 6. Блок сравнения весов |1 dist |1 принимает входной векторp и в соответствии со значениями матрицы весов IWu продуцирует вектор s. Вектор n является результатом суммы векторов s и b. С - “competitive transfer function ” - преобразование n функцией выделения нейронов победителей “winners ”, дающих выходной сигнал - вектора

Функция С математически может быть представлена в виде уравнения Кохонена [11]:

IlW1, \q) = ilW1, 1 (q - 1) + a(p(q) - JW1’ '(q - 1),)

1, 1

Где ’ * - веса входного сигнала 1 ряда предполагаемого нейрона победителя, его вектор обозначен как q.

Далее мы скомпоновали восемь групп выходных сигналов для 80БМ типа нормализованного обучения и восемь групп выходных


Сигналов для SOFM типа интенсивного обучения. Две полученные матрицы (8 80, 2) использовались как входные матрицы IW для построения значений нейронов CL уровня. Программным способом были рассчитаны веса восьми нейронов репрезентантов нейронных сетей кодовых слов ВЯ, причем делалось это циклическим способом с заранее заданным числом итераций. Такая процедура носит название “тренировка” (training) CL нейронов. Мы произвели семь итераций тренировки CL нейронов для каждого из двух типов нейронных сетей.

На рис. 7 представлены результаты тренировки нейронов CL уровня.


Для сравнения надежности работы “reliability of the neural network” нейронов более высокого уровня мы использовали метод сравнения количества ошибок (репрезентации кластеров) нейронов CL уровня при подаче на вход нейронных сетей дополнительного шумового сигнала. Шумом являлись сигналы со средним значением весов 0 и стандартным отклонением от 0 до 0,5. На каждом уровне тестирования производили подачу 100 шумовых сигналов с постоянно увеличивающимся разбросом параметров, при этом снимались показатели ошибок работы СЬ уровней. Показателем ошибки считалась сумма ошибок репрезентации всех СЬ нейронов. На рис. 8 представлен результат такой проверки работы СЬ уровней.


Данные сравнения надежности работы смоделированных СЬ уровней нейронов позволяют нам сделать следующие выводы. Хотя модель нейронной сети нижнего уровня (представляющая кодовое слово, подаваемое на вход нейронных сетей), которая была создана как интенсивно обучающаяся 80ЬМ, организует презентацию входного сигнала за меньшее количество итераций, чем нормализовано обучающаяся 80ЬМ, значения дисперсии весов связей ее элементов выше значений альтернативного случая (рис. 7). Такая разница не сказывается на работе одного кластера нейронов. 80ЬМ двух типов одинаково хорошо процессируют входной сигнал (они отличаются числом итераций, обусловленным типом связи между нейронами). Но при этом меняется качество работы нейронов более высокого порядка и, соответственно, их сетей (CL уровней): б0льшая “размытость” кластеров интенсивного типа обучения определяют б0льшее число ошибок определения параметров конкурирующих (“competitive”) нейронов более высокого уровня. Считается, что CL уровень - это уровень ассоциативных связей между кластерами нейронов и их симультанных репрезентантов [11], поэтому можно говорить, что смоделированный процесс интенсивного формирования единиц ВЯ у взрослого определяет проблему обострения конкуренции кластеров, ухудшения их симультанной работы и межкластерной взаимосвязи, - вследствие появления б0льшего числа ошибок в нейронных сетях более высокого порядка.

Литература

1. Аткинсон Р. Введение в математическую теорию обучения / Р. Аткинсон, Г. Бауэр, Э. Кротерс. - М. : Наука, 1967. - 319 с.

2. Буш Р. Стохастические модели обучаемости / Р. Буш, Ф. Мостеллер. - М. : Наука, 1962. - 277 с.

3. Дрынков А. В. Математические модели процесса научения / А. В. Дрынков // Математическая психология : методология, теория, модели. - М. : Наука,

1985. - С. 144-168.

4. Feng J. A neural-network-based channel-equalization strategy for chaos-based communication systems / J. Feng, C. K. Tse, F. M. Lau // IEEE Transactions on Circuits and Systems I : Fundamental Theory and Applications. - 2003. - Vol. 50, No. 7. - Р. 954-957.

5. Jayadeva Е. A neural network with O(N) neurons for ranking N numbers in O(1/N) time / Е. Jayadeva, S. A. Rahman // IEEE Transactions on Circuits and Systems I : Regular Papers. - 2004. - Vol. 51, No. 10. - Р. 2044-2051.

6. De Jesús O. Analysis of Recurrent Network Training and Suggestions for Improvements / O. De Jesús, J. M. Horn, M. T. Hagan // Proceedings of the International Joint Conference on Neural Networks. - 2001. - Р. 2632-2637.

7. Rumelhart D. E. Parallel Data Processing / D. E. Rumelhart, J. McClelland. - Cambridge : The M. I. T. Press, 1986. - Vol. 1. - 528 р.

8. Hagan M. T. Neural Network Design / M. T. Hagan, H. B. Demuth, M. H. Beale.

- Cambridge : The M. I. T. Press, 1995. - 282 р.

9. Kohonen T. Self-Organizing Maps. Second Edition / Т. Kohonen. - Berlin : Springer-Verlag, 1997. - 394 р.

10. Wasserman P. D. Advanced Methods in Neural Computing / P. D. Wasserman. - New York : Van Nostrand Reinhold, 1993. - 367 р.

11. Kohonen T. Self-Organization and Associative Memory. - 2nd Edition / T. Kohonen. - Berlin : Springer-Verlag, 1987. - 246 р.