CC BY
194
моделирование систем и процессов X
УДК 612.821.2
информативность математической модели процесса обучения
И. И. Степанов,
доктор мед. наук, ведущий научный сотрудник О. М. Ефремов, |
канд. мед. наук, старший научный сотрудник Н. Б. Суворов,
доктор биол. наук, профессор
НИИ экспериментальной медицины Северо-Западного отделения РАМН М. М. Даниловский,
ведущий разработчик
ООО «Системы Управления Инвестициями Матрикс»
Н. П. Майданов,
старший преподаватель
Санкт-Петербургский государственный инженерно-экономический университет
С. П. Шклярук,
канд. мед. наук, доцент
Санкт-Петербургский государственный университет
Приводится обзор известных математических моделей кривых обучения. Математическая модель, предложенная в статье, основана на передаточной функции линейной системы первого порядка. Разработанная модель является универсальной и пригодна для описания кривых обучения и запоминания как в экспериментах на животных, так и при оценивании состояния памяти у человека.
Ключевые слова — математическая модель, кривая обучения, передаточная функция, линейная система первого порядка.
Введение
Интерес к изучению процесса запоминания и обучения возник, когда человек осознал, что он способен обучаться путем запоминания, переработки и хранения информации. Переработка информации мозгом человека осуществляется отчасти посредством активизации оперативной и долговременной памяти. Не вдаваясь в теоретические рассуждения и гипотезы об информационном значении различных видов памяти, уместно напомнить, что по некоторым данным, объем памяти на различные предметы и цвета равен 3, на числа и точки — 8-9, на буквы — 6-9, на геометрические фигуры — 3-8 и т. д. [1]. Специалистами в области психофизиологии предложено несколько подходов к развитию и совершенствованию памяти. Самым эффективным из них, безусловно, является процесс обучения, в том числе
периодического или циклического. Основные способы оценки эффективности этих методик — построение соответствующих кривых, отражающих либо динамику объема запоминаемой информации, либо количество правильно исполненных поведенческих актов. Иными словами, сутью процесса обучения является дозированное управление информационными потоками, предъявляемыми испытуемому.
Математический анализ кривой обучения у животных и человека предпринимался с начала XX в. [2]. Совершенствование математической модели кривой обучения продолжается и по сегодняшний день. Таким образом, цель настоящей статьи заключается в систематизации различных математических моделей кривой обучения и выявлении наиболее информативной модели для применения в фундаментальных и прикладных исследованиях обучения животных и человека.
Подходы к математическому моделированию кривой обучения
В литературе выделяются четыре основных подхода. Первый подход заключается в применении эмпирических математических моделей для аппроксимации кривой обучения. Второй подход состоит в использовании дифференциальных уравнений. Третий подход основывается на так называемых «рациональных уравнениях», выводимых из некоторых базисных теорий, отражающих взаимоотношения, обнаруженные в экспериментальных данных. Четвертый подход базируется на системном подходе с использованием передаточных функций и, по нашему мнению, является наиболее универсальным.
Эмпирические модели
Эмпирические модели применялись для наилучшей аппроксимации экспериментальных результатов, получаемых в различных исследованиях. При использовании простых парадигм обучения экспериментальные данные представляли собой монотонно возрастающие или убывающие значения. В этих случаях применялись различные непрерывные монотонно возрастающие выпуклые (с отрицательным ускорением) функции,
X
например гипербола вида [3], а также более
х + 1 а(х + С) сложные гиперболы, например [4]. Не-
(х + с) + Ь
давно была предложена гиперболическая функция для моделирования кривой запоминания слов [5] в виде
У (^ = а - (а - в) 1
— +1-у
где у(^) обозначает количество правильно запомненных слов из предъявляемого списка; t — номер предъявления списка слов; а является асимптотическим числом запомненных слов; в определяет количество запомненных слов при первом предъявлении списка; у определяет скорость запоминания.
Ряд авторов использовали arcctg(x), при этом было обнаружено, что кривые обучения крыс в простом лабиринте при аппроксимации гиперболой или арккотангенсом почти совпадали [6, 7]. Логарифмическая модель вида а1п(х) + Ь была применена для анализа кривой обучения у животных [8], а в виде а1п(х) + 1п(х) +Ьх + с — для аппроксимации данных по запоминанию слов человеком [9]. При использовании сложных парадигм обучения данные могли представлять собой кривые обучения S-образного вида, поэтому были применены соответствующие функции. Например, использовали логистическую функцию, ко-
торая имеет вид
1
1 + е
—а+Ьх9
где х — номер сеанса
обучения; а и Ь — коэффициенты, расчет которых является задачей логистической регрессии [10].
Модели на основе дифференциальных уравнений
Иногда выбор подходящей математической модели для аппроксимации кривой обучения базировался на некоторых начальных предположениях. Предположение о том, что скорость обучения прямо пропорциональна разности между уже заученным материалом и физиологическим пределом способности к запоминанию (асимптотическим уровнем), приводило к следующему дифференциальному уравнению:
^ = а(У^- У)-ах
(1)
Решением такого уравнения с начальным условием у = у0 при х = 0 была модель экспоненциального типа у = у0 - (уда - у0)е-ах. Ту же самую модель можно записать в ином виде:
У0е-ах + У»(1 - е-ах),
(2)
где у0 — начальное состояние обученности при х = 0; уж — асимптотическое значение степени обученности при х = ж; х — номер предъявления условного раздражителя или сеанса обучения, а коэффициент а представлял собой скорость обучения. Такая модель была использована в различных вариантах, в частности при задании нулевого начального значения, т. е. у0 = 0, целым рядом авторов [2, 11].
Встречающаяся иногда S-образная форма кривой обучения соответствует предположению, что скорость обучения пропорциональна произведению текущего уровня обученности на разность между текущим уровнем и асимптотическим уровнем
обученности и приобретает вид —У = ау(у(Ю — у).
dx
Решение этого уравнения с начальными условиями у = у0 при х = 0 имеет вид
_______у0ух________
у0 + (у<х>- у0 )е аУ(хХ
где х — номер предъявления условного раздражителя или сеанса обучения; у0 — начальное состояние обученности при х = 0; уж — асимптотическое значение степени обученности при х = ж, а коэффициент а — скорость обучения [12].
Рациональные уравнения
Тарстоун (^и^опе) был первым, кто вывел математическую модель кривой обучения из целого набора постулатов [13]. Он предложил разделить все виды поведения во время сеансов обуче-
ния на две группы, из которых одни ведут к успеху, а другие — к неудаче. Затем Тарстоун разработал целый ряд дифференциальных и алгебраических уравнений для связи между накопленным количеством ошибок и количеством повторов (сеансов обучения). В конечном итоге, окончательным результатом этих расчетов стала модель вида
(4т / ak)R
R + (\im / k)
где u — суммарное количество ошибок; m, k — константы, связанные со способностью субъекта выучивать задание; a — константа для сохранения постоянства размерности; R — количество повторов. Очевидно, эта модель представляет собой гиперболу того типа, который ранее был предложен самим Тарстоуном [4], но на этот раз данная модель была получена не путем эмпирического отбора, а выведена из теоретической физиологической модели.
Позднее Галликсен (Gulliksen) [14] развил представления Тарстоуна по математическому моделированию кривой обучения, опираясь при разработке своих рациональных уравнений на закон эффекта, предложенного Торндайком [15]. Галликсен использовал такие переменные, как количество неправильных ответов, вероятности правильных и неправильных ответов, суммарное количество правильных ответов и суммарное количество ошибок. В результате он предложил модель, описывающую суммарное количество ошибок как функцию от суммарного количества правильных ответов. Однако поскольку кривая зависимости суммарного количества ошибок от суммарного количества правильных ответов не отражает исходную форму кривой обучения, эта модель не получила широкого распространения.
Модель Хала
Хал (С. Hull) разработал математическую модель процесса обучения на основе теории подкрепления. Хал исходил из предположения, что скорость обучения пропорциональна разности между текущим значением величины силы навыка и ее физиологическим пределом. Это предположение математически выражалось в виде дифференциального уравнения (1). Поскольку Хал утверждал, что до начала обучения сила навыка всегда равна нулю, то он дал решение этого уравнения с нулевым начальным значением, т. е. y(x = 0) = 0 или в иных обозначениях у0 = 0. Таким образом, зависимость силы навыка от количества подкреплений получила вид
sHr = M(1 - e-kN),
где sHr — сила навыка; M — физиологический максимум силы навыка; k — скорость обучения;
N — количество подкреплений [16]. Следует отметить, что все его рациональные уравнения базировались на физиологических переменных, которые не могли быть измерены непосредственно, а потому носили гипотетический характер. Хал не применял свою формулу зависимости силы навыка непосредственно к измеряемой в эксперименте кривой обучения, полагая, что форма кривой зависит от условий эксперимента, принимая экспоненциальный либо S-образный вид [17].
Модификация модели Хала
В начале 80-х гг. прошлого столетия сделана попытка применить модель Хала для аппроксимации кривых обучения условному рефлексу отказа от пищи наземных улиток Helix pomatia [18]. Модель имела вид
y = B4(1 - e-B2x), (3)
где x — номер предъявления условного раздражителя или сеанса обучения; B4 = y при x = ж; B2 — скорость обучения. Было обнаружено, что модель удовлетворительно описывала данные по обучению только тех улиток, которые обучались первый раз и не подвергались никакому воздействию до начала обучения. Если же животных обучали повторно или животным до обучения вводили различные биологические модуляторы обучения, то модель не обеспечивала удовлетворительной аппроксимации. Однако хорошей аппроксимации удалось добиться при модификации модели (3) путем добавления ненулевых начальных условий в виде коэффициента B3, равного y при x = 0, т. е. переходом к модели y = B4(1 - e-B2x) + B3 [18, 19]. В окончательном виде модифицированная нами модель приобрела вид
y = B3e-B2x + B4(1 - e-B2x). (4)
Данная модель оказалась идентичной упомянутому выше решению дифференциального уравнения (2) при ненулевом начальном условии y(0) = y0. Таким образом, добавление в модель кривой обучения ненулевых начальных условий существенно повышает ее информативность.
Модель Рескорлы—Вагнера
Рескорла и Вагнер (R. Rescorla, А. Wagner) основывали свою модель на большинстве предположений, сделанных ранее Халом, но исходили не из дифференциального уравнения, а разностного. При этом они оперировали гипотетической физиологической переменной, названной ими «ассоциативная сила» и обозначенной через V. Они полагали, что после каждого сочетания условного (УР) и безусловного (БР) раздражите-
лей новое значение ассоциативной силы Vnew равно предшествующему значению плюс прирост ассоциативной силы deltaV за счет сочетания двух раздражителей. Иными словами: Vnew = Vold + + deltaV. Ученые постулировали, что
deltaV = ав(Х - V),
где V — текущее значение ассоциативной силы; а — относительная сила воздействия условного раздражителя, варьирующаяся между 0 и 1; в — относительная сила воздействия безусловного раздражителя, также варьирующая между 0 и 1; X — физиологический максимум ассоциативной силы [20]. При практических расчетах по этой формуле надо задать начальное значение V0, значения а, в и X. Тогда после первого сочетания УР и БР deltaV = ав(Х - V0) и V = V0 + deltaV. Аналогично вычисляется значение ассоциативной силы при каждом из последующих сочетаний УР и БР. Подчеркнем, что авторы допускали ненулевое начальное значение ассоциативной силы V0.
Для того чтобы увидеть, к какой модели кривой обучения приводит решение разностных уравнений Рескорлы—Вагнера, мы, записав их базисную формулу в виде уп = уп _ г+ ав(уда - Уп - 1), с помощью программы Ма^ета^са получили общее решение при ненулевых начальных условиях: у = у0 при п = 0. Оказалось, что оно имеет вид у = у0(1 - ав)п + уж(1 - (1 - ав)п). Если заменить у0 на В3, а уж — на В4, как в нашей модели (4), то выражение приобретает вид у = В3(1 - ав)п + + В4(1 - (1 - ав)п), откуда ясно, что e-B2 = (1 - ав). Применив модель (4) к экспериментальным данным по выработке простого условного рефлекса и рассчитав произведение ав = (1 - e-B2), мы подставили полученные значения в модель Рескорлы— Вагнера и обнаружили, что кривые обучения полностью совпали. Это и не удивительно, поскольку обе математические модели основываются на предположении о пропорциональности скорости обучения разности между текущим значением ассоциативной силы (уровня навыка) и физиологическим пределом ассоциативной силы.
Передаточная функция системы первого порядка как математическая модель кривой обучения
Итак, очевидно, что добавление ненулевого начального значения существенно повышает информативность модели кривой обучения. Однако информативность может быть повышена еще дополнительно, если обратить внимание на выбор начальной точки отсчета. При использовании первоначальной модели (4) в ряде случаев коэффициент В3 принимал нулевые и отрицательные
значения [19]. Рескорла и Вагнер указывали, что с теоретической точки зрения ассоциативная сила может принимать как положительные, так и отрицательные значения, при этом те и другие откладываются вдоль одной и той же оси у выше и ниже нулевой линии [20]. Тем не менее, отрицательные значения числа правильных ответов могут не вполне корректно отражать функциональное состояние мозга в начале обучения.
Указанное противоречие снимается при подходе к моделированию кривой обучения с позиции теории управления, рассматривающей идентифицируемую систему как «черный ящик» и анализирующей ее поведение в терминах входного и выходного сигналов, связанных друг с другом через передаточную функцию.
Если обозначить входной сигнал, действующий на систему, через F, а ответный выходной сигнал системы — через у, то передаточную функцию записывают в виде — = У, где К — коэффи-
К F
циент пропорциональности [21, 22]. Реакция линейной системы первого порядка на ступенчатое входное воздействие подчиняется дифференциальному уравнению т • dy/dt + у = F/K. Это уравнение после соответствующих преобразований приобретает вид (1). Итак, мы пришли к приведенному выше решению (1), которое совпадает с нашей исходной моделью (4).
Для технических систем момент начала действия входного сигнала, обозначаемого через t0, для простоты дальнейших расчетов приравнивают нулю, а начальное условие формулируется как у = у0 при t = 0, где t — время, а входной сигнал начинает действовать в момент времени t = 0. Если обратиться к обучению животных и человека, то входной сигнал — это безусловный раздражитель, определяющий подкрепление либо набор объектов для запоминания, например слов. Этот раздражитель действует на биологическую систему первый раз во время первого сеанса обучения или при первом предъявлении объектов для запоминания. Поэтому начальное состояние биологической системы у = у0 следует оценивать при х = 1, т. е. при первом предъявлении условного раздражителя или набора тестовых объектов для запоминания.
Таким образом, модель приобретает окончательный вид
у = B3e-B2(x - 1) + В4(1 - e-B2(x - 1)), (5)
где х — номер сеанса обучения; B3 — начальное состояние обученности (у = B3 при х = 1); B4 — асимптотическое значение степени обученности (у = B4 при х = ж), а коэффициент B2 представляет собой величину, обратную постоянной времени системы (B2 = 1/т).
Использование независимой переменной в форме (х - 1) означает, что при первом предъявлении объекта для запоминания (например, списка слов) оценивается объем внимания [23] или, по нашей терминологии, готовность к обучению, которая включает объем внимания, предварительное ознакомление с этим видом обучения, если субъект ранее уже обучался по данному методу, и уровень мотивации. Само обучение начинается, когда объект для запоминания предъявляют второй раз, так что второе предъявление является первым повтором. Собственно механизмы памяти отражены в коэффициентах B2 и B4. Коэффициент B4 интерпретируется как способность к обучению; он отражает состояние долгосрочной памяти. Так как B2 = 1/т, то 1^2 — это количество повторов, требующихся для достижения 63 % от разницы между начальным и конечным уровнями обученности, т. е. (B3 - B4). Отметим, что в недавно предложенной гиперболической модели кривой запоминания слов независимая переменная также была приведена в форме (Ь - 1) [5]. Таким образом, информативность модели кривой обучения еще более повышается за счет применения независимой переменной в форме (х - 1).
Моделирование процесса запоминания слов
Проиллюстрируем практическое применение предложенной математической модели (5) на примере аппроксимации кривой запоминания слов по методу А. Р. Лурия [24]. Каждому испытуемому зачитывали список из 10 слов русского языка. Эмоционально нейтральные существительные выбирали по частотному словарю русского языка [25] с частостью не более 12 % и общим количеством букв 45. Список давался в магнитофонной записи за 20 с. Слова предъявлялись в ритме 1 слово в секунду с интервалом 2 с. Испытуемого просили вспоминать как можно больше слов из списка в произвольном порядке. Предъявление слов повторяли 7 раз. Всего было обследовано 116 чел., разделенных на три группы. Первая группа включала 16 здоровых испытуемых обоего пола в возрасте от 25 до 35 лет. Вторая группа — 20 больных наркоманией в возрасте от 19 до 52 лет. Третья группа включала 80 мужчин больных алкоголизмом в возрасте от 24 до 60 лет.
Расчет значений параметров модели — коэффициентов Б2, Б3 и Б4, а также коэффициента детерминации, называемого также Я2, осуществляли с помощью статистического пакета SPSS [26].
Значения коэффициентов модели у группы здоровых испытуемых оказались следующие: Б2 = = 0,43 ± 0,085; Б3 = 5,62 ± 0,20; Б4 = 9,96 ± 0,31 и Я2 = 0,9862. Значения коэффициентов модели
Предъявления слов
■ Рис. 1. Кривые запоминания слов в тесте Лурия, усредненные по группам испытуемых: • — здоровые; ■ — больные алкоголизмом; ♦ — больные наркоманией
у группы больных наркоманией: Б2 = 0,96 ± 0,12; Б3 = 5,15 ± 0,12; Б4 = 8,01 ± 0,08 и Я2 = 0,9905. Значения коэффициентов модели у группы больных алкоголизмом: Б2 = 0,22 ± 0,03; Б3 = 5,01 ± ± 0,08; Б4 = 10,38 ± 0,41 и Я2 = 0,9974. Кривые представлены на рис. 1. Значение Я2, близкое к 1,0, показывает, что модель объясняет почти всю изменчивость соответствующих переменных, т. е. хорошо аппроксимирует экспериментальные значения.
У больных наркоманией кривая запоминания начиналась несколько ниже кривой запоминания группы здоровых испытуемых, так как значения коэффициента B3 имели тенденцию к различию (р = 0,08). При последующих повторах кривая запоминания у больных наркоманией прошла также ниже кривой запоминания группы здоровых испытуемых, так как скорость запоминания (коэффициент B2) оказалась выше (р = 0,007), а асимптотический уровень (коэффициент B4) — ниже (р = 0,0003). У больных алкоголизмом кривая запоминания начиналась ниже кривой запоминания группы здоровых испытуемых, так как значение коэффициента B3 оказалось ниже (р = 0,022). В то же время скорость запоминания оказалась почти в два раза ниже, чем у здоровых испытуемых (р = 0,047). Способность к запоминанию (коэффициент B4) у больных алкоголизмом не отличалась от таковой для группы здоровых испытуемых (р > 0,2).
Косвенно можно дополнительно повысить информативность модели путем выбора оптимального количества объектов для запоминания. Следует отметить, что тест Лурия имеет существенный недостаток, заключающийся в использовании только 10 слов, что незначительно превышает объем краткосрочной памяти, равный (7 ± 2) объекта для запоминания [27]. Таким образом,
1 2 3 4 5 6
Предъявления слов
■ Рис. 2. Кривая запоминания здоровыми испытуемыми 16 слов из четырех семантических групп
у здоровых испытуемых зачастую отмечается эффект «потолка», т. е. испытуемый может запомнить больше слов, чем ему предъявляют. Этот недостаток теста Лурия учтен в тесте CVLT на запоминание 16 слов при 5 предъявлениях [23].
Мы разработали несколько наборов слов по аналогии со списком слов, использованных в тесте СУЪТ, при этом список слов предъявляли 6 раз для оптимизации достижения асимптотического уровня. На рис. 2 показана кривая запоминания со средними значениями и их стандартными ошибками по данным обследования группы из 21 здорового мужчины в возрасте 25-30 лет. Коэффициенты математической модели приняли следующие значения: Б2 = 0,4283 ± 0,0769; Б3 = = 8,16 ± 0,26; Б4 = 15,72 ± 0,57. Модель удовлетворительно аппроксимировала число названных слов — коэффициент детерминации Я2 = 0,9932.
Испытуемые с самого начала называли в среднем 8 правильных слов, а к концу тестирования
Литература
1.
2.
3.
Иванов-Муромский К. А. Мозг и память. — Киев: Наука. 1987. — 136 с.
Schükarev A. Über die energetischen Grundlagen des Gesetzes von Weber-Fechner und der Dynamik des Gedächtnisses // Annalen der Naturphilosophie. 1907. Vol. 6. N 4. P. 139-149.
Jette P. L. A study of the learning curves for two systems of shorthand // J. Experimental Psychology. 1928. Vol. 11. N 3. P. 144-160.
4. Thurstone L. L. The learning curve equation // Psychological Bulletin. 1917. Vol. 14. N 2. P. 64-65. Zimprich D., Rast P., Martin M. Individual differences in verbal learning in old age // The handbook of cognitive aging: Interdisciplinary perspective. Eds.
5.
запоминали 15-16 слов. Таким образом, здоровые испытуемые в состоянии запомнить в 1,5 раза больше слов по сравнению с 10 словами из теста Лурия. Следовательно, в нашем тесте «эффект потолка» минимизирован, что повышает чувствительность теста по выявлению ранних признаков нарушения памяти, и количественный анализ кривой запоминания позволяет более точно оценить состояние памяти у больных в процессе их лечения и реабилитации.
Заключение
Многочисленные данные относительно динамики процесса запоминания, полученные с помощью описанной математической модели, дают основания предполагать, что предложенная модель на основе передаточной функции линейной системы первого порядка является универсальной моделью для описания кривых обучения и запоминания у человека и животных. Она более чувствительна по сравнению с визуальной оценкой кривой запоминания. Параметры модели имеют определенный функциональный смысл. Модель можно использовать для оценки состояния памяти человека в клинических условиях для мониторинга эффекта лечебного воздействия. Перспективным также является ее применение для исследования индивидуальных специфических характеристик и профессионального отбора операторов информационно-управляющих систем, систем массового обслуживания и др., где требуется оперативная переработка больших объемов информации в условиях действия помех и меняющейся внешней среды. Представляется целесообразным введение описанной методики в состав тренажерных биотехнических систем.
S. Hofer & D. F. Alwin. Thousand Oaks, CA: Sage Publications, 2008. P. 224-243.
6. Meyer M. F., Eppright F. O. The equation of the learning function // American J. Psychology. 1923. Vol. 34. N 2. P. 203-222.
7. Valentine W. L. A study of learning curves: I. The application of Meyer’s arc cotangent function and Thurstone’s hyperbola to the maze performance of white rats // J. Comparative Psychology. 1930. Vol. 10. N 3. P. 421-435.
8. Kern B., Lindow M. Die mathematische Auswertung empirisch gefundener Kurven mit besonderer Berücksichtigung der Übungskurven // Zeitschrift für angewandte Psychologie. 1930. Vol. 35. N 7. P. 497-529.
9. Tulving E. Intratrial and intertrial retention: notes towards a theory of free recall verbal learning // Psychological Review. 1964. Vol. 71. N 1. P. 219-237.
10. Miazawa T. at al. A rat model of spontaneously arrested hydrocephalus // Child’s Nervous System. 1997. Vol. 13. N 3. P. 189-193.
11. Ettlinger H. J. A curve of growth designed to represent of learning process // J. Experimental Psychology. 1926. Vol. 9. N 1. P. 409-414.
12. Chaisson A. F. An alternative approach to the mathematical study of learning curves // J. General Psychology. 1930. Vol. 4. N 4. P. 352-359.
13. Thurstone L. L. The learning curve function // J. General Psychology. 1930. Vol. 3. N. 4. P. 469492.
14. Gulliksen H. A rational equation of the learning curve based on Thorndike’s law of effect // J. General Psychology. 1934. Vol. 11. N 6. P. 395-434.
15. Thorndike E. L. The fundamentals of learning. — N. Y.: Teach. Colleage, Bur. Publishing, 1932. — 315 p.
16. Hull C. L. Principles of Behavior. — N. Y.: Appleton Century Crofts, 1943. — 325 p.
17. Спенс К. У. Теоретический анализ процесса научения // Экспериментальная психология / Под. ред. С. С. Стивенса. — М.: Изд-во иностр. лит., 1963. Т. II. С. 224-273.
18. Степанов И. И. Приближенный метод оценки параметров кривой обучения // Физиология человека.
1983. Т. 9. № 9. С. 686-689.
19. Степанов И. И. и др. Гуморальное звено в механизме формирования условного рефлекса отказа от пищи у виноградной улитки // Журн. ВНД. 1987. № 3. С. 489-497.
20. Rescorla R. A., Wagner A. R. A theory of Pavlovian conditioning: Variations in the effectiveness of reinforcement and nonreinforcement // Classical conditioning II: Current research and theory. Eds. A. H. Black & W. F. Prokasy. N. Y.: Appleton-Century-Crofts, 1972. Р. 64-99.
21. Гродинз Ф. Теория регулирования и биологические системы. — М.: Мир, 1966. — 254 с.
22. Милсум Дж. Анализ биологических систем управления. — М.: Мир, 1968. — 501 с.
23. Delis D. C., Kramer J. H., Kaplan E., Ober B. A. California Verbal Learning Test. Second Ed.: Adult version manual.—San Antonio, TX:The Psychological Corporation, 2000. — 157 р.
24. Лурия А. Р. Высшие корковые функции человека и их нарушения при локальных повреждениях мозга. — М.: Изд-во МГУ, 1962. — 318 с.
25. Частотный словарь русского языка. — М.: Русский язык, 1977. — 358 с.
26. Бююль А., Цефель П. SPSS: искусство обработки информации. — М.: DiaSoft. 2002. — 608 с.
27. Miller G. A. The magical number seven, plus or minus two: Some limits on our capacity for processing information // Psychological Review. 1956. Vol. 63. N 2. P. 81-97.
