CC BY
44
Halo Pavel Vladimirovich - Federal state educational institution of higher professional education "Taganrog state pedagogical Institute named after A.P. Chekhov"; e-mail: [email protected]; 6a, 1st Kotelnaj street, Taganrog, 347905, Russia; phone: +79289657560; the department of physical culture; cand. of eng. sc.; associate professor.
Borodyansky Yuri Mikhailovich - Southern Federal University; e-mail: [email protected]; 87, Alexandrovskaya street, fl. 5, Taganrog, Russia; phone: +79185051716; the department of SA&T; cand. of eng. sc.; associate professor.
УДК 57.084.1 + 004.046
К.И. Клюев, Д.С. Голуб, Е.П. Муртазина, Б.В. Гурковский, Б.В. Журавлев
РАЗРАБОТКА МОДЕЛИ САМОПРОИЗВОЛЬНОГО ОБУЧЕНИЯ КРЫС В УСЛОВИЯХ СВОБОДНОГО ВЫБОРА РАЗЛИЧНЫХ УСЛОВНЫХ СИГНАЛОВ И ПОДКРЕПЛЕНИЙ С ИСПОЛЬЗОВАНИЕМ
ИНТЕРАКТИВНОГО СЕНСОРНОГО МОНИТОРА «TOUCH-SCREEN»
Данная работа посвящена созданию модели самопроизвольного обучения крыс в условиях свободного выбора условных сигналов на сенсорном экране для получения пищевых подкреплений различной ценности, что позволит в дальнейшем исследовать нейрофизиологические и нейрохимические механизмы процессов активного выбора и принятия решений. Главным отличием разработанной модели является нестатичность выводимых на экран стимулов. Созданная модель предполагает два движущихся с разной скоростью стимула. Соответственно более быстрый, для нажатия на который требуется приложить более усилий гарантирует большую награду. Эксперименты проводились в стандартном боксе производства Lafayette Instruments. Программная часть реализована с использованием программного обеспечения ABET II. Полученные в экспериментах данные обрабатывались с помощью программ Excel и MathLab, в которых были построены паттерны поведения, позволяющие делать выводы о процессе выбора. В целом результаты, полученные в экспериментах говорят о большом потенциале данной модели для дальнейших опытов.
Самопроизвольное обучение; выбор; сенсорный экран; крысы.
K.I. Klyuev, D.S. Golub, E.P. Murtazina, B.V. Gurkovskii, B.V. Zhuravlev
ELABORATION (DESIGN) OF RATS SPONTANEOUS TEACHING MODELS
WITH FREELY CHOSEN DIFFERENT CONDITIONAL SIGNALS AND REINFORCEMENTS USING INTERACTIVE «TOUCH-SCREEN» MONITOR
This work is focused on designing rats' spontaneous teaching model with freely chosen different conditional signals on touch-screen monitor to get food reinforcements of various value. In future, it will contribute to the research of neurophysiological and neurochemical mechanisms of active choice and decision-making. The main model difference is the "unstatic" form of stimulus on the screen. The designed model suggests two stimuli moving with different speed. The faster one being obviously harder to touch provides better reward. The experiments were carried out in Lafayette Instrument's standard box. Program part was written using ABET II software. The obtained data was processed in Excel and MathLab with behavior patterns to draw conclusions on the choice making process. Generally, the obtained results show a great potential of the designed model forfuture experiments.
Spontaneous learning; choice; touch screen; rat.
Социальная деятельность человека и обитание животных в естественных условиях осуществляется только в процессе самостоятельного активного выбора окружающих воздействий, собственной программы действий и оценки достигаемых результатов целенаправленной деятельности. Наиболее близкими к этологи-
ческим наблюдениям процессов выбора и принятия решения у животных являются экспериментальные модели самопроизвольного обучения с использованием методики свободного выбора. Эдвард Торндайк был первым, кто использовал этого метод, назвав его «проблемной ситуацией», когда животному вся информация относительно задачи представляется уже в первом опыте для самостоятельного обучения и формирования поведения [1]. Еще П.К. Анохиным [2] при анализе поведения животных в относительно свободном поведении животных была показана роль доминирующей мотивации, памяти для принятия решения в условиях активного выбора подкрепления на двух сторонах экспериментальной установки. Было выяснено, что ведущую роль в адекватных взаимоотношениях между условным стимулом и обстановкой в процессе условно-рефлекторной деятельности при выборе одной из сторон подкрепления играют лобные доли коры головного мозга [3].
В последующем, многие исследователи применяют разновидности экспериментальной модели с 2-сторонним подкреплением:
♦ задачи дискриминации условных раздражителей (например определение обезьянами доминирующего с различной вероятностью направления движений точек или выбор крысами различных изображений для получения подкреплений);
♦ выбор птицами вслед за условными сигналами различных подкреплений;
♦ модели выбора, в которых животное получает малоценное подкрепление в случае выбора быстрого ответа на условный сигнал, или же более ценное подкрепление (в данном случае чистое мясо) при ответах с большим латентным периодом. В результате анализа поведения в этой модели были выделены (так называемые) «импульсивные» или «самоконтролируемые» животные [4].
В экспериментальных лабораторных условиях ряд авторов также создают модели, в которых животные самопроизвольно обучаются получать подкрепление, находя, выделяя и выбирая среди обстановочных афферентаций окружающей обстановки пусковые условные сигналы [5].
Типологические особенности ВНД и нейробиологических механизмов индивидуального поведения животных и человека изучались с помощью поведенческих методик, предоставляющих «право» выбора подкрепления в зависимости от его ценности, вероятности и эмоциональной окрашенности [6]. Выявлены разные стратегии в достижении результата действия, обусловленные индивидуально-типологическими различиями субъектов.
В последние годы в экспериментальных моделях обучения крыс пищедобы-вательному или питьевому поведению некоторые исследователи начали применять интерактивные сенсорные мониторы, на которых предъявляются в качестве условных сигналов различные изображения. При правильном нажатии на них, т.е. при дифференцировке таких условных сигналов, животные получают соответствующее подкрепление. Показано, что использование подобных систем имеет большой потенциал. Проводились эксперименты, ставящие целью определить оптимальные параметры для исследований, включающие в себя различные формы изображений, расположение сенсорного экрана и подкреплений. В результате было установлено, в частности, что пищевые подкрепления стоит размещать на противоположной стороне от сенсорного экрана, на удалении 25-30 сантиметров от него, в связи с особенностями восприятия у крыс [7]. Также проводились исследования влияния нарушений, вызванных формированием модели шизофрении у крыс и мышей, на способность к распознанию условных сигналов [8], продемонстрировавшие высокую эффективность модели обучения крыс с использованием сенсорных мониторов для выявления различных когнитивных расстройств.
В связи с вышеизложенным, целью настоящей работы было разработать модель, имидж и протокол эксперимента, которые бы позволили изучать процессы и механизмы самопроизвольного обучения крыс с активным выбором условных сигналов на сенсорном экране для получения пищевых подкреплений различной ценности и вероятности достижения. Разработанная экспериментальная модель в дальнейшем позволит исследовать нейрофизиологические и нейрохимические механизмы процессов активного выбора и принятия решений при самостоятельном обучении крыс целенаправленным навыкам.
Методика. Эксперименты проводились на 12 крысах породы Whisker, мужского пола, с соблюдением принципов гуманности, изложенных в директиве европейского сообщества(86/609/ЕС). Выбор обусловлен их хорошей обучаемостью, а также хорошей изученностью их поведения в результате ранее поставленных экспериментов и соответственно предсказуемости их реакции на различные стимулы. Возраст крыс на момент начала экспериментов составлял 9-10 недель. Животных содержали по 6 особей при постоянной температуре 22 °С и регулярном световом цикле (включение света в 8.00, выключение в 22.00), в клетках со свободным доступом к воде и корму («Полнорационный комбикорм для лабораторных животных ПК 120-1240» в виде экструдированных гранул, ЗАО «Гатчинский ККЗ»). Содержание пищевых веществ, витаминов и минералов в корме соответствует международным стандартам, и позволяет полностью обеспечить все физиологические потребности животных. Время проведения опытов: 17.00-20.00, обусловлено наибольшей активностью животных в сумеречное время.
Эксперименты проводились в стандартном боксе производства Lafayette Instruments (размеры 30.5 x 26.0 x 20.0 см). На одной стенке камеры закреплен сенсорный экран (10.25" W x 7.9" H) на который выводятся стимулы. На противоположной стенке на расстоянии 30 см расположены кормушки с подкреплением (рис. 1). Над клеткой закреплена видео камера, фиксирующая ход эксперимента.
Рис. 1. Фотография экспериментальной установки
В процессе проведения процедур обучения минимизировали световые, звуковые и другие раздражители разных модальностей в окружающем пространстве. В течение всего опыта крыса находилась в свободном поведении. Животное исследовало пространство камеры, случайным образом нажимало носом или лапой на экран в область одного из стимулов преимущественно при осуществлении вер-
тикальных стоек в процессе ориентировочно-исследовательского поведения. После того как крыса нажимала на изображение условного стимула, программа управления запускала одно из выходных устройств - кормушку 1 или 2, при этом с этой стороны был слышен тихий короткий звук работы устройства подачи корма. Эти звуковые сигналы запуска механизмов подачи гранул способствовали процессу нахождения крысой гранул в кормушках.
Результаты. Разработана модель предъявлений двух условных стимулов в левой и правой части экрана, представляющие собой круг и квадрат белого цвета, размер которых составлял 3*3 см (250х250 пикселей на экране) (рис. 2). Главное отличие данного эксперимента от большинства проводимых ранее состоит в том, что картинки не являлись статичными, а постоянно с разной скоростью перемещались сверху вниз и обратно.
Рис. 2. Схема предъявляемых на сенсорном экране стимулов: круг и квадрат, движущиеся с различными скоростями (Ск1 < Ск2), нажатия на которые подкреплялись одной или тремя гранулами, соответственно
Скорость движения левого стимула (круг) составляла 1 см в 6 секунд (смещение на треть размера изображения), при нажатии на него крыса получала пищевое подкрепление в виде 1 гранулы 45 мг (специальные гранулы для оперантных установок, TSE-Systems). При этом правый стимул (квадрат) двигался втрое быстрее левого, и при нажатии на него выдавался увеличенный объем подкрепления (3 гранулы по 45 мг). При попадании крысой по одному из стимулов на экране, их изображения исчезали, включалась подсветка соответствующей кормушки, и в нее выдавалось установленное количество подкрепления, зависящее от того на какую из картинок было осуществлено нажатие - более быстрый стимул подкреплялся втрое большей наградой. При открытии крысой двери кормушки, подсветка выключалась, а на экран вновь выводились изображения условных сигналов.
Разработанный алгоритм модели обучения крыс самопроизвольно нажимать на два условных сигнала с различными подкреплениями был программно реализован с использованием среды ABET II. Было прописано выведение стимулов на экран и их смещение через заданные промежутки времени (2 и 6 секунд для быстрого и медленного изображения соответственно). Одновременно считывались нажатия на экран, и при совпадении точки нажатия с одним из выведенных стимулов
запускалась соответствующая ему функция выдачи подкрепления, одновременно с этим процесс движения изображений ставился на паузу и возобновлялся лишь после открытия крысой кормушки с подкреплением.
Первоначальный период обучения длился две недели, эксперименты проводились через день, с предварительной пищевой депривацией животных в течение 12 часов, один сеанс для каждой крысы на данном этапе длился 1 час.
После обучения была проведена контрольная серия экспериментов, длившаяся 2 недели, с аналогичной частотой и уменьшенной до 30 минут продолжительностью сеанса.
После эксперимента данные экспортировались в программы MS Excel и MatLab для построения диаграмм поведения и дальнейшей статистической обработки c помощью пакета программ StatSoft5. Обращали внимание на следующие показатели:
♦ время выбора пусковых стимулов для каждого выходного устройства;
♦ интервалы между запусками выходных устройств;
♦ интервалы между запусками выходных устройств и подкреплением;
♦ наличие серий поведенческих актов выбора одного из стимулов, выраженных на диаграммах поведения в виде пачек;
♦ длительность каждой пачки.
Также изучали ошибки в поведении - интервалы между выбором одного выходного устройства и проверкой другого и количество спаренных ошибок.
Эксперимент показал, что крысы в целом достаточно хорошо справляются с попаданием по движущемуся стимулу, хотя и несколько сложнее, чем в экспериментах с неподвижными изображениями. На рис. 3 приведен паттерн поведения одной из крыс на протяжении пятого эксперимента.
н 1Л 0) т N о о н ч н гм т t н м Л Л 01 ГЛ С- Н 1Л 0 М (N ГГ. fYl -f rf -t 0 N СО 01 О Н М •НИН Г, N л 1Л 1-1 ■+ н н н to Ifl ч U" Ч Oi (г 10 Г- N 0. н - s ч и N. СО С 31 О -Н ГМ г "1 0 1 с i Г Nl С ГГ| Is - ) 01 01 с ff\ t 'С g гм rsj (N U". 01 о о N CO <4 (N ATI !■ H - Oi ' f\| ч H H ГЧ -J H ri m С
Рис. 3. Пример поведенческого паттерна крысы. Короткие линии соответствуют нажатиям крысы по стимулам на экране, длинные - получение крысой подкрепления. Верхняя половина изображения - более быстрый стимул,
ни^жняя медленный
На данном этапе сложно говорить об однозначном предпочтении животными одного из стимулов. Видно, что количество нажатий примерно совпадает. Это может быть связано как с незавершенностью обучения крысы на данном этапе, так и с тем, что попадание по более быстрому стимулу представляется более сложным и не все попытки заканчиваются результативно и приводят к выдаче подкрепления.
В результате статистического анализа временных показателей паттернов поведения всех крыс выявлено, что от первого к четвёртому эксперименту снижается время выбора пускового стимула (рис. 4,а), сокращаются интервалы между выбором выходного устройства и подкреплением (рис. 4,б).
Рис. 4. Динамики латентных периодов выбора условных сигналов (а) и временных интервалов между выбором условных сигналов и подкреплением при обучении
Кроме того, обнаружено, что от эксперимента к эксперименту снижается количество ошибочных проверок одного выходного устройства при выборе другого (ошибки первого типа, иБ1, рис. 5,а), а также количество ошибок выбора одного выходного устройства после получения подкрепления в другом (ошибки второго типа, иБ2, рис. 5,б).
Рис. 4. Динамики количества ошибочных действий крыс в процессе обучения: Е1- проверка одного выходного устройства (например кормушки 1) при выборе изображения для другого устройства (соответственно квадрата для
кормушки2), Е2 - подход и проверка второго выходного устройства после получения подкрепления в другой кормушке
Выводы:
1. Разработан протокол проведения экспериментов, соответствующее программное обеспечение и алгоритмы анализа временного паттерна действий и поведения животных в модели обучения с активным выбором крысами пусковых сигналов путем касания на соответствующие изображения на интерактивном сенсорном экране экспериментального бокса.
2. В результате проведенных исследований на контрольной группе крыс было показано, что животные самостоятельно обучаются оперировать сенсорным экраном нажимая на него в области изображений для получения подкреплений различной ценности.
3. Выявлено формирование устойчивых паттернов серий («пачек») поведенческих актов выбора крысами одного из условных стимулов и подкреплений, смена которых осуществлялась животными или через короткие промежутки времени, или через более длительные интервалы.
4. Обнаружены 2 типа ошибок в самостоятельной деятельности крыс: касание одного изображения с подходом к другой кормушке и подход ко второй кормушке после первой без касания соответствующего изображения.
Заключение. На основе полученных результатов можно говорить, что созданная модель обучения обладает большим потенциалом для дальнейших исследований. В проведенной серии экспериментов поведение крыс изучалось лишь при нормальных условиях, со здоровыми особями, на которых не производилось никакое внешнее воздействие. В дальнейшем планируется продолжение экспериментов на большем количестве подопытных животных, с целью построения нормальных паттернов их поведения, которые в дальнейшем можно будет использовать как образец, при применении данной модели для изучения различных когнитивных нарушений, влияния различных медикаментозных средств и другое.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Thorndike E.L. Animal intelligence, an experimental study of the associative processes in animals. - New York: Macmillan, 1911.
2. Анохин П.К. Проблемы принятия решения в психологии и физиологии // Вопросы психологии. - 1974. - № 4. - С. 21-29.
3. Шумилина А.И. Функциональное значение лобных областей коры головного мозга в условно-рефлекторной деятельности собаки. В кн.: Проблемы высшей нервной деятельности. - М.: Изд-во АМН СССР, 1949. - С. 561-627.
4. Мержанова Г.Х. Проявление индивидуально-типологических особенностей животных и человека при выборе стратегии целенаправленного поведения // Успехи физиологических наук. - 2011. - Т. 42, № 3. - С. 46-64.
5. Никольская К.А., Хоничева Н.М. Особенности обучения крыс в условиях свободного выбора // Журнал высшей нервной деятельности. - 1999. - Т. 49. - Вып. 3. - С. 436-445.
6. Чилингарян Л.И., Григорьян Г.А. Выбор подкрепления собаками: значение баланса разнородных мотиваций и предпочтения ценности или вероятности получения пищи // Журнал высшей нервной деятельности. - 2007. - № 57 (3). - С. 303-312.
7. Michael R. Markham, Allen E. Butt, Michael J. Dougher. A computer touch-screen apparatus for training visual discrimination in rats // Journal of the experimental analysis of behavior.
- 1996. - № 65. - P. 173-182.
8. Bussey T.J., Holmes A., Lyon L., Mar A.C., McAllister K.A.L., Nithianantharajah J., Oomen C.A., Saksida L.M. New translational assays for preclinical modelling of cognition in schizophrenia: the touchscreen testing method for mice and rats // Neuropharmacology. - 2012.
- № 62 (3). - P. 1191-1203.
REFERENCES
1. Thorndike E.L. Animal intelligence, an experimental study of the associative processes in animals. New York: Macmillan, 1911.
2. Anokhin P.K. Problemy prinyatiya resheniya v psikhologii i fiziologii [Problems of decision making in psychology and physiology], Voprosypsikhologii [Questions of Psychology], 1974, No. 4, pp. 21-29.
3. Shumilina A.I. Funktsional'noe znachenie lobnykh oblastey kory golovnogo mozga v uslovno-reflektornoy deyatel'nosti sobaki [Functional role of the frontal areas of the cerebral cortex in conditioned reflex activity of the dog]. V kn.: Problemy vysshey nervnoy deyatel'nosti [In the book: Problems of higher nervous activity]. Moscow: Izd-vo AMN SSSR, 1949, pp. 561-627.
4. Merzhanova G.Kh. Proyavlenie individual'no-tipologicheskikh osobennostey zhivotnykh i cheloveka pri vybore strategii tselenapravlennogo povedeniya [The manifestation of individual-typological characteristics of animals and humans when choosing a strategy of purposeful behavior], Uspekhi fiziologicheskikh nauk [The Success of Physiological Sciences], 2011, Vol. 42, No. 3, pp. 46-64.
5. Nikol'skaya K.A., Khonicheva N.M. Osobennosti obucheniya krys v usloviyakh svobodnogo vybora [Features learning of rats in conditions of free choice], Zhurnal vysshey nervnoy deyatel'nosti [Journal of Higher Nervous Activity], 1999, Vol. 49, Issue 3, pp. 436-445.
6. Chilingaryan L.I., Grigor'yan G.A. Vybor podkrepleniya sobakami: znachenie balansa raz-norodnykh motivatsiy i predpochteniya tsennosti ili veroyatnosti polucheniya pishchi [The choice of reinforcement dogs: the value of the balance of diverse motivations and preferences values or probability of obtaining food], Zhurnal vysshey nervnoy deyatel'nosti [Journal of Higher Nervous Activity], 2007, No. 57 (3), pp. 303-312.
7. Michael R. Markham, Allen E. Butt, Michael J. Dougher. A computer touch-screen apparatus for training visual discrimination in rats, Journal of the experimental analysis of behavior, 1996, No. 65, pp. 173-182.
8. Bussey T.J., Holmes A., Lyon L., Mar A.C., McAllister K.A.L., Nithianantharajah J., Oomen C.A., Saksida L.M. New translational assays for preclinical modelling of cognition in schizophrenia: the touchscreen testing method for mice and rats, Neuropharmacology, 2012, No. 62 (3), pp. 1191-1203.
Статью рекомендовал к опубликованию д.м.н., профессор А.В. Котов.
Клюев Константин Игоревич - ФГБУ «НИИ нормальной физиологии имени П.К. Анохина» ФАНО, НИЯУ МИФИ; e-mail: [email protected]; 123154, г. Москва, ул. Маршала Тухачевского, 21, к. 2, кв. 255; тел.: 89060918242; лаборант; студент.
Голуб Дмитрий Сергеевич - e-mail: [email protected]; 117623, г. Москва, ул. Маршала Савицкого, 30, кв. 7; тел.: 89854239450; лаборант; студент.
Муртазина Елена Павловна - e-mail: [email protected]; 125315, г. Москва, ул. Елецкая, 12, к. 2, кв. 101; тел.: 84992310048, 89154595411; к.м.н.; доцент; ведущий научный сотрудник.
Гурковский Борис Вячеславович - e-mail: [email protected]; тел.: 89296283662; аспирант; младший научный сотрудник.
Журавлев Борис Васильевич - e-mail: [email protected]; тел.: 84992310048, 89152124746; д.м.н.; профессор; зав. лаборатории.
Klyuev Konstantin Igorevich - P.K. Anokhin Institute of Normal Physiology, National Research Nuclear University "MEPhl"; e-mail: [email protected]; 21, Tukhachevsky street, k. 2, apt. 255, Moscow, 123154, Russia; phone: +79060918242; student.
Golub Dmitriy Sergeevich - e-mail: [email protected]; 30, Marshal Savitsky street, apt. 7, Moscow, 117623, Russia; phone: +79854239450; student; assistant.
Murtazina Elena Pavlovna - e-mail: [email protected]; 12, Eletskaya street, ap. 2, kv.101, Moscow, 125315, Russia; phones: +74992310048, +79154595411; cand.of med. sc.; associate professor; leading researcher.
Gurkovskii Boris Vyacheslavovich - e-mail: [email protected]; phone: +79296283662; postgraduate student; junior researcher.
Zhuravlev Boris Vasilevich - e-mail: [email protected]; phones: +74992310048, 89152124746; head of laboratory; dr. of med. sc.; professor.
