CC BY
81
ОРИГИНАЛЬНЫЕ ИССЛЕДОВАНИЯ
© Журавлев Б.В., 2012
УДК 616.147.22-007.64:630-524.11
СРАВНИТЕЛЬНЫЙ НЕЙРОФИЗИОЛОГИЧЕСКИЙ АНАЛИЗ ПОДКРЕПЛЕНИЯ И ПОЛЕЗНОГО ПРИСПОСОБИТЕЛЬНОГО РЕЗУЛЬТАТА: ЛОГИКА И ФАКТЫ
Б. В. Журавлев
Научно-исследовательский институт нормальной физиологии им. П.К. Анохина Российская академия медицинских наук, г. Москва
В статье изложены принципы и процессы регуляции физиологических функций с точки зрения теории функциональных систем академика П.К.Анохина. На основе развития этих представлений, а также полученных экспериментальных данных, предлагается понятие о полезном приспособительном эффекте в системе, близким к термину - подкрепление. Приспособительный эффект рассматривается как физиологический процесс происходящий в центральной нервной системе на основе прихода обратной афферентации о параметрах внешнего объекта, который получает субъект при целенаправленном поведении, к нейронам включенным в структуру аппарата акцептора результатов действия. Приведены логические и экспериментальные доказательства о полезном эффекте на уровне регуляции кровяного давления, пищедобывательного поведения и социальной деятельности человека. Рассмотрены нейрофизиологические процессы при целенаправленной деятельности животных, лежащие в основе формирования полезного приспособительного эффекта в системе (подкрепление).
Ключевые слова: нейрон, полезный приспособительный эффект в системе, подкрепление.
Анализируя последние экспериментальные данные, полученные в лаборатории, а также логику самой теории функциональных систем, мы пришли к пониманию о полезном приспособительном эффекте. Истоки такого понимания были заложены уже в работах П.К.Анохина, который писал: «Результат как системообразующий фактор, может представлять собой физиологический процесс, формирующийся на основе прихода в центральную нервную систему сложного интеграла обратных афферентных импульсаций от результата данного действия и сопоставлению с основным намерением к совершению данного действия» [3].
Рассмотрим основополагающий принцип, изложенный не только в теории
функциональных систем (ТФС), но и в классической физиологии - принцип саморегуляции. Схема саморегуляции дает возможность объективизировать любую системную деятельность организма от регуляции гомеостатических функций до социальной деятельности человека [11]. На рисунке 1 представлены три уровня саморегуляции: артериального давления (АД), пищедобывательного поведения и социальной формы поведения человека. На представленных схемах выделены (заштрихованы) два блока, один из которых, по существующим представлениям ТФС, является приспособительным результатом: а) объем крови создающий давление в аорте, б) пища из внешней среды, в) видеокассета с фильмом.
Рис. 1. Схемы трех уровней саморегуляции функций. Объяснения в тексте
Один из блоков - внешние объекты на поведенческом уровне, по отношению к функциональным системам, являются результатами действий самой системы. Другой блок - это процесс взаимодействия между приходящей обратной аффе-рентацией о параметрах внешнего объекта и аппаратом в центральной нервной системе, который прогнозирует и оценивает выполнение программы действий и параметры внешнего объекта, удовлетворяющего исходную мотивацию.
Известно из ТФС, что этот процесс взаимодействия может вызывать «согласование» или «рассогласование» в аппарате акцептора результатов действия (АРД), что приводит к формированию соответственно положительной или отрицательной эмоции. В связи с этим, возникают вопросы: 1. Результат, как системообразующий фактор, должен быть в сис-
теме или вне ее? 2. Если эмоции формируются при оценке конечного приспособительного результата - можно ли результатом считать процесс взаимодействия в АРД?
Чтобы ответить на эти вопросы, обратимся к автору ТФС. П.К. Анохин писал, что «экспериментатора, анализирующего поведенческую деятельность животных и человека, прежде всего интересовала сама деятельность и оставались без внимания «результаты» этой деятельности». Данный анализ проходил в рамках рефлекторной теории. В связи с этим, П.К. Анохин предложил анализировать не только деятельность, а именно результаты поведенческой деятельности, т. е. изучение последующих событий во внешней среде. На основе такой логики, а также ряда экспериментальных исследований о механизмах компенсации нарушенных функ-
ций было сформулировано понятие о тем известно, что организм на основе до-
функциональной системе и системообра- минирующей мотивации и сформирован-
зующем факторе [3]. ной цели (АРД) «стремиться» к взаимо-
В настоящей работе мы считаем це- действию с полученными результатами
лесообразным продолжить логику деятельности для их оценки о достаточно-
П.К.Анохина рассмотрения поведенче- сти или нет, чтобы удовлетворить исход-
ской деятельности и обратить внимание ную мотивацию. А эта оценка уже физио-
не только на события во внешней среде, логический процесс, на основе которого
но и на последующие события в самой происходит формирование эмоционально-
системе. Из теории функциональных сис- го состояния всего организма (рис. 2).
Рис. 2. Схема функциональной системы поведенческого акта
Более того, важным, на наш взгляд, определением результата является то, что «центральным пунктом функциональной системы любого уровня организации служит конечный приспособительный эффект» [3]. Такое определение приспособительного результата как «эффект» в системе служит дополнительным логическим доказательством о том, что необходимо рассматривать полезный приспособительный эффект при оценке АД, пищи, кинофильма и др., как физиологический процесс в самой системе.
В связи с этим, остается вопрос о «вписанности» механизма эмоций, оценивающего результат в системе, в архитектуру функциональной системы. Как пишет П.К.Анохин, природа создала в процессе эволюции это механизм в виде нейрофизиологических, нейрохимических и
молекулярных процессов формирующих эмоциональное состояние для оценки полезности «эффектов» в системе.
Другой теоретической предпосылкой для уточнения понятия о полезном приспособительном эффекте, является принцип опережающего отражения действительности, который реализуется за счет механизмов мотивации, генетической и приобретенной памяти в центральной нервной системе. На основе этих механизмов формируется специальный аппарат для оценки всей деятельности функциональных систем и служит физиологический базой для корректировки деятельности и достижению конечного приспособительного эффекта.
Таким образом, «эффект» это и есть процесс взаимодействия между центральными нейронами с обратной афферента-
цией о параметрах внешнего объекта или события (рис. 2). В связи с этим, попытаемся привести экспериментальные данные, показывающие достоверность этих предположений.
Материалы и методы
Эксперименты проводились на кроликах в условиях свободного поведения на моделях пищедобывательного и оборонительного поведения. Регистрировали двигательную активность животных, внеклеточную спайковую активность нервных клеток различных структур мозга, дыхание и ЭКГ.
Широко известно, что ряд исследователей, начиная с работ Г. Джаспера и заканчивая современными работами по анализу активности нейронов при поведенческой деятельности животных [1, 2, 4,
5, 6, 14], выдвигали достаточно много концепций в трактовке полученных данных. На наш взгляд, все эти трактовки были обусловлены двумя причинами. Первая из них была обусловлена «историческим» переносом рассмотрения активности нейронов как реакций на то или иное воздействие на организм, так как микроэлектродные исследования начались в условиях наркотического состояния животных [13]. Вторая причина - относительно жестким анализом форм активности нейронов в виде активаций, торможения или отсутствием изменений частоты разрядов в единицу времени.
Однако, в наших исследованиях, по анализу средней частоты разрядов у 100 нейронов латерального гипоталамуса («центр голода») у голодных животных и у 100 нейронов этого отдела мозга у накормленных не показал достоверных отличий по этому показателю.
Выбрав другую форму анализа, а именно временные межспайковые характеристики активности нейронов, мы обнаружили однотипные распределения мод на интервальных гистограммах, при определенных мотивационных состояниях у животных, в различных структурах мозга (ретикулярная формация, латеральные и вентромедиальные отделы гипоталамуса,
инсулярная, зрительная, сенсомоторная области коры, гиппокамп, бледный шар, таламус и др.).
Автор руководствовался «Правилами проведения работ с использованием экспериментальных животных» применяя местный и общий наркоз для умерщвления животных.
Результаты и их обсуждение
В серии экспериментов на кроликах, голодавших 48 часов, зарегистрирована активность 34 нейронов латерального гипоталамуса в условиях предоставления животным пищи до полного насыщения. Анализ интервального паттерна спайков нейронов у голодных животных методом составления гистограмм выявил би- или тримодальное распределение с доминированием значений интервалов в областях 510 мс, 150 мс и более 1000 мс. Нативная запись этой активности имеет групповую или пачечную форму разрядной деятельности нейронов [8].
По сути, такой интервальный паттерн нейронов отражал, с одной стороны, наличие у животных доминирующей мотивации голода, а с другой - процесс «ожидания» будущего пищевого результата [7]. Вызывает особый интерес интерпретация этого состояния животного
А.И.Шумилиной [15], которая считала, что в отсутствии реального результата неизбежно должен быть процесс рассогласования в аппарате акцептора результатов действий (АРД), что приводит к формированию состояния напряжения или «отрицательной» эмоции. В свою очередь отрицательная эмоция отражает «отрицательный» результат в системе, что проявляется в специфической форме разрядной деятельности нейронов.
Таким образом, с точки зрения архитектуры функциональной системы поведенческого акта, наличие групповой или пачечной формы активности нейронов может отражать наличие доминирующей мотивации, функционирование АРД и наличие отрицательного эмоционального состояния.
Далее эксперименты показали, что при реализации животным пищедобывательной
деятельности происходит резкое изменение интервального паттерна активности нейронов - смена групповой формы активности на «регулярную», монотонную активность и на интервальной гистограмме имелось одномодальное распределение с различными значениями доминирующих интервалов для разных клеток (рис. 3).
Этот факт указывал на то, что при достижении животным необходимого результата существует объективный показа-
тель в деятельности нейронов (регулярная форма активности), который отражает как процесс согласования в АРД, так и наличие положительного эмоционального состояния. В связи с этим, возникает принципиальный вопрос о приспособительном результате в системе (эффекте, подкреплении по И.П.Павлову) или с точки зрения экспериментатора - прием пищи или самого организма, т.е. конкретной функциональной системе питания.
1
[
2
3
°/
/О
10
150
мс
Рис. 3. Реорганизация интервального паттерна активности нейрона латерального гипоталамуса голодного кролика в момент начала приема пищи.
1. Активность нейрона. 2. Отметка о начале потребления пищи животным. 3. Отметка времени: 50 мс. 4, 5. Интервальные гистограммы активности нейрона до и после приема пищи
Нам представляется, что объективным критерием наличия полезного эффекта (подкрепление) для системы является переход активности нейронов на регулярную спайковую деятельность после прихода обратной афферентации от рецепторов реагирующих на параметры пищи к центральным нейронам мозга (структура АРД).
Дальнейшие исследования были проведены на кроликах при пищедобыва-тельном поведении с регистрацией внеклеточной активности нейронов различных структур мозга, которые перечислены
выше [10].
В экспериментах на модели условнорефлекторной пищедобывательной деятельности животных была обнаружена общая закономерность в реорганизации интервального паттерна нейронов перечисленных структур мозга. Эксперименты показали, что при реализации пищедобы-вательного акта у животных нейроны различных структур мозга изменяли пачечную форму активности на регулярную в разной временной последовательности. Такой переход в сенсомоторной коре на-
блюдался в момент начала движения кролика к кормушке (реализация программы действий), в зрительной коре - при появлении пищи в автоматизированной кор-
мушке, в инсулярной коре - в момент захвата животным пищи, в гипоталамиче-ских структурах - при поступлении пищи в желудок (рис. 4).
Рис. 4. Последовательная временная реорганизация интервального паттерна активности нейронов разных структур мозга при пищедобывательном поведении животных.
СМК - сенсомоторная область коры, ЗК - зрительная область коры, ИК - инсулярная кора, ГПТ - гипоталамус. УС - условный сигнал
Таким образом, проведенные исследования показывают, что переход специфической временной структуры паттерна разрядной деятельности нейронов на регулярную происходит при взаимодействии обратных афферентаций от рецепторов при реализации программы действий и рецепторов реагирующих на различные параметры внешнего объекта - пищи. Эти взаимодействия, как показали наши и исследования других авторов, имеют место не только от рецепторов желудочнокишечного тракта, но и вплоть до процессов клеточного обмена [12].
При дальнейшем рассмотрении понятия результативности в поведенческой деятельности животных, мы столкнулись с проблемой сравнения терминов «подкрепления» по И.П.Павлову при выработке условных рефлексов и «результата» по П.К.Анохину, как системообразующего фактора. В этом смысле модель оборони-
тельного поведения, где в качестве безусловного подкрепления используется элек-трокожное раздражение животного (ЭКР), до сих пор трудно объяснима с точки зрения теории функциональных систем (ТФС)? Так как приспособительным результатом является избегание ЭКР и, в то же время, на основе применения ЭКР формируется данная функциональная система.
Мы провели серию экспериментов, в которой использовали модель выработки и угашения условного рефлекса у кроликов, где в качестве условного сигнала служил звуковой тон, длительностью 6 секунд, а подкрепляющим воздействием -ЭКР задней лапы животного (1,5 с, 14 мА). Эксперименты проведены на бодрствующих кроликах, мягко фиксированных за лапы к станку.
На основании анализа 82 нейронов дорсального гиппокампа была выявлена определенная закономерность в динамике
интервальных характеристик группы клеток (98%) при 40 сочетаниях тона и ЭКР и при угашении (40 предъявлений тона).
В условиях иммобилизации животных фоновая активность нейронов характеризовалась тем, что на интервальной гистограмме доминировали значения мод в областях 1-50 мс, 150 мс и более 1000 мс, отражая, как было показано ранее, оборонительную мотивацию [9]. Предъявление первых 3-х ЭКР без условного сигнала вызывало в течение 1000-1200 мс выраженную регулярную активность у нейронов. Этот факт имеет, на наш взгляд, принципиальное значение, так как аналогичная картина изменений интервальных характеристик активности нейронов была при пищевых подкреплениях у голодных животных. Следовательно, можно трактовать, что ЭКР является с одной стороны «подкрепляющим» воздействием, а с другой -афферентацией, приходящей к нейронам при ЭКР и вызывающий феномен «результата» по критерию интервального паттерна. Однако, традиционно положительным результатом в ТФС считалось избавление от ЭКР. В связи с этим, можно предположить, что организм в этих условиях (не избегаемой боли) должен активировать нейрофизиологические механизмы, снижающие чувствительность к воздействию ЭКР (повышение порогов, активация опиатной системы и др.).
Интерес вызывает активность нейронов в момент выключения ЭКР. После регулярной активности появлялась выраженная пачечная с бимодальными характеристиками распределения на интервальной гистограмме (1-50 мс и 150 мс). В этом случае можно использовать трактовку А.И.Шумилиной о том, что после выключения ЭКР животное продолжает «ожидать» болевое воздействие, а его отсутствие вызывает процесс рассогласования и как следствие - усиление оборонительной мотивации [15].
В дальнейшем, при сочетаниях условного сигнала и ЭКР, можно выделить несколько этапов в динамике интерваль-
ного паттерна активности нейронов гиппокампа. На первом (к 5-7 сочетанию) выраженная пачечная активность наблюдалась уже на фоне условного сигнала, отражая начало выработки условного рефлекса, «ожидания» будущего ЭКР или «опережения» по П. К. Анохину, а после ЭКР длительная регулярная активность. На втором этапе (к 10-14 сочетанию) регулярная активность появлялась как на условный сигнал, так и после ЭКР. На третьем этапе (14-20 сочетания) регулярная активность была до условного сигнала, на его фоне, а после ЭКР - торможение спайковой активности. При последующих сочетаниях (20-40 сочетания) спайковая активность или совсем прекращалась, или проявлялась в виде «активаций» перед ЭКР, как при автоматизированных формах поведенческой деятельности животных [13, 14] (рис. 5).
Таким образом, анализ интервальных характеристик активности нейронов показал, что при обучении животных динамика паттерна отражает ТФС принципа, которые изложены в ТФСЛ опережающего отражения действительности и минимизации функций (разрядной деятельности нейронов).
Вызывает особый интерес регулярная активность нейронов, которая по своим характеристикам (интервальным) совпадала с активностью после начала изолированного предъявления ЭКР и не менялась длительное время при сочетаниях тона и ЭКР. Мы интерпретируем этот факт тем, что организм достиг относительно «положительного» эффекта в этих условиях за счет внутренних нейрофизиологических процессов адаптации к элек-трокожным воздействиям. Следовательно, нейроны, к которым приходит обратная афферентация о «болевой» обстановке, «болевого» условного сигнала и ЭКР и функционирующими как аппарат акцептора результатов действия, проявляют регулярную активность, отражающую достижение положительного приспособительного эффекта.
Рис. 5. Динамика активности одного из нейронов дорсального гиппокампа мозга кролика при сочетаниях условных и подкрепляющих воздействий.
1. Активность нейрона при первом воздействии электрокожного раздражения (ЭКР) задней лапы животного. 2. 3. Активность нейрона при 5-ом сочетании условного сигнала (УС, звуковой тон) и ЭКР.
4. 5. 6. Активность нейрона при 15-ом, 25-ом, 35-ом, 45-ом сочетании соответственно.
7. Отметка времени: 50 мс
Эти факты еще раз дают основание рассматривать приспособительный эффект в системной деятельности на поведенческом уровне как процесс взаимодействий афферентаций о внешних объектах (воздействий) с нейронной структурой аппарата акцептора результатов действия.
Выводы
В настоящей работе сделана попытка использовать некоторые факты для дальнейшего развития представлений о результате в теории функциональных систем П.К.Анохина. Один из них - это продолжение логики П.К.Анохина о том, что «видит» экспериментатор, анализируя деятельность животных и человека, и каковы результаты этой деятельности. Предлагается рассматривать не только результаты деятельности организма, Но и процессы в самой системе после достиже-
ния «этих результатов». Это дало возможность сохранить прежнее понятие о результате действий, но выделить полезный приспособительный эффект в системе, как процесс взаимодействия обратной афферентации с нейронами, включенными в структуру аппарата акцептора результатов действия.
Приведенные и выдвинутые положения дают возможность по новому интерпретировать сложные формы социального поведения человека, подойти к решению проблемы иерархии функциональных систем как иерархии результатов и др.
Литература
1. О детерминации активности нейронов моторной коры в поведении / Ю.И. Александров [и др.] // Психол. журн. -1983. - Т. 4, №2. - С. 74-87.
2. Андрианов В. В. Функциональная ней-
рохимия системоквантов поведения /
B.В. Андрианов. - М.: ГОУ ВПО им. И.М. Сеченова Росздрава, 2006. - 202 с.
3. Анохин П.К. Биология и нейрофизиология условного рефлекса / П. К. Анохин. - М.: Медицина, 1968. - 547 с.
4. Батуев А.С. Эволюция лобных долей и интегративная деятельность мозга /
А.С. Батуев. - Л.: Медицина, 1973. -126 с.
5. Безденежных Б.Н. Динамика взаимодействия функциональных систем в структуре деятельности / Б. Н. Безденежных. - М.: Институт психологии РАН, 2004. - 270 с.
6. Джон Е.Р. Статистическая теория обучения и памяти. Механизмы формирования и торможения условных рефлексов / Е.Р. Джон. - М., 1973.
7. Журавлев Б.В. Пачкообразная ритмика нейронов как отражение процессов ожидания голодными животными пищевого подкрепления / Б.В. Журавлев, К.В. Судаков. - 1979. - Т. 29, №3. -
C. 643-646.
8. Журавлев Б.В. Анализ импульсной активности нейронов орбитальной коры кроликов при пищевом целенаправленном поведении / Б.В. Журавлев, Н.Н. Шамаев // Журн. высш. нерв. деятельности. - 1981. - Т. 31, №5. -С. 1010-1017.
9. Поведенческие, вегетативные и элек-трофизиологические корреляты аппа-
рата акцептора результатов действия / Б.В. Журавлев [и др.] // Вестник АМН СССР. - 1985. - №2. - С. 46-51.
10. Журавлев Б.В. Системный анализ активности нейронов мозга при пищедо-бывательном поведении животных. Нейроны в поведении. Системные аспекты. / Б.В. Журавлев. - М.: Наука, 1986. - 170 с.
11. Судаков К.В. Развитие теории функциональных систем / К.В. Судаков. -М.: ГУ НИИ нормальной физиологии им. П.К.Анохина РАМН, 2007. - 343 с.
12. Отражение доминирующей мотивации в деятельности нейронов мозга и периферических органов / К.В. Судаков [и др.] // Успехи физиол. наук. - 1988.
- Т. 19, №3. - С. 24.
13. Фадеев Ю.А. Импульсная активность корковых нейронов при формировании и осуществлении целенаправленного поведения / Ю.А. Фадеев // Успехи физиол. наук. - 1980. - Т. 2, №3. -
С. 12-46.
14. Швырков В.Б. Системная детерминация активности нейронов в поведении / В.Б. Швырков // Успехи физиол. наук. - 1983. - Т. 14, №1. - С. 45-66.
15. Шумилина А.И. Нейрональные механизмы оценки животными результатов поведенческой деятельности / А.И. Шумилина, Б.В. Журавлев, Н. Шамаев // Вестник АМН СССР. - 1982. - № 2.
- С. 21-26.
COMPARATIVE NEUROPHYSIOLOGICAL ANALYSIS OF THE SUPPORT AND USEFUL ADJUSTING RESULT: LOGIC AND FACTS
B.V. Zhuravlev
In the article the physiological principles and processes are stated from the point of view of the theory of functional systems of the academician P. K. Anokhin. On the basis of development of these representations, and also received experimental dates the concept about result as system-organization factor is offered. Useful adaptation effect determinate physiological process occurring in the central nervous system of the basis of feed back afferents about parameters of result of action to the neurons included in structure of the towards model of results of action. The logic and experimental dates of representation about result at a regulation of blood pressure level, feed behavior and social form of activity of the man are given. Are considered neurophysiological processes at goal-directed activity of animal, underlying formations useful of result as «effect» in system (reinforcement).
Key words: behavior of animals, neuron, useful of result, reinforcement.
Журавлев Борис Васильевич.
115583, г. Москва, ул. Елецкая, д. 12, корп. 2, кв. 101. Тел.: З996082 (дом.), 89162124746 (моб.).
E-mail. [email protected].
