CC BY
503
УДК 612.821
К.В. Судаков
МОТИВАЦИЯ И ПОДКРЕПЛЕНИЕ:
СИСТЕМНЫЕ НЕЙРОФИЗИОЛОГИЧЕСКИЕ МЕХАНИЗМЫ
НИИ нормальной физиологии им. П.К.Анохина РАМН, Москва
The role of dominant motivation and reinforcement in integrative functions of brain are investigated. The interaction of motivation and reinforcement in single nervous activity cells of cortical and subcortical areas of brain was established. Postulated that dominant motivation plays an system-organising role, but reinforcement - system-formating (stabilization) in functional systems of behavioral acts. Hypothesis about holographic principle of dominating motivation, biologically active substances participation and role of single neurons genome in motivogenesis are formulated and discussed.
2 января 1916 г. И.П.Павлов выступил на III съезде по экспериментальной педагогике в Петрограде с сообщением на тему «Рефлекс цели», в котором он рассматривал такие основные влечения субъектов, как голод и коллекционирование. «Рефлекс цели, —
утверждал Павлов, — имеет огромное жизненное значение, он есть основная форма жизненной энергии каждого из нас. Жизнь только для того красна и сильна, кто всю жизнь стремится к постоянно достигаемой, но иногда недостижимой цели или с одинаковым пылом переходит от одной цели к другой».
Свои представления о рефлексе цели И. П.Павлов строил на традиционной рефлекторной парадигме, полагая, что прирожденные влечения живых существ представляют собой отраженные рефлекторные реакции на определенные внешние и внутренние раздражители. Однако стремление живых существ к обладанию определенными внешними объектами не укладывалось в классическую схему «стимул-реакция». При любых формах основных влечений организма на первый план выступали внутренние механизмы, порождающие поведенческую деятельность субъектов, направленную на активный поиск потребных им предметов внешней среды.
Естественно поставить вопрос: какие же внутренние механизмы определяют энергетическую силу целенаправленной деятельности человека и животных?
Эту роль выполняют биологические и социальные мотивации человека.
В соответствии с теорией функциональных систем, предложенной П. К. Анохиным [1], мотивации тесно связаны с формированием таких последовательно развертывающихся стадий центральной архитектоники поведенческих актов, как афферентный синтез, принятие решения и предвидение потребных результатов (акцептор результатов действия). Эффек-торные механизмы поведения, включая поведенческую деятельность, также тесно связаны с исходными мотивациями. Мотивации, таким образом, являются ведущим компонентом системной организации поведенческих актов.
В организации поведенческих актов доминирующие мотивации играют системоорганизующую роль, мобилизуя нейроны различных уровней центральной нервной системы на формирование целенаправленной деятельности.
Наши многолетние экспериментальные исследования показали, что биологические мотивации, такие, как голод, жажда, страх и др., строятся доминирующими мотивациями на основе восходящих активирующих влияний специальных мотивациогенных центров гипоталамуса на другие отделы головного мозга, включая кору больших полушарий. Эти гипо-таламические центры выступают в роли своеобразных пейсмекеров биологических мотиваций, определяющих ритмы их проявлений [2].
Активирующие влияния мотивациогенных центров гипоталамуса отчетливо проявляются у животных в изменениях электрической активности коры и других структур головного мозга, особенно под уретановым наркозом, блокирующим активное бодрствование.
В более сложных формах целенаправленной деятельности животных и человека, как показали А.Н.Леонтьев [3] и Ю.В.Урываев [4], мотивациоген-ные пейсмекеры располагаются во фронтальных отделах коры головного мозга.
Мотивациогенные пейсмекерные центры держат связанные с ними структуры головного мозга в функциональной зависимости от их метаболических состояний. На основе активирующих мотивационных влияний изменяются свойства нейронов головного мозга: их конвергентные свойства по отношению к раздражителям сенсорной и биологической модальности, дискриминационные свойства, а также чувствительность к нейромедиаторам и олигопептидам. При этом усиливается экспрессия ранних генов: c-Fos и
[2,5,6]. Особенно важно отметить возрастание чувствительности нейронов разных отделов головного мозга к подкрепляющим воздействиям.
Доминирующая мотивация, как показали исследования [7], отчетливо проявляется в деятельности отдельных нейронов головного мозга, находящихся на разных уровнях центральной нервной системы, в виде специфического для каждой мотивации пачечного паттерна межимпульсных интервалов. Так, в частности, при голодной мотивации у кроликов доминирует распределение межимпульсных интервалов 10 и 150 мс, при водной депривации — 25 и 150 мс, при оборонительной мотивации — 40 и 150 мс. Процент нейронов с доминирующим распределением межимпульсных интервалов различен в разных структурах головного мозга. Он убывает от стволовых структур головного мозга до коры больших полушарий.
Наряду с восходящими активирующими влияниями нейроны коры головного мозга оказывают специфические нисходящие активирующие и тормозные влияния на инициативные мотивациогенные центры гипоталамуса [8]. Между корой головного мозга и подкорковыми мотивациогенными центрами устанавливаются динамические реверберирующие процессы, раскрытые в научных исследованиях А.И.Шумилиной, М.Баича и Б.Лажетича [9,10]. При доминирующей мотивации, например при отсутствии ранее многократно применяемого оборонительного условного раздражителя у кроликов, наблюдается выраженная высокоамплитудная упорядоченная электрическая активность, генерализованная по структурам коры и подкорковых образований, сопровождающаяся в нейронах этих же структур головного мозга пачечной активностью.
Объединение корково-подкорковых структур в доминирующие мотивации осуществляется на основе специфической интеграции медиаторных и олигопеп-тидных механизмов [2,11].
Корково-подкорковая реверберация возбуждений и их специфическая химическая интеграция определяют, как мы полагаем, энергетическую силу доминирующих мотиваций.
К тому же, доминирующая мотивация повышает чувствительность соответствующих периферических рецепторов к подкрепляющим воздействиям [12,13].
Доминирующая мотивация, избирательно активируя структуры головного мозга, создает нейрофизиологическую основу, определяющую активную поисковую деятельность субъектами предметов окружающего их мира, удовлетворяющих формируемую доминирующей мотивацией потребность.
В системной архитектонике поведенческих актов доминирующие мотивации тесно взаимодействуют с подкрепляющими возбуждениями, поступающими в мозг от параметров достигаемых субъектами поведенческих результатов, удовлетворяющих их исходные потребности.
Подкреплению в формировании функциональных систем принадлежит системообразующая роль. Как только мотивированный потребностью субъект достигает результата, удовлетворяющего его исходную потребность, параметры этого результата «отпечатываются» на соответствующих структурах акцептора результатов действия данной функциональной системы и при последующих возникновениях аналогичной потребности опережающе активируются доминирующей мотивацией.
Подкрепление снижает восходящие активирующие влияния пейсмекерных мотивациогенных центров на кору больших полушарий головного мозга.
В специальных наших экспериментах показано, что подкрепляющие возбуждения адресуются как раз к тем нейронам акцепторов результатов действия функциональных систем, которые исходно вовлекаются в доминирующую мотивацию и в своей пачечной разрядной деятельности отражают специфический, присущий данной мотивации характер распределения межимпульсных интервалов. Подкрепле-
ние — прием пищи, воды, избегание опасности — отчетливо изменяет пачечную активность нейронов, вовлеченных в мотивационное состояние. При этом пачкообразная активность нейронов во всех структурах мозга сменяется на регулярную с доминированием только одного межимпульсного интервала [7,14].
Применение позитронно-эмиссионной томографии позволяет видеть, как системно меняется кровообращение и интенсивность метаболизма в различных структурах головного мозга при наличии мотивации и удовлетворении лежащей в ее основе потребности.
Эксперименты D.Denton с сотрудниками [15] показали, что состояние жажды отчетливо проявляется в активности поясной извилины головного мозга у человека. После введения воды в ротовую полость и при полном питьевом удовлетворении жажды кровенаполнение и интенсивность метаболизма в этих структурах головного мозга отчетливо снижаются.
Тесное взаимодействие доминирующей мотивации с подкреплением на нейронах головного мозга позволило нам сформулировать представления о голографическом принципе построения доминирующих мотиваций. Сигнализация о потребности рассматривается нами как опорная волна, а сигнализация об удовлетворении потребности — как предметная волна. При этом структуры головного мозга выступают в качестве голографического экрана, на котором осуществляется интерференция опорной и предметных волн [16].
В качестве голографического экрана в каждой функциональной системе выступает акцептор результата действия. В каждой функциональной системе он представляет широко разветвленную по различным структурам коры и подкорковых образований мозаичную архитектонику. В соответствии с гипотезой, предложенной П.К.Анохиным, структурную основу акцепторов результатов действия в функциональных системах, определяющих различные поведенческие акты человека и животных, составляют вставочные нейроны различных отделов мозга, на которые по коллатералям пирамидного тракта распространяются копии эффекторных возбуждений пирамидных нейронов коры больших полушарий.
Благодаря наличию между вставочными нейронами, объединенными в аппарат акцептора результата действия, циклических взаимосвязей возбуждения в этих нейронах на основе механизмов реверберации способны сохраняться длительное время. Это, в свою очередь, позволяет им длительно находиться в возбужденном состоянии и благодаря этому под влияниями доминирующей мотивации непрерывно оценивать поступающую в головной мозг обратную афферентацию от различных параметров достигаемых субъектами результатов.
Подтверждение распространения возбуждений пирамидного тракта на вставочные нейроны получено в специальных экспериментах, в которых микро-электродным методом исследовали реакции вставочных нейронов различных областей головного мозга в ответ на антидромное раздражение центрального конца перерезанного на уровне олив продолговатого мозга пирамидного тракта [17,18].
При антидромной стимуляции пирамидного тракта ответы нейронов зарегистрированы в соматосенсорной, зрительной коре и в дорсальном гиппокампе. Эти же нейроны отчетливо реагировали на предъявляемые животным стимулы различной сенсорной и биологической модальности, а также на раздражения мотивациогенных центров гипоталамуса. Все это дает основание полагать, что на вставочных нейронах мозга, составляющих аппарат акцептора результатов действия, активированных доминирующей мотивацией, оценивается и «отпечатывается» сенсорная информация, поступающая к ним от различных рецепторов организма при действии на них разнообразных параметров подкрепляющих факторов.
Именно в этих нейронах, отвечающих на антидромное раздражение пирамидного тракта, проявляется пачкообразная импульсная активность, характерная для мотивационного состояния, которая может отражать циркуляцию возбуждений в образуемых этими нейронами «нейронных ловушках», описанных Лоренто де Но.
Акцептор результатов действия под влиянием инициативной, тонизирующей силы восходящих активирующих влияний на кору головного мозга моти-вациогенных центров направляет субъектов на активный поиск потребного вещества. Его роль заключается, прежде всего, в том, что он определяет целенаправленное поведение субъектов по своеобразной «модели», постоянно сравнивая с ней результаты совершенных действий.
Именно акцептор результатов действия в системной организации поведенческих и психических актов человека и животных выступает в качестве своеобразного вектора поведения.
Динамика деятельности функциональных систем всегда определяется установленными нами дискретными системоквантами: от потребности к ее удовлетворению [19]. Каждый системоквант поведенческой и психической деятельности, формирующейся на основе той или иной потребности, включает доминирующую мотивацию, поведение, направленное на исследование и взаимодействие организма с факторами внешней среды, в различной степени удовлетворяющими эту потребность, и постоянную оценку параметров достигнутых результатов акцептором результатов действия с помощью обратной афферентации.
В акцепторах результатов действия функциональных систем опережающе программируются: 1) свойства параметров потребных результатов, 2) средства и способы достижения результатов, 3) эмоциональные состояния предвидения результата и сопровождающие разные этапы удовлетворения исходных потребностей.
Опережающему отражению действительности предшествует запечатление на структурах акцепторов результатов действия параметров результатов, удовлетворяющих или, наоборот, не удовлетворяющих исходные потребности организма. Свойство за-печатления (импринтинг) особенно четко выражено у новорожденных животных [20], но оно, как мы полагаем, сохраняется всю последующую жизнь индивидов и проявляется в формировании при обучении ди-
намических стереотипов головного мозга («отпечатков действительности» по И.П.Павлову) в случаях, когда параметры потребных результатов сохраняются в неизменном виде на длительных отрезках жизнедеятельности [21,22].
Обратная афферентация от различных параметров результатов поведения поступает к адекватным для нее структурам акцепторов результатов действия: зрительная — к нейронам зрительных структур головного мозга, обонятельная — к нейронам обонятельных, вкусовая — вкусовых и т. д. В результате создается структурно-функциональный ансамбль подкрепления — его информационный образ.
Каждый параметр подкрепляющего воздействия оставляет свой специфический информационный след в соответствующей зрительной, вкусовой, слуховой, тактильной и т.п. проекционной зоне головного мозга, определяя тем самым генерализованную по различным структурам мозга архитектонику акцептора результата действия.
В формировании акцепторов результатов действия в функциональных системах, таким образом, ведущая роль принадлежит подкреплению, т. е. всему комплексу обратной афферентации, поступающей в центральную нервную систему от различных параметров результатов поведения.
Каждое подкрепление как часть многогранной действительности оставляет свой специфический информационный след на структурах акцептора результата действия соответствующей функциональной системы.
В каждой функциональной системе на структурах акцепторов результатов действия строятся молекулярные энграммы подкреплений. Наличие их показано нами в специальных опытах, в которых целенаправленная, выработанная на основе мотиваций деятельность блокировалась ингибиторами синтеза белка и восстанавливалась после дополнительного введения определенных олигопептидов.
Введение в боковые желудочки мозга ингибиторов синтеза белка циклогексимида, пуромицина, 8-азагуанина, блокирующих преимущественно синтез белка на стадии трансляции, оказывало слабо выраженное влияние на врожденное ориентировочно-исследовательское поведение кроликов и крыс при раздражении латерального, вентромедиального гипоталамуса и при ноцицептивном раздражении.
Однако действие блокаторов синтеза белка у животных существенно изменялось, если стимуляция генетически детерминированных мотивациогенных центров гипоталамуса перед введением блокаторов синтеза белка предварительно неоднократно завершалась соответствующим удовлетворением животными исходной потребности. Для этого при электрическом раздражении «центра голода» латерального гипоталамуса кроликам предоставлялась возможность съесть находящуюся перед ними пищу. При электрическом раздражении «центров страха» вен-тромедиального гипоталамуса кролики могли перепрыгнуть через барьер в соседнюю половину камеры, где действие раздражения сразу же прекращалось. При электрической стимуляции перифорникальной
области латерального гипоталамуса подкреплением являлось возникающее при этом позитивное эмоциональное состояние животных, на основе которого у кроликов формировали поведение самораздражения. Во всех этих опытах на генетически детерминированной основе врожденных мотиваций после предшествующих удовлетворений исходных потребностей у животных строились специфические поведенческие функциональные системы, направленные на достижение полезных приспособительных результатов.
Эксперименты показали, что во всех случаях сформированных на основе генетически детерминированных мотиваций функциональных систем блока-торы синтеза белка при их введении кроликам в боковые желудочки мозга выраженно нарушали возникающее при раздражении мотивациогенных центров поведение: животные, в ответ на электрическое раздражение мотивациогенных структур гипоталамуса прекращали целенаправленную деятельность и переставали достигать потребных результатов [2,23]
Проведенные опыты указывают на то, что при достижении животными в процессе обучения на основе доминирующей мотивации полезных приспособительных результатов в геноме нейронов мозга, получающем афферентацию от факторов, удовлетворяющих исходную потребность, происходят выраженные перестройки. При очередном формировании соответствующей потребности под влиянием доминирующей мотивации геном нейронов мозга у обученных животных, которые ранее достигали удовлетворения потребности, начинает экспрессировать специальные белковые молекулы. С помощью этих молекул строятся энграммы поведения, опережающе направляющие животных на достижение потребных результатов. Ингибиторы синтеза белка нарушают сформированные предшествующими подкреплениями энграммы поведения, вследствие чего доминирующие мотивации при раздражении мотивациоген-ных структур гипоталамуса у ранее обученных животных не приводят к результативному поведению.
Для выяснения природы белковых молекул, участвующих в реализации доминирующих мотиваций в поведение, в специальных опытах мы исследовали поведение животных на фоне действия цикло-гексимида при введении в латеральные желудочки мозга разных олигопептидов: пентагастрина, бради-кинина, фрагмента АКТГ — АКТГ4-10. Подведение пентагастрина у обученных животных восстанавливало заблокированное циклогексимидом пищевое поведение и реакции нейронов сенсомоторной коры и дорсального гиппокампа на раздражение латерального гипоталамуса. Брадикинин восстанавливал оборонительную реакцию перепрыгивания кроликов через барьер, а АКТГ4-10 — подавленную циклогексимидом реакцию самораздражения перифорникальной области гипоталамуса [2]. Антитела к пентагастрину также блокировали пищевые реакции у кроликов при раздражении латерального гипоталамуса. Реакции восстанавливались в течение суток [24]. Все это свидетельствует о том, что под влиянием предшествующих подкреплений пищевая мотивация реализуется в результативное поведение с помощью специальных
эффекторных молекул пентагастрина, оборонительная — брадикинина, а самораздражение — АКТГ4-10.
Приведенные опыты указывают на то, что после предварительного подкрепления изменяются молекулярные интегративные свойства отдельных нейронов головного мозга. Их рибосомальный аппарат начинает синтезировать специальные белковые молекулы, определяющие реакции этих нейронов на раздражение мотивациогенных центров гипоталамуса и формирование специальных форм поведения.
Подкрепление как полезный приспособительный результат функциональных систем, определяющий поведенческие акты различной модальности, существенно изменяет свойства мотивации, включенной в сформированную функциональную систему. Эти изменения затрагивают функции белоксинтези-рующего аппарата нейронов. После предварительного, и особенно неоднократного, подкрепления исходной мотивации отдельные нейроны головного мозга, а возможно, и глиальные элементы при очередном формировании соответствующей доминирующей мотивации синтезируют специальные белковые молекулы — олигопептиды, определяющие формирование специальных форм поведения, направленных на достижение полезных приспособительных результатов соответствующих функциональных систем.
Все это указывает на то, что доминирующая мотивация, активируя в отдельных нервных клетках генетический аппарат, может мобилизовать (или даже опережающе «нарабатывать») определенные белковые молекулы, принимающие участие в формировании целенаправленного поведения животных определенной модальности.
События, разыгрывающиеся в структурах головного мозга в процессе трансформации ранее подкрепленной доминирующей мотивации в поведение, гипотетически можно представить следующим образом. Эффекторные олигопептиды, синтезируемые нейронами головного мозга, под воздействием восходящих активирующих влияний гипоталамических мотивациогенных центров экскретируются через мембраны, особенно пирамидных нейронов коры и связанных с ними через коллатерали аксонов пирамидного тракта вставочных интеронейронов. Распространяясь через жидкие среды мозга, эффекторные олигопептиды взаимодействуют с рецепторами эф-фекторных нейронов мозга, формирующих исполнительные поведенческие акты. Кроме того, возможно, что эффекторные олигопептиды распространяются по аксонам пирамидных клеток и их коллатералям непосредственно к рецепторам мембран исполнительных моторных нейронов мозга. На это указывают данные опытов с микроионофоретическим подведением бло-каторов синтеза белка и олигопептидов к отдельным нейронам головного мозга [23]. На фоне введения блокаторов синтеза белка и в период их действия синтез эффекторных олигопептидов прекращается, вследствие чего доминирующая мотивация не реализуется в соответствующее поведение.
Эффекторные олигопептиды выступают в роли своеобразных рилизинг-факторов мотивированного поведения. Это — новая функция олигопептидов в деятельности мозга: до сих пор считалось, что, синте-
зируемые структурами головного мозга, они являются только рилизинг-факторами гормонов.
Приведенные материалы свидетельствуют о том, что доминирующая мотивация и подкрепление взаимодействуют не только при помощи нейрофизиологических и нейрохимических механизмов, но и адресуются к генетическому аппарату головного мозга.
1. Анохин П.К. Биология и нейрофизиология условного рефлекса. М.: Медицина, 1968. 548 с.
2. Судаков К.В. Доминирующая мотивация. М.: Изд-во РАМН, 2004. 236 с.
3. Леонтьев А.Н. Деятельность. Сознание. Личность. М., 1975. 437 с.
4. Урываев Ю.В. // Журн. ВНД. 1973. Т.23. С.1172-1178.
5. Анохин П.К., Судаков К.В. // Успехи физиол. наук. 1999. Т.24. № 3. С.53-70.
6. Анохин П.К., Судаков К.В. // Бюл. эксперимент. биологии и медицины. 2003. Т.135. № 2. С. 124-131.
7. Журавлев Б.В. Системный анализ активности нейронов мозга при пищедобывательном поведении животных. Нейроны в поведении: системные аспекты. М.: Наука, 1986. С.170-179.
8. Зилов В.Г. // Вестн. АМН СССР. 1985. № 2. С.93-96.
9. Баич М., Лажетич Б., Рычова Г.Н. Ориентировочноисследовательская реакция и формирование условноинструментального поведенческого акта избегания // Системные механизмы поведения / Под ред. К.В.Судакова и М.Баича. М.: Медицина, 1990. С.142-155.
10. Шумилина А.И. Общие свойства и электрофизиологиче-ские проявления ориентировочной реакции // Там же. С.82-128.
11. Зилов В. Г. Доминирующие биологические мотивации в деятельности мозга // Мозг: теоретические и клинические аспекты / Под ред. В.И.Покровского. М.: Медицина, 2003. С.68-84.
12. Есаков А.И. Системные механизмы деятельности рецепторов // Функциональные системы организма / Под ред. К.В.Судакова. М.: Медицина, 1987. С.201-223.
13. Снякин П.Г. // Успехи физиол. наук. 1971. Т.2. № 3. С.32-57.
14. Журавлев Б.В. Нейронные корреляты опережающих возбуждений. Системные механизмы мозга. М.: Медицина, 1990. С.171-179.
15. Denton D., Shade R., Zamarippa F., Egan G. Blaik-West J. // Proc. Natl. Acad. Sci. USA. 1999. V.96. Р.5304-5309.
16. Судаков К.В. Голографические свойства системной организации головного мозга // Мозг: теоретические и клинические аспекты / Под ред. В.И.Покровского. М.: Медицина, 2003. С.12-51.
17. Правдивцев В.А. Автореф. дисс. ... д-ра. мед. наук. М.: НИИ нормальной физиологии им. П.К.Анохина РАМН, 1992. 45 с.
18. Синичкин В.В. Особенности участия нейронов коры мозга в формировании пищевого мотивационного возбуждения // Системные механизмы мотиваций. М.: Медицина, 1979. С.55-78.
19. Судаков К.В. Системное квантование жизнедеятельности
// Системокванты физиологических процессов. М.: Меж-дунар. гуманит. фонд арменоведения им. акад.
Ц.П.Агаяна, 1997. С.9-52.
20. Lorenz K. Evolution and modification of behavior. Chicago-Lond. Univ. Chicago Press. 1965. 121 p.
21. Павлов И.П. Динамическая стереотипия высшего отдела головного мозга // Двадцатилетний опыт объективного изучения высшей нервной деятельности (поведения) животных. М.: Медгиз, 1951. С.397-410.
22. Судаков К.В. Динамические стереотипы или информационные отпечатки действительности. М.: ПЕР СЭ, 2002. 128 с.
23. Судаков С.К. Молекулярные механизмы памяти в системной организации поведенческих актов // Функциональные системы организма / Под ред. К.В.Судакова. М.: Медицина, 1987. С.166-178.
24. Судаков С.К. // Журн. ВНД. 1986. Т.36. № 2. С.391-393.
