Научная статья на тему 'Грегори Мёрфи против Элеоноры Рош: насколько сравнимы теории категоризации?'

Грегори Мёрфи против Элеоноры Рош: насколько сравнимы теории категоризации? Текст научной статьи по специальности «Языкознание и литературоведение»

CC BY
523
106
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
КАТЕГОРИЗАЦИЯ / КОНЦЕПТЫ И ПОНЯТИЯ / ТЕОРИЯ ПРОТОТИПОВ / ТЕОРИЯ О ГРАДУИРОВАННОЙ ПРИРОДЕ ПОНЯТИЙ / ТЕОРИЯ ТЕОРИИ / ПОДХОД / ОСНОВАННЫЙ НА ЗНАНИЯХ / ОСНОВАННЫЙ НА СХОДСТВЕ

Аннотация научной статьи по языкознанию и литературоведению, автор научной работы — Тарасов Евгений Борисович

В данной статье сопоставляются два известных подхода к объяснению процессов категоризации: подход, основанный на прототипах (prototype approach), или теория о градуированной природе понятий, и подход, основанный на знаниях (knowledge approach), или теория теории. В то время как основная масса исследователей рассматривают эти подходы как противоборствующие, небольшая часть исследователей аргументирует, что оба подхода базируются на анализе свойств объектов. С опорой на относительно недавние (опубликованные с 2000 г.) работы основоположников этих двух ведущих концепций категоризации, Элеоноры Рош (E. Rosch) и Грегори Мёрфи (G. Murphy), предлагается интерпретация разногласий между двумя теоретическими позициями, в которой устойчивая традиция их противопоставления еще раз ставится под сомнение. В заключение автор данной статьи скорее соглашается с аргументами Рош о том, что теория теории не является принципиально новым, а лишь дополняет или уточняет ранее существовавшее понимание процесса категоризации, особенно в области влияния контекста на категоризацию.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Грегори Мёрфи против Элеоноры Рош: насколько сравнимы теории категоризации?»

Шаги / Steps. Т. 5. № 1. 2019 Статьи

Е. Б. Тарасов

СВОЮ: 0000-0003-3550-544Х и etarassovet@gmail.com Российская академия народного хозяйства

и государственной службы при Президенте РФ (Россия, Москва)

Грегори мёрфи против Элеоноры рош: насколько сравнимы теории категоризации?

Аннотация. В данной статье сопоставляются два известных подхода к объяснению процессов категоризации: подход, основанный на прототипах (prototype approach), или теория о градуированной природе понятий, и подход, основанный на знаниях (knowledge approach), или теория теории. В то время как основная масса исследователей рассматривают эти подходы как противоборствующие, небольшая часть исследователей аргументирует, что оба подхода базируются на анализе свойств объектов. С опорой на относительно недавние (опубликованные с 2000 г.) работы основоположников этих двух ведущих концепций категоризации, Элеоноры Рош (E. Rosch) и Грегори Мёрфи (G. Murphy), предлагается интерпретация разногласий между двумя теоретическими позициями, в которой устойчивая традиция их противопоставления еще раз ставится под сомнение. В заключение автор данной статьи скорее соглашается с аргументами Рош о том, что теория теории не является принципиально новым, а лишь дополняет или уточняет ранее существовавшее понимание процесса категоризации, особенно в области влияния контекста на категоризацию.

Ключевые слова: категоризация, концепты и понятия, теория прототипов, теория о градуированной природе понятий, теория теории, подход, основанный на знаниях, подход, основанный на сходстве

Для цитирования: Тарасов Е. Б. Грегори Мёрфи против Элеоноры Рош: насколько сравнимы теории категоризации? // Шаги/Steps. Т. 5. № 1. 2019. С. 128— 135. DOI: 10.22394/2412-9410-2019-5-1-128-135.

Статья поступила в редакцию 15 октября 2018 г. Принято к печати 8 декабря 2018 г.

© Е. Б. ТАРАСОВ

Shagi / Steps. Vol. 5. No. 1. 2019 Articles

E. B. Tarassov

ORCID: 0000-0003-3550-544X s etarassovet@gmail.com The Russian Presidential Academy

of National Economy and Public Administration (Russia, Moscow)

Gregory Murphy versus Eleanor Rosch: Are categorization theories comparable?

Abstract. I try to compare two well-known theories of categorization: the theory of graded structure (prototype approach) and the theory of theory (knowledge approach). While most researchers consider them to be in opposition to each other, some academics argue that both are based on feature analysis. In analyzing on relatively recent papers (starting from the year 2000) by the theories' founders, Eleanor Rosch and Gregory Murphy, I found additional points that lead me to question the tradition of setting the theory of theory against prototype theory. For example, Murphy builds his critique of Rosch's conception by assuming that her theory pretends to cover all aspects of categorization area, or, that in Roschean view there is a single "real" prototype for a category. However, Murphy admits that some of his assumptions are based on his interpretation of Rosch's research and even contradict her personal statements. For her part, Rosch argues that people's knowledge is just a part of the context that influences people's categorization, reminding us that this was known long before Murphy's idea. I agree with Rosch about the knowledge approach: it seems to be not a new concept but rather an addition to the existing understanding of categorization mechanisms, particularly in the area of context effect. In conclusion, the discussion between Murphy and Rosch poses the question of how comparable are their theories: Rosch focuses on the graded structure of concepts, while also trying to create a basis for some rigorous (mathematical) solution, and Murphy emphasizes that "folk" theories play a key role in the categorization process.

Keywords: categorization, concepts, prototype theory, theory of graded structure, theory of theory, similarity approach, knowledge approach

To cite this article: Tarassov, E. B. (2019). Gregory Murphy versus Eleanor Rosch: Are categorization theories comparable? Shagi/Steps, 5(1), 128—135. DOI: 10.22394/2412-9410-2019-5-1-128-135. (In Russian).

Received October 15, 2018 Accepted December 8, 2018

© E. B. TARASSOV

Категоризация является одним из основных когнитивных механизмов по двум причинам. Первая из них — необходимость экономии или оптимального использования когнитивных ресурсов, а вторая — необходимость обеспечения человека структурированной и взаимосвязанной картиной мира [Rosch 1978]. «.. .Большинство когнитивных процессов начинается с категоризации в той или иной форме. Обычно категоризация осуществляется без усилий и неосознанно. Несмотря на огромное количество когнитивных процессов, которые задействует категоризация, мы редко осознаем, что категоризиру-ем что-либо. По этой причине может создаться впечатление, что процесс категоризации является простым и очевидным. Если бы категоризация была простым и очевидным процессом, то наука давно бы уже достигла понимания ее механизмов на удовлетворительном уровне. Однако за все это время когнитивная наука скорее прониклась уважением к способности человека осуществлять категоризацию, чем продвинулась в понимании этого процесса» [Barsalou 2014: 25-26].

Большинство исследователей рассматривают существующие теории категоризации как противостоящие друг другу. Однако даже внутри данной парадигмы ведутся дискуссии о правомерности сравнения этих теорий.

В данном обзоре кратко рассматривается дискуссия между Г. Мёрфи и Э. Рош — основоположниками двух ведущих концепций категоризации: соответственно, подхода, основанного на знаниях, или теории теории, и подхода, основанного на градуированной структуре понятий, или теории прототипов. Предметом анализа стали работы, опубликованные после 2000 г.

Э. Марголис и С. Лоренс подробно анализируют академические исследования, выделяя пять научных концепций категоризации [Margolis, Laurence 1999]. Начиная с классического подхода (the classical theory), они переходят к теории прототипов (the prototype theory). Третьей и четвертой концепциями, соответственно, являются теория теории (the theory-theory of concepts) и неоклассическая теория (the neoclassical theory). Завершая обзор анализом концепции атомической структуры понятий (conceptual atomism), Марголис и Лоренс высказываются в пользу дуального подхода, совмещающего атомизм и одну из вышеперечисленных теорий. Более подробно авторы рассматривают пример использования теории теории в роли второго элемента. Л. Габора, Э. Рош и Д. Артс в своем обзоре [Gabora et al. 2008] также перечисляют пять концепций категоризации: наряду с дуальной теорией (в этом случае теория ядра и эвристик), это теория прототипов (авторы называют ее теорией градуированной структуры — theory of graded structure), теория теории, а также теория примеров (exemplar) и геометрическая теория.

Г. Мёрфи [Murphy 2004] называет свою концепцию (теорию теории) подходом, основанным на знаниях (knowledge based), аргументируя, что формулировка «теория теории» неоднозначна и что ее интерпретация частью исследователей отличается от того, что вкладывал в нее ее автор. Сравнивая свою концепцию с другими, Мёрфи фокусируется на анализе теории прототипов Э. Рош (prototype approach). Соглашаясь с тем, что в определенных случаях теория примеров1 имеет больше экспериментальных подтверждений, чем те-

1 Ключевое отличие теории примеров от теории прототипов заключается в том, что, согласно теории примеров, в памяти человека сохраняются не абстрактные прототипы, представляющие категории, а их реальные примеры [Nosofsky, 1986].

ория прототипов, Мёрфи утверждает, что теория примеров основана на «про-тотипном» подходе: если человек начинает запоминать много единичных примеров какой-либо категории, в результате они сведутся к прототипу; если же в категории запоминаются считанные единичные примеры, то они и будут являться прототипом2. Неоклассическому подходу Мёрфи не уделяет много внимания, говоря о нем как о «попытке оживить классическую концепцию» [Murphy 2004: 41], и кратко приводит результаты экспериментальных исследований, показывающие его несостоятельность.

Наиболее слабым звеном подхода, основанного на прототипах, по мнению Мёрфи, является его недостаточность для построения полной концепции категоризации. По его мнению, для этой цели наиболее релевантен подход, основанный на знаниях. Под знаниями Мёрфи понимает «народные» идеи (folk concepts) об устройстве мира, а не научные теории. Однако автору данного обзора не удалось обнаружить в работах Рош утверждений о том, что, во-первых, ее концепция достаточна для построения полной концепции категоризации, а во-вторых, что знания людей об устройстве мира не являются важными. Даже наоборот: в работе Рош и соавторов приводится список примеров различных типов категорий: «[категории] восприятия (цвет, формы); семантические (мебель); биологические (женщина); социальные (профессия); политические (демократия); формальные (целые числа); ad hoc (вещи, которые берут с собой из дома при пожаре)» [Gabora et al. 2008: 88]. Очевидно, что определение сходства естественных объектов во время экспериментов базировалось далеко не только на внешних признаках, а иногда и вообще не на них. Так, без наличия знаний невозможно отнести к разным категориям акулу и дельфина, классифицировать такие понятия, как «демократия» или «профессия», или сформулировать категорию, связанную с какой-либо целью. Описывая теорию Рош, Мёрфи указывает, что многие исследователи, в том числе и он сам, обсуждают ее идеи, основываясь на своих личных интерпретациях, а не на прямых утверждениях Рош или ее выводах о результатах своих исследований. Например, распространено мнение, согласно которому Рош предполагает, что «каждая категория представлена одним прототипом или наилучшим примером» [Murphy 2004: 41]. Между тем Рош «предпочитала не уточнять, как именно представлена структура понятия, и вместо этого сосредоточивалась на документировании самого существования этой структуры, а также ее влияния на обучение категоризации и на суждения» [Ibid.: 42]. Таким образом, и сам Мёрфи признает, что Рош считает обучение (а значит, и знания) важными факторами, влияющими на категоризацию.

2 Г. Мёрфи и О. Каплан [Murphy, Kaplan 2000] аргументируют, что в реальной жизни, как и во многих экспериментах, трудно найти подтверждение различиям между прототипами и примерами. Они ссылаются на работу [Malt 1989], автор которой показывает, что проследить использование прототипов или примеров экспериментально непросто, и демонстрирует, что категоризация во многих случаях осуществляется и с помощью прототипов, и с помощью примеров. Дж. Смит и Дж. Минда [Smith, Minda 1998] продемонстрировали, что люди в дополнение к прототипам запоминают также отдельные примеры. В случаях, когда примеры воспринимаются как знакомые, категоризация происходит благодаря находящимся в памяти примерам. Однако примеры отличаются от прототипов прежде всего тем, что часто неочевидно, к каким категориям они принадлежат. Авторы предложили модель, комбинирующую теории примеров и прототипов.

Отвечая на критику, Рош обращает внимание на то, что защитники теории теории избегают обсуждать ее преимущества относительно таких сложных тем, как свойства, критерии и проблемы измерения похожести. Комментируя эту, «казалось бы, новую концепцию категоризации», которая показывает, что теории людей играют ключевую роль в категоризации, Рош аргументирует, что, на самом деле, «если мы посмотрим внимательнее на эксперименты, которыми они [Мёрфи и его соавторы] поддерживают свою теорию, окажется, что эти эксперименты прежде всего демонстрируют то, что в психологии обычно называется эффектом контекста. Слова и концепты интерпретируются по-разному, в зависимости от окружающей среды или контекста, в котором они находятся» [Gabora et al. 2008: 96]. Критика Мёрфи со стороны Рош представляется справедливой, если учитывать тот факт, что еще за десять лет до публикации работы [Murphy, Medin 1985], презентовавшей теорию теории научному миру, Э. Рош и К. Мервис [Rosch, Mervis 1975] продемонстрировали сильную зависимость процесса категоризации от контекста.

Кажется очевидным, влияние контекста на категоризацию задействует (в разной степени и в зависимости от типа категории) «народные» теории. Автору данной статьи не удалось найти в работах Мёрфи прямого указания на то, что признаки сходства не играют важной роли, особенно при категоризации цвета или формы. Более того, необходимо заметить, что Мёрфи периодически прибегает к методологии теории прототипов — анализу схожести. Например, в статье, написанной в соавторстве с О. Каплан, он, объясняя результаты экспериментов, показывающих влияние предварительных знаний на категоризацию, предполагает, что «эффекты могут быть объяснены одной переменой, а именно знаниями, помогающими формировать прототип категории во время знакомства с ней — точнее, во время появления ассоциаций, которые вызывают свойства категории <...> Мы называем прототипом не единичный объект, а набор свойств категории, что предлагается в работе [Smith & Medin 1981]» [Murphy, Kaplan 2000: 974]. Однако Рош не утверждает, что прототип не может быть набором свойств категории. В следующем исследовании Э. Лин и Г. Мёрфи [Lin, Murphy 2001] демонстрируют, что критерии отбора примеров могут быть сформированы на основании как схожести внутри категории (в качестве примеров приводятся разные виды десертов), так и внешних отношений, базирующихся на темах или событиях (рассматривается следующий пример: свечи относятся к категории «свет», торт — к категории «десерт», а торт со свечами — к категории «день рождения»). Авторы делают вывод о том, что на тематические отношения можно распространить понятие «семейного сходства». В статье [Livingston et al. 1998] показано, что теория теории, изначально позиционировавшаяся как критическая по отношению к теориям, основанным на сходстве, через некоторое время сама стала рассматриваться как работающая на принципе сходства. Схожие выводы можно обнаружить в статьях [Goldstone 1994; Medin 1989; Medin et al. 1993; Markman, Stilwell 2001]. Авторы последней прямо аргументируют, что все три основные теории (теория прототипов, теория примеров и теория теории) базируются на допущении того, что категоризация основана на анализе свойств объектов или понятий.

Анализируя дискуссию между основоположниками двух ведущих научных концепций категоризации — Э. Рош и Г. Мёрфи, автор данной статьи скорее согласен с аргументами Рош о том, что теория теории (или подход, основанный на знаниях) не является принципиально новым, а лишь дополняет или уточняет существующее понимание процесса категоризации. Вызывает сомнение правомерность противопоставления этих двух концепций: если кратко, то Рош фокусируется на градуированной структуре понятия, в том числе на попытке создать базу для некоего строгого (математического) решения, а Мёрфи — на том, что «народные» теории играют ключевую роль в процессе категоризации.

По-видимому, полная концепция категоризации не может опираться только на одну из предлагаемых научных теорий: «как минимум система категоризации включает в себя обработку внешнего сходства объектов и соотношение информации о них с фоновыми знаниями» [Котов, Бангура 2014: 152]. Возможно, исследуя факторы, влияющие на соотнесение того или иного объекта с той или иной категорией, важнее учитывать, о каком типе категорий идет речь (категории восприятия, семантические категории, политические категории, категории ad hoc, категории, связанные с целями, и т. д.). Очевидно, что, например, внешнее сходство двух политиков не говорит об их партийной принадлежности, даже если в отдельных случаях они пытаются внешне подчеркнуть свои политические ориентиры. В то же время, например, отнесение к категории «велосипед» предмета с двумя колесами, сиденьем и педалями, приводящими одно из колес в движение, происходит благодаря внешним признакам, и это не противоречит тому, что у человека при этом активируется «народная» теория о велосипеде. Более того, исследования показывают, что кроме «народных» / фоновых знаний, внешнего сходства и контекста, к факторам, влияющим на категоризацию, относятся степень согласованности элементов понятия с элементами других понятий данной и других категорий, релевантность, изменение (возможно, по воле человека), отношение к объекту, культура, эмоции, прайминг, цели, роли и сенсомоторные факторы.

Литература

Котов, Бангура 2014 — Котов А. А., Бангура М. Трудности и ошибки категоризации в подходе, основанном на сходстве между примерами, и подходе, основанном на знаниях // Гуманитарные чтения РГГУ — 2013. Теория и методология гуманитарного знания. Россиеведение. Общественные функции гуманитарных наук. Гуманитарное знание и образование: Сб. материалов / Отв. ред. Е. И. Пивовар. М.: РГГУ, 2014. С. 140-153.

Barsalou 2014 — Barsalou L. W. Cognitive psychology: An overview for cognitive scientists. New York; Hove, England: Psychology Press, 2014.

Gabora et al. 2008 — Gabora L., Rosch E., Aerts D. Toward an ecological theory of concepts // Ecological Psychology. Vol. 20. No. 1. 2008. P. 84-116.

Goldstone 1994 — Goldstone R. L. The role of similarity in categorization: Providing a groundwork // Cognition. Vol. 52. No. 2. P. 125-157.

Lin, Murphy 2001 — Lin E. L., Murphy G. L. Thematic relations in adults' concepts // Journal of Experimental Psychology: General. Vol. 130. No. 1. 2001. P. 3-28.

Livingston et al. 1998 — Livingston K. R., Andrews J. K., Harnad S. Categorical perception effects induced by category learning // Journal of Experimental Psychology: Learning, Memory, and Cognition. Vol. 24. No. 3. 1998. P. 732-753.

Malt 1989 — Malt B. C. An on-line investigation of prototype and exemplar strategies in classification // Journal of Experimental Psychology: Learning, Memory, and Cognition. Vol. 15. No. 4. P. 539-555.

Margolis, Laurence 1999 — Margolis E., Laurence S. Concepts and cognitive science // Concepts: Core readings / Ed. by E. Margolis, S. Laurence. Cambridge, MA: MIT Press, 1999. P. 4-81.

Markman, Stilwell 2001 — Markman A. B., Stilwell C. H. Role-governed categories // Journal of Experimental & Theoretical Artificial Intelligence. Vol. 13. No. 4. P. 329-358.

Medin 1989 — Medin D. L. Concepts and conceptual structure // American Psychologist. Vol. 44. No. 12. P. 1469-1481.

Medin et al. 1993 — Medin D. L., Goldstone R. L., Gentner D. Respects for similarity // Psychological Review. Vol. 100. No. 2. P. 254-278.

Murphy 2004 — Murphy G. The big book of concepts. Cambridge, MA: MIT Press, 2004.

Murphy, Kaplan 2000 — Murphy G. L., Kaplan A. S. Feature distribution and background knowledge in category learning // Quarterly Journal of Experimental Psychology Section A: Human Experimental Psychology. Vol. 53A. 2000. P. 962-982.

Murphy, Medin 1985 — Murphy G. L., Medin D. L. The role of theories in conceptual coherence // Psychological Review. Vol. 92. No. 3. 1985. P. 289-316.

Nosofsky, 1986 — Nosofsky R. M. Attention, similarity, and the identification-categorization relationship // Journal of Experimental Psychology: General. Vol. 115. No. 1. 1986. P. 39-57.

Rosch 1978 — Rosch E. Principles of categorization // Cognition and categorization / Ed. by E. Rosch, B. B. Lloyd. Ann Arbor, MI: UMI Books on Demand, 1978. P. 27-48.

Rosch, Mervis 1975 — Rosch E., Mervis C. B. Family resemblances: Studies in the internal structure of categories // Cognitive Psychology. Vol. 7. No. 4. 1975. P. 573-605.

Smith, Minda 1998 — Smith J. D., Minda J. P. Prototypes in the mist: The early epochs of category learning // Journal of Experimental Psychology: Learning, Memory, and Cognition. Vol. 24. No. 6. 1998. P. 1411-1436.

References

Barsalou, L. W. (2014). Cognitive psychology: An overview for cognitive scientists. New York; Hove, England: Psychology Press.

Gabora, L., Rosch, E., Aerts, D. (2008). Toward an ecological theory of concepts. Ecological Psychology, 20(1), 84-116.

Goldstone, R. L. (1994). The role of similarity in categorization: Providing a groundwork. Cognition, 52(2), 125-157.

Kotov, A. A., Bangura, M. (2014). Trudnosti i oshibki kategorizatsii v podkhode, osnovannom na skhodstve mezhdu primerami i podkhode, osnovannom na znaniiakh [Difficulties and mistakes in similarity and knowledge-based approaches]. In E. I. Pivovar (Ed.). Gumanitar-nye chteniia RGGU — 2013. Teoriia i metodologiia gumanitarnogo znaniia. Rossievedenie. Obshchestvennye funktsii gumanitarnykh nauk. Gumanitarnoe znanie i obrazovanie: Sbornik materialov [RSUH Readings in the Humanities — 2013. Theory and methodology of knowledge in the humanities. Social function of the humanities. Knowledge and education in the humanities: Collection of articles], 140-153. Moscow: RGGU. (In Russian).

Lin, E. L., Murphy, G. L. (2001). Thematic relations in adults' concepts. Journal of Experimental Psychology: General, 130(1), 3-28.

Livingston, K. R., Andrews, J. K., Harnad, S. (1998). Categorical perception effects induced by category learning. Journal of Experimental Psychology: Learning, Memory, and Cognition, 24(3), 732-753.

Malt, B. C. (1989). An on-line investigation of prototype and exemplar strategies in classification. Journal of Experimental Psychology: Learning, Memory, and Cognition, 15(4), 539-555.

Margolis, E., Laurence, S. (1999). Concepts and cognitive science. In E. Margolis, S. Laurence (Eds.). Concepts: Core readings, 4-81. Cambridge, MA: MIT Press.

Markman, A. B., Stilwell, C. H. (2001). Role-governed categories. Journal of Experimental & Theoretical Artificial Intelligence, 13(4), 329-358.

Medin, D. L. (1989). Concepts and conceptual structure. American Psychologist, 44(12), 14691481.

Medin D. L., Goldstone R. L., Gentner D. (1993). Respects for similarity. Psychological Review, 100(2), 254-278.

Murphy, G. (2004). The big book of concepts. Cambridge, MA: MIT Press.

Murphy, G. L., Kaplan, A. S. (2000). Feature distribution and background knowledge in category learning. Quarterly Journal of Experimental Psychology Section A: Human Experimental Psychology, 53A, 962-982.

Murphy, G. L., Medin, D. L. (1985). The role of theories in conceptual coherence. Psychological Review, 92(3), 289-316.

Nosofsky, R. M. (1986). Attention, similarity, and the identification-categorization relationship. Journal of Experimental Psychology: General, 115(1), 39-57.

Rosch, E. (1978). Principles of categorization. In E. Rosch, B. B. Lloyd (Eds.). Cognition and categorization, 27-48. Ann Arbor, MI: UMI Books on Demand.

Rosch, E., Mervis, C. B. (1975). Family resemblances: Studies in the internal structure of categories. Cognitive Psychology, 7(4), 573-605.

Smith, J. D., Minda, J. P. (1998). Prototypes in the mist: The early epochs of category learning. Journal of Experimental Psychology: Learning, Memory, and Cognition, 24(6), 1411-1436.

■k -it -it

Информация об авторе Information about the author

Евгений Борисович Тарасов

аспирант,

кафедра общей психологии, факультет психологии, Институт общественных наук, Российская академия народного хозяйства и государственной службы при Президенте РФ Россия, 119571, Москва, пр-т Вернадского, д. 82 Тел.: +7 (499) 956-96-45 н etarassovet@gmail.com

Evgeni B. Tarassov

PhD Student,

Department of General Psychology,

Faculty of Psychology,

School of Public Policy,

The Russian Presidential Academy

of National Economy and Public

Administration

Russia, 119571, Moscow, Prospect Vernadskogo, 82 Tel.: +7 (499) 956-96-45 s etarassovet@gmail.com

i Надоели баннеры? Вы всегда можете отключить рекламу.