CC BY
33
ЛОГИКА, МЕТОДОЛОГИЯ И ФИЛОСОФИЯ НАУКИ LOGICS, METHODOLOGY AND PHILOSOPHY OF SCIENCE
УДК 340:167/168; 001.11; 001.2; 001.4 - 001.6; 001.8; 001.92:37; 340.115; 340.113.1 DOI 10.18413/2712-746X-2020-44-2-212-219
Методология науки и прикладной аналитики: параметр полноты охвата и полноты учёта определяющих факторов в исследовании
Понкин И.В.
Институт государственной службы и управления Российской академии народного хозяйства
и государственной службы при Президенте РФ 119606, Россия, г. Москва, проспект Вернадского, 84 E-mail: [email protected]
Аннотация. Проанализированы значение, содержание и особенности такого параметра качества научного исследования и прикладного аналитического исследования, как полнота. Автор показывает меру исследованности параметра полноты охвата и полноты учёта определяющих факторов - применительно к научному или прикладному аналитическому исследованию. Дан обзор представленных в научной литературе дефиниций и интерпретаций параметра полноты исследования. Показаны место исследуемого параметра в общем объёме других ключевых параметров исследования, особенности интерреляций с таковыми. Рассмотрены параметры целостности, ясности, глубины, широты. Предложен авторский концепт интерпретации и объяснения указанного параметра. Представлена авторская классификация внутренней структуры исследуемого интегрального параметра.
Ключевые слова: наука, прикладная аналитика, методология исследования, параметры научного и (или) аналитического качества исследования.
Для цитирования: Понкин И.В. 2020. Методология науки и прикладной аналитики: параметр полноты охвата и полноты учёта определяющих факторов в исследовании. NOMOTHETIKA: Философия. Социология. Право. 45 (2): 212-219. DOI 10.18413/2712-746X-2020-44-2-212-219
The methodology of science and applied analytics: the parameter of completeness of coverage and completeness of accounting for the determining factors in the study
Igor.V. Ponkin
Institute of Public Administration and Civil Service of the Russian Presidential Academy of National Economy and Public Administration (Moscow, Russia) (IPACS, RANEPA) 84, Vernadsky prospect, Moscow, 119606, Russia E-mail: [email protected]
Abstract. The significance, content and features of such a qualitative parameter of scientific research and applied analytical research as completeness are pranalized. It is shown that the set of questions about the actual and most adequately reflecting the objectivity of the parameters of scientific quality of scientific research is one of the most complex and at the same time poorly studied. The author shows the measure of the parameter of completeness of coverage and completeness of accounting for determining factors-in
relation to scientific or applied analytical research. A review of definitions and interpretations of the research completeness parameter presented in the scientific literature is given. The author shows the place of the studied parameter in the total volume of other key parameters of the study, especially the relationship with them. In particular, the author considers the parameters of integrity, clarity, depth, and latitude. The article offers the author's concept of interpretation and explanation of this parameter. The author's classification of the internal structure of the integral parameter under study is presented.
Keywords: science, applied analytics, research methodology, parameters of scientific and / or analytical quality of research.
For citation: Ponkin I.V. 2020. The methodology of science and applied analytics: the parameter of completeness of coverage and completeness of accounting for the determining factors in the study. NOMOTHETIKA: Philosophy. Sociology. Law series. 45 (2): 212-219 (in Russian). DOI 10.18413/2712-746X-2020-44-2-212-219
Введение
Комплекс вопросов о релевантных и максимально адекватно отражающих объективность параметрах научного качества научного исследования (в том числе диссертационного) является одним из наиболее сложных и при этом малоисследованных в науковедении (преимущественно в фундаментальной науке) и в теории методологии прикладной аналитики.
Одним из таких параметров исследования является параметр полноты охвата (франц. - couverture complète; англ. - fullness of coverage, реже - comprehensiveness, completeness) и полноты учёта определяющих факторов (а равно элементов онтологии и аспектов исследуемой предметно-объектной области) в исследовании, в упрощенной модальности - полноты исследования, отражающей и (или) обеспечивающей во многих случаях истинность знания и объективность его репрезентации.
По Чарльзу Вильсону, фундаментальные исследования - это «то, что вы делаете, когда не знаете, что вы делаете» (цит. по: [Селье, 1987, с. 25]), то есть поиск нового. Согласно В.М. Сырых, «познание предмета во всей его полноте и всесторонности составляет конечную цель и смысл существования правовой науки» [Сырых, 2012, с. 27]. Это очень важный параметр [Meloy, 2002; Kirkman, 2005; Bailey S., Carter S. et al., 2011].
В нашем (в соавторстве) недавно увидевшем свет учебнике [Понкин, Редькина, 2020] этот вопрос, к сожалению, остался за рамками, и в настоящей статье мы навёрстываем упущенное.
Значение параметра полноты охвата и учёта определяющих факторов в исследовании
Степень и модальность охвата и учёта определяющих факторов в научном и прикладном аналитическом исследовании имеют непосредственное отношение к дизайну научного произведения и к авторскому его замыслу, но также и к его оцениванию.
Неполнота (критически недостаточная полнота) охвата и учёта определяющих факторов в исследовании, недооценка и пренебрежение этим параметром исследования - всё это ведёт к дезориентирующей, вводящей в заблуждение дефектности и даже ложности мыслительной картины, отражающей предметно-объектную область исследования, онтологию исследуемых предметов.
Как пишет Мелинда Фритхоф Дэвис [Fritchoff Davis, 2010, p. 328], неполнота данных в основе исследования влечёт (в числе прочих детерминантов) «плохую гигиену» (в том числе - «токсичность») данных. Неполнота знаний предмета теории, по В.М. Сырых, негативно сказывается на её состоянии [Сырых, 2012, с. 106]. По С.А. Трущелёву, «принципиальная неполнота, фрагментарность моделей не позволяет получить исчерпывающего знания об оригинале» [Трущелёв, 2009, с. 49].
Представленные в научной литературе дефиниции и интерпретации полноты исследования
В самом общем значении полнота - это «наличие чего-либо в достаточной степени, высшая степень проявления чего-либо, насыщенности чем-либо» [Большой толковый словарь русского языка, 2000, с. 904]. По Ю. Гастеву, «полнота - свойство формальных систем (исчислений), характеризующее достаточность для каких-либо определённых целей, их выразительных и (или) дедуктивных средств. Полнота в первом смысле называется обычно функциональной, во втором - дедуктивной» [Гастев, 1967, с. 302]. По Георгу Зиммелю, полнота группы измеряется соотношением между потенциальными элементами (членами), то есть теми, кто удовлетворяет требованиям относимости к группе, и действительными членами [Simmel, 1950, p. 95].
Исчерпывающе полного и точного определения понятия полноты исследования (тем более полноты охвата и учёта определяющих факторов в исследовании) не встречается в литературе. Но есть дефиниции и интерпретации смежных и сопоставимых понятий.
Так, согласно A.B. Чагрову, «полнота логических исчислений - выводимость в исчислении (логической системе) всех утверждений (предложений, формул и т.п.), обладающих некоторым подразумеваемым для этого исчисления свойством... Семантическая полнота - полнота относительно свойства истинности в модели или классе моделей. Проблема семантической полноты логических систем (исчислений) имеет различные варианты: а) поиск логической системы (в частности, обладающей некоторыми требуемыми свойствами, напр. наличием конечной аксиоматики), полной относительно данного класса моделей (относительно данной модели); б) поиск класса моделей (модели), относительно которого полным является данное исчисление. Синтаксическая полнота - полнота логического исчисления относительно определенного формульного свойства» [Чагров, 2009, с. 718-719].
Полнота поиска, по С.А. Трущелёву, отражает его тщательность и соответствует доле найденных публикаций от всех релевантных, действительно содержащихся в базе данных [Трущелёв, 2009, с. 80].
Согласно А.С. Майданову, «стратегия полноты исследования. ориентирует на полный охват всех существенных сторон явления - его свойств (качества), составных частей, структуры, формы, количественных характеристик, динамики, функции, сущности. Эти стороны тем или иным образом связаны между собой, а поэтому изучение одних делает возможным переход к изучению других, знание об одних ставит проблемы относительно других» [Майданов, 1993, с. 145].
В более сложных интерпретациях теория полноты составляет часть современной модальной логики [Чагров, (2), 2009, с. 844].
Авторская интерпретация параметра полноты исследования
Согласно нашему концепту, полнота - предельность или приближение к предельности (предельной максимальности) в фактическом или экспектативном (ожидаемом) охвате (исчерпывающей заполненности) объёма наиболее существенного и значимого в отражении исследуемой предметно-объектной области.
Что конкретно мы имеем в виду, когда говорим о полноте охвата и полноты учёта определяющих факторов в исследовании?
Речь идёт о мере охвата (и детализации) и учёта (перечень не является исчерпывающим) следующих позиций:
1) в предметно-объектной области исследования:
- объёма аспектов и онтологических элементов тематического и (или) проблемного
поля,
- объёма ключевых и критически важных для целей исследования референтных источников,
- объёмов ключевых и критически важных для целей исследования референтных и релевантных проблем, вопросов, условий, объектов, процессов, отношений,
- объёмов неопределённостей;
2) в массиве задействуемой исследовательской методологии:
- функционально-целевой полноты проектирования и реализации исследования, полноты воплощения заявленного замысла,
- необходимых объёма и спецификации подлежащих (исходя из сути целеполага-ния исследования и особенностей исследуемой предметно-объектной области) задействованию исследовательских методов,
- объёма и спецификации релевантных (исходя из сути целеполагания исследования и особенностей исследуемой предметно-объектной области) исследовательских проекций и исходных (опорных) исследовательских систем координат,
- органической (отражающей целостность), онтологической и (или) инструментально-системной полноты выстраиваемой теории (выстраиваемого научного концепта, классификации или иного научного конструкта),
- полноты воплощённого релевантного исследовательского потенциала и полноты содержательности;
3) в массиве задействуемой и излагаемой исследовательской аргументации:
- объёма релевантной аргументации,
- функциональной полноты логических связок в изложении научного материала и аргументации;
4) массива задействуемой методологии верификации (проверки и подтверждения достоверности) и валидации (проверки и подтверждения соответствия требованиям) результатов исследования.
Всё вышеприведённое относимо к разряду определяющих факторов в исследовании. Хотя, конечно, всё зависит от конкретного исследования.
Параметр полноты охвата и полноты учёта определяющих факторов в исследовании в общем объёме других ключевых параметров исследования
Параметр полноты охвата и полноты учёта определяющих факторов в научном и прикладном аналитическом исследовании, как уже было сказано выше, является одним из линейки ключевых критериев оценивания исследования.
Широта исследования, глубина исследования и полнота исследования - это три сложно-онтологически взаимосвязанных параметра научного или прикладного аналитического исследования.
Во многих случаях глубина исследовательской проработки целевого тематического горизонта (исследуемой предметно-объектной области или проблемы) и глубина исследования (проработки) рабочего объёма исходных материалов или данных гораздо важнее широты таких исследований и полноты охвата в них наиболее существенных моментов. Однако это вовсе не та важность, которая совсем обесценивает параметр полноты охвата и полноты учёта определяющих факторов, и второй параметр может быть так же существенно важен. А для некоторых исследовательских задач может быть справедливо и обратное.
Достижение определённой меры показателя критерия широты охвата или достижение глубины проработки не всегда могут быть релевантными задачами исследования. Однако пересекающийся и сопрягающийся с этими критериями (а иногда находящийся в онтологической «оппозиции») критерий полноты охвата и полноты учёта определяющих факторов в научном и прикладном аналитическом исследовании, в любом случае, будет занимать одно из приоритетных мест в оценивании качества исследования. Хотя бы уже в упрощённой модальности - отвечая на вопрос: произведён ли исследовательский охват в необходимой и достаточной мере? То есть это очень важный параметр.
Параметр полноты охвата и полноты учёта определяющих факторов в исследовании связан с таким параметром исследования, как его целостность (в данном случае имея в виду отсутствие незаполненных критических значимых пробельных каверн неисследо-ванности, отсутствие перекосов (дисбалансов) в исследовании целостной предметно-объектной области исследования, отсутствие исследованности наиболее существенного при доминантной, акцентированной исследованности малозначимого, второстепенного и др.), а также с таким параметром исследования, как его комплексность.
Еще одной онтологической «оппозицией» может выступать пара «полнота и ясность». Как пишет Б.И. Фёдоров, «фиксируя определённый уровень полноты знания, ясность в то же время всегда относительна, поскольку связана каждый раз с конкретной познавательной ситуацией, с уровнем осведомленности её участников. Не существует абсолютной, абстрактной ясности» [Фёдоров, 2009, с. 1021].
Модальности в достижении параметра полноты охвата и учёта определяющих факторов в исследовании
Понятно, что в первую очередь мера достижения полноты охвата и полноты учёта определяющих факторов в исследовании ограничена пределами возможностей человеческого, даже усиленного компьютерными технологиями, пределами современного уровня достижений в науке, финансовых возможностей, наконец.
Но есть и субъективный, логический обоснованный детерминант.
Очевидно, что у интенций достижения определённой меры показателя полноты охвата и полноты учёта определяющих факторов в исследовании есть разумно-рациональные пределы. И редундантность (чрезмерная явная избыточность) в онтологии исследуемого параметра может быть лишена смысла и просто «пожирать» временные, финансовые и иные ресурсы исследователя (коллектива исследователей).
В некоторых ситуациях исследователь вполне обоснованно может исходить из приоритетности надёжности оснований, или внутренней непротиворечивости выстраиваемой теории, или концепции по отношению к её полноте.
По Г.И. Рузавину, «требование непротиворечивости системы аксиом гораздо существеннее требования их полноты» [Рузавин, 1975, с. 213].
Согласно Гансу Селье, «человеческий разум не в состоянии достичь всей полноты знания», и необходимо «сосредоточиться на одной центральной проблеме, не растрачивая энергию на бесплодные поиски абсолютного знания. Обширные знания также не превращают человека в учёного, как запоминание слов не делает из него писателя. Ничто в Природе не может быть охарактеризовано с исчерпывающей полнотой» [Селье, 1987, с. 165, 264].
То есть в достижении полноты исследования обоснованно выделять следующее:
- минимально необходимый уровень (необходимое и достаточное), ниже которого можно говорить о неполноте и даже неполноценности исследования;
- оптимально-релевантный уровень;
- некоторые уровни с превышением от оптимально-релевантного, но укладывающиеся в полосу релевантности;
- редундантный (явно и чрезмерно избыточный), лишённый смысла перебор.
При этом любому исследованию может быть субъективно-произвольно и необоснованно наклеен ярлык неполноты, отсутствия в нём каких-то раскрытых и объяснённых вопросов, каких-то решённых задач, и это может продолжаться до бесконечности.
Поэтому понятие полноты охвата тесно увязывается с соображениями разумно-рационального и оптимизационного порядков.
Полнота также может варьироваться и по уровням исследования: мы можем говорить о полноте исследования в целом и о полноте объёма охвата отражаемого явления дефиницией.
И причин этого может быть немало. Например, согласно М.М. Новосёлову, «если определение будет номинальным, то ответ сводится к соглашению о терминах, а если реальным, то в силу неполноты знания (о субъекте) определение может оказаться неполным» [Новосёлов, 2009, с. 53]. Как указывал А.Р. Лурия: «Усваивая значения слов, мы усваиваем общечеловеческий опыт, отражая объективный мир с различной полнотой и глубиной. "Значение" есть устойчивая система обобщений, стоящая за словом, одинаковая для всех людей, причем эта система может иметь только разную глубину, разную обобщенность, разную широту охвата обозначаемых им предметов, но она обязательно сохраняет неизменное "ядро" - определённый набор связей» [Лурия, 1979, с. 53]. И вот аналогичное «ядро» в понимании и интерпретации предмета исследования и отражает меру минимально необходимого и достаточного.
Полнота исследования может быть различной по разным другим позициям, например, полнота охвата вообще всех аспектов и мельчайших деталей и полнота охвата только «несущих» («силовых») теория-образующих научных конструктов.
Отметим, что в некоторых ситуациях неполнота исследования может являться следствием сознательного оперирования выборками, например, сознательным выбором из методов сплошного и несплошного наблюдения в пользу несплошного, если это допускается или прямо предусматривается исследовательскими задачами. То есть «неполнота» может закладываться в проектируемый дизайн научного или прикладного аналитического исследования.
Так, Джордж (Дьёрдь) Пойа писал: «Мы нигде не стремились достичь полноты монографии, поскольку выбор материала был подчинен нашей основной цели - расположению, в наибольшей степени возбуждающему работу мысли» [Пойа, 1976, с. 443].
Заключение
Положение о присуждении учёных степеней, утверждённое Постановлением Правительства РФ от 24.09.2013 № 842 (ред. от 01.10.2018) «О порядке присуждения ученых степеней», не предъявляет никаких требований относительно параметра полноты охвата и полноты учёта определяющих факторов в диссертационном исследовании (имеет место только требование полноты изложения материалов диссертации в работах, опубликованных соискателем учёной степени), вообще достаточно скудно и слабо определяет общенаучные требования к качеству диссертации. Но это не снимает с повестки дня вопрос о критериях качества научного (а равно прикладного аналитического) исследования, в том числе в части параметра, которому посвящена настоящая статья.
И эта статья является приглашением к дискуссии.
Список источников
1. Большой толковый словарь русского языка. Сост. и гл. ред. С.А. Кузнецов. СПб., Норинт, 2000. 1536 с.
2. Гастев Ю. 1967. Полнота. В кн.: Философская энциклопедия. Гл. ред.: Ф.В. Константинов. Т. 4. М., Советская энциклопедия. 592 с. С. 302.
Список литературы
1. Лурия А.Р. 1979. Язык и сознание. М., Издательство Московского университета. 320 с.
2. Майданов А.С. 1993. Искусство открытия: Методология и логика научного творчества. М., Репро. 175 с.
3. Новосёлов М.М. 2009. Аналитические и синтетические суждения. В кн.: Энциклопедия эпистемологии и философии науки. М., Канон+; Реабилитация. 1248 с.
4. Пойа Д. 1976. Математическое открытие: Пер. с англ. 2-е изд. М., Наука. 452 с. (George Polya. 1952, 1965. Mathematical Discovery. On understanding, learning and teaching problem solving. New York, John Wiley & sons, inc., Vol. I, Vol. II.)
5. Понкин И.В., Редькина А.И. 2020. Методология научных исследований и прикладной аналитики. М.: Буки Веди. 365 с.
6. Рузавин Г.И. 1975. Методы научного исследования. М., Мысль. 237 с.
7. Селье Г. 1987. От мечты к открытию: Как стать учёным: Пер. с англ. М., Прогресс. 368 с. (Hans Selye. 1975. From Dream to Discovery. On Being a Scientist. New York: Arno press. 419 p.).
8. Сырых В.М. 2012. История и методология юридической науки: Учебник. М., Норма -ИНФРА-М. 464 с.
9. Трущелёв С.А. 2009. Медицинская диссертация: Руководство. 3-е изд., перераб. и доп. М., ГЭОТАР-Медиа. 416 с.
10. Фёдоров Б.И. 2009. Условия рассуждения. В кн.: Энциклопедия эпистемологии и философии науки. М., Канон+; Реабилитация. 1248 с. С. 1021-1022.
11. Чагров A.B. 2009. Полнота логических исчислений. В кн.: Энциклопедия эпистемологии и философии науки. М., Канон+; Реабилитация: 718-719.
12. Чагров A.B. (2) 2009. Семантика возможных миров. В кн.: Энциклопедия эпистемологии и философии науки. М., Канон+; Реабилитация: 843-844.
13. Bailey S. 2011 Academic Writing: A Handbook for International Students. Third edition. New York: Routledge. xx; 293 p.
14. Carter S., Guerin C., Aitchison C. 2020. Doctoral Writing: Practices, Processes and Pleasures. Singapore: Springer Nature Singapore. xiii; 219 p.
15. Fritchoff Davis M. 2010. Data cleaning. In: Encyclopedia of research design. Edited by Neil J. Salkind. 3 Vols. Thousand Oaks (California, USA), SAGE. xxxi; 1595 p. P. 325-328.
16. Kirkman J. 2005. Good Style: Writing for science and technology. Second edition. New York: Routledge. vi; 139 p.
17. Meloy J.M. 2002. Writing the qualitative dissertation: Understanding by Doing. Second Edition. Mahwah (New Jersey, USA): Lawrence Erlbaum Associates. xvii; 217 p.
18. Simmel G. 1950. The Sociology of Georg Simmel. Translated, edited, and with an introduction by Kurt H. Wolff. Glencoe (Illinois, USA), The Free Press. lxiv; 445 p.
References
1. Luriya A.R. 1979. Yazyk i soznanie [Language and consciousness]. M., Izdatel'stvo Moskovskogo universiteta. 320 p.
2. Maydanov A.S. 1993. Iskusstvo otkrytiya: Metodologiya i logika nauchnogo tvorchestva [The Art of Discovery: Methodology and Logic of Scientific Creation]. M., Repro. 175 p. (in Russian)
3. Novosyolov M.M. 2009. Analiticheskie i sinteticheskie suzhdeniya [Analytical and synthetic reasoning]. In: Entsiklopediya epistemologii i filosofii nauki [Encyclopedia of Epistemology and Philosophy of Science]. M., Canon. 1248 p.
4. Polya Д. 1976. Matematicheskoe otkrytie [Mathematical Discovery]. 2 ed. M., Nauka. 452 p. (George Polya. 1952, 1965. Mathematical Discovery. On understanding, learning and teaching problem solving. New York, John Wiley & sons, inc., Vol.I, Vol.II.)
5. Ponkin I.V., Redkina A.I. 2020. Metodologiya nauchnykh issledovaniy i prikladnoy analitiki: Uchebnik [Methodology of Scientific Research and Practical Analytics. Textbook]. M.: Buki Vedi. 365 p.
6. Ruzavin G.I. 1975. Metody nauchnogo issledovaniya [Research Methods]. M., Mysl. 237 p.
7. Selye H. 1987. Ot mechty k otkrytiyu: Kak stat' uchenym [From Dream to Discovery. On Being a Scientist]. M., Progress. 368 с. (Hans Selye. 1975. From Dream to Discovery. On Being a Scientist. New York: Arno press. 419 p.).
8. Syrykh V.M. 2012. Istoriya i metodologiya yuridicheskoy nauki. Uchebnik [History and Methodology of Legal Science. Textbook]. M., Norma: INFRA-M. 464 p.
9. Truschelev S.A. 2009. Meditsinskaya dissertatsiya. Rukovodstvo [Medical Thesis. Manual]. Author-editor. 3 ed. M., GEOTAR-Media. 416 p.
10. Fedorov B.I. 2009. Usloviya rassuzhdeniya [Reasoning conditions]. In: Entsiklopediya epistemologii i filosofii nauki [Encyclopedia of Epistemology and Philosophy of Science]. M., Canon. 1248 p. P. 1021-1022.
11. Chagrov A.V. 2009. Polnota logicheskikh ischisleniy [Completeness of logical calculi]. In: Entsiklopediya epistemologii i filosofii nauki [Encyclopedia of Epistemology and Philosophy of Science]. M., Canon: 718-719.
12. Chagrov A.V. (2) 2009. Semantika vozmozhnykh mirov [Semantics of possible worlds]. In: Entsiklopediya epistemologii i filosofii nauki [Encyclopedia of Epistemology and Philosophy of Science]. M., Canon: 843-844.
13. Bailey S. 2011 Academic Writing: A Handbook for International Students. Third edition. New York: Routledge. xx; 293 p.
14. Carter S., Guerin C., Aitchison C. 2020. Doctoral Writing: Practices, Processes and Pleasures. Singapore: Springer Nature Singapore. xiii; 219 p.
15. Fritchoff Davis M. 2010. Data cleaning. In: Encyclopedia of research design. Edited by Neil J. Salkind. 3 Vols. Thousand Oaks (California, USA), SAGE. xxxi; pp. 325-328.
16. Kirkman J. 2005. Good Style: Writing for science and technology. Second edition. New York: Routledge. vi; 139 p.
17. Meloy J.M. 2002. Writing the qualitative dissertation: Understanding by Doing. Second Edition. Mahwah (New Jersey, USA): Lawrence Erlbaum Associates. xvii; 217 p.
18. Simmel G. 1950. The Sociology of Georg Simmel. Translated, edited, and with an introduction by Kurt H. Wolff. Glencoe (Illinois, USA), The Free Press. lxiv; 445 p.
ИНФОРМАЦИЯ ОБ АВТОРЕ
Понкин Игорь Владиславович, профессор, доктор юридических наук, профессор кафедры государственного и муниципального управления факультета государственного и муниципального управления Института государственной службы и управления Российской академии народного хозяйства и государственной службы при Президенте РФ, г. Москва, Россия
INFORMATION ABOUT THE AUTHOR
Igor V. Ponkin, Professor, doctor of legal Sciences, Professor of chair of state and municipal management faculty of state and municipal management Institute of public service and administration of Russian presidential Academy of national economy and state service under the RF President, Moscow, Russia
