Научная статья на тему 'Ключевые слова научной деятельности психолога в США: peer-reviewed, evidence-based, translational'

Ключевые слова научной деятельности психолога в США: peer-reviewed, evidence-based, translational Текст научной статьи по специальности «Социология»

CC BY
110
27
Поделиться
Ключевые слова
ПРИНЦИПЫ НАУЧНОЙ ОРГАНИЗАЦИИ АМЕРИКАНСКОЙ ПСИХОЛОГИИ / PEER-REVIEWED / EVIDENCE-BASED PRACTICE / TRANSLATIONAL RESEARCH / ORGANIZATIONAL PRINCIPLES OF AMERICAN PSYCHOLOGY / PEER REVIEW

Аннотация научной статьи по социологии, автор научной работы — Григоренко Елена Леонидовна

В докладе обсуждаются некоторые организационные принципы функционирования американской психологической науки и научной деятельности психологов в США. Одним из ее ключевых моментов являются процедуры рецензирования публикаций и заявок на финансовую поддержку исследований. Принцип evidence-based предполагает эмпирические обоснования как программ и рекомендаций, используемых в практике, так и самих алгоритмов деятельности профессионала. Важнейшей тенденцией психологической науки последнего времени является поиск эффективных моделей соединения практики с фундаментальными научными исследованиями. Ил. 8.

Похожие темы научных работ по социологии , автор научной работы — Григоренко Елена Леонидовна,

KEYWORDS OF SCIENTIFIC ACTIVITY OF PSYCHOLOGIST IN THE USA: PEER-REVIEWED, EVIDENCE-BASED, TRANSLATIONAL

The presentation outlined selected organizational principles of American psychology, psychological practice, and education and licensing of psychologists. Namely, three principles were discussed: peer review, evidence-based practice, and translational research. Peer reviewing assumes that publication, financing, and promotion is based on comments from peers. Evidence-based practice assumes the presence of empirical evidence for any and all claims translatable into policies and for any and all interventions. Translational research assumes the existence of a pipeline connecting fundamental science and practical applications. Figs 8.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Текст научной работы на тему «Ключевые слова научной деятельности психолога в США: peer-reviewed, evidence-based, translational»

УДК 159.9.07 Вестник СПбГУ. Сер. 16. 2016. Вып. 1

Е. Л. Григоренко

КЛЮЧЕВЫЕ СЛОВА НАУЧНОЙ ДЕЯТЕЛЬНОСТИ ПСИХОЛОГА В США: PEER-REVIEWED, EVIDENCE-BASED, TRANSLATIONAL

В докладе обсуждаются некоторые организационные принципы функционирования американской психологической науки и научной деятельности психологов в США. Одним из ее ключевых моментов являются процедуры рецензирования публикаций и заявок на финансовую поддержку исследований. Принцип evidence-based предполагает эмпирические обоснования как программ и рекомендаций, используемых в практике, так и самих алгоритмов деятельности профессионала. Важнейшей тенденцией психологической науки последнего времени является поиск эффективных моделей соединения практики с фундаментальными научными исследованиями. Ил. 8.

Ключевые слова: принципы научной организации американской психологии, peer-reviewed, evidence-based practice, translational research.

E. L. Grigorenko

KEYWORDS OF SCIENTIFIC ACTIVITY OF PSYCHOLOGIST IN THE USA: PEER-REVIEWED, EVIDENCE-BASED, TRANSLATIONAL

The presentation outlined selected organizational principles of American psychology, psychological practice, and education and licensing of psychologists. Namely, three principles were discussed: peer review, evidence-based practice, and translational research. Peer reviewing assumes that publication, financing, and promotion is based on comments from peers. Evidence-based practice assumes the presence of empirical evidence for any and all claims translatable into policies and for any and all interventions. Translational research assumes the existence of a pipeline connecting fundamental science and practical applications. Figs 8.

Keywords: organizational principles of American psychology, peer review, evidence-based practice, translational research.

Уважаемые коллеги, я счастлива находиться среди тех авторов докладов, которые в своих выступлениях описывают очень сложные проблемы и задают очень сложные вопросы, то есть занимаются именно тем, чем должна заниматься большая наука. Я сегодня, однако, выступаю представителем направления маленьких теорий, маленьких кирпичиков, из которых тоже складывается, с моей точки зрения, большая наука. Точнее, я выступаю представителем американской науки маленьких теорий с точки зрения понимания механизмов ее движения и механизмов ее построения. Отсюда эти слова в названии моего доклада: peer-reviewed, evidence-based, translational.

В своем докладе я не планирую касаться больших идей и объяснять их генезис. Я совершенно согласна с прозвучавшим высказыванием, что практически любую сложную концептуальную структуру науки, которая разработана, скажем, в аме-

Григоренко Елена Леонидовна — доктор психологических наук, профессор Йельского университета, Yale University, USA, New Haven, CT 06520; Санкт-Петербургский государственный университет, Российская Федерация, 199034, Санкт-Петербург, Университетская наб., 7/9; elena.grigorenko@ yale.edu, elenalgrigorenko@gmail.com

Grigorenko Elena Leonidovna — Doctor of Psychology, Professor, Yale University, USA, New Haven, CT 06520; St. Petersburg State University, 7/9, Universitetskaya nab., St. Petersburg, 199034, Russian Federation; elena.grigorenko@yale.edu, elenalgrigorenko@gmail.com

© Санкт-Петербургский государственный университет, 2016

риканской психологии, всегда можно найти где-то еще, в частности в российской или во французской психологии, потому что идеи обычно возникают кустами и необязательно по соседству (географическому) друг с другом. Еще Борхес об этом совершенно замечательно писал, напомню его рассуждения о том, что Дон Кихота Сервантеса на самом деле можно переписывать теми же словами много-много раз в разных культурно-исторических контекстах. В этом смысле психология, по-моему, является замечательной наукой углубленного пересказывания идей, которые, может быть, были высказаны еще Платоном, Аристотелем или Сократом. Для современной науки, однако, важна их доказательность и, самое главное, их способность быть переведенными (или внедренными) в практику — вот это слово «trans-lational» — в наше каждодневное существование, и именно с этим, с моей точки зрения, очень хорошо справляется американская наука. В этом смысле кажется, что какие-то идеи, может быть не все и не всегда, но все же какие-то идеи именно организации науки в американской психологии, без сомнения, заслуживают внимательного изучения.

Я хотела бы сегодня поговорить на три больших темы. Peer-reviewed — «отрецензированное коллегами», работающими в одном исследовательском поле. Evidence-based, то есть основанное на эмпирии, по-русски — я видела несколько переводов — это часто переводится как «эмпирически доказанное» (это не совсем точный перевод, но отражает примерно 90 % смысла). И Translational — используемое в практике. Понятие «translational» в русском языке, в рамках нашего психологического контекста, к сожалению, не имеет хороших семантических аналогов. Мы очень хотели использовать это слово в названии своей лаборатории в СПбГУУ и в общем так она у нас и называется по-английски. По-русски мы решили использовать слово «междисциплинарный», что, к сожалению, только частично отражает содержание семантического поля этого понятия. При обсуждении этих трех больших организующих и составляющих американской психологии я буду использовать матрицу 3 х 5, как в экспериментальной психологии, говоря об определении каждого из этих понятий, об их применимости, связанных с ними статистиках и о том, как они используются при подготовке специалистов-психологов и в публикационной активности. Далее мы будем говорить о том, как мы, как все-таки уже, так сказать, стареющие или устаревающие представители в науке, будучи наставниками или менторами, пытаемся организовать передачу содержания этих понятий нашему подрастающему поколению, нашим молодым коллегам. Я также приведу несколько примеров публикаций, посвященных этим понятиям. Они, с моей точки зрения, являются очень интересными примерами того, как все эти понятия внедряются в каждодневное существование в науке.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Определение «Peer review» всем нам известно: Peer review is the evaluation of work by one or more people of similar competence to the producers of the work (peers). It constitutes a form of self-regulation by qualified members of a profession within the relevant field. Peer review methods are employed to maintain standards of quality, improve performance, and provide credibility. In academia peer review is often used to determine an academic paper's suitability for publications. Критическим элементом этого определения можно считать то, что в американских реалиях peer review — это все. То есть для того чтобы заработать, например, импакт-фактор, который теперь важен не только в американской, но и в российской психологии, журнал должен быть

основан на этих самых review коллег или сотрудников того же самого поля, в том смысле, что они разделяют задачи того же самого поля науки, в которых данная публикация или данная заявка на финансирование находится.

Применимость

• Публикации (чтобы «заработать» IF, журнал должен быть основан на «peer-review»)

• Отслеживаемость рецензентов

• CV

• Сертификаты

• Гранты

• Повышеия по службе

• Разные «peers» на разных этапах

О www.nature.com/nature/peerreview/debate/nature04989.html ©и

nature

International weekly journal of ¡и

Journal content • Journal home

♦ Current issue

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

• Nature News

* Supplements

* Web focuses

• Videos

• News Specials

Quality and value: Statistics in peer review

Nstuf (2006) | doi: 10.1038/ n»tur»04969

Researchers need reviewers to check their stats.

Statistical methods are widely used in many areas of natural science, especially in my field of research, epidemiology. Although statistical procedures are often viewed as a black art, or as a black box, they are not limited to specialists. With today's computing power and software, researchers can and do use computationally intensive methods of great complexity, often leading to the use of techniques that are more

sophisticated and powerful than necessary. Many researchers have_

" e results, or interpret them incorrectly. SS1WH

trouble interpreting the result IlTJ.IP.Ul-JliÜJ.iJJtl.i'.ü'.'l

n enduring problem for journal editors is obtaining the services of expert s conventional to have at least two subject-area reviewers for a submitted paper, and their expertise tends not to be in statistics (except for purely methodological papers).

Рис. 1. Применимость Peer-review (фрагмент сайта журнала Nature: http://www.nature.com/na-ture/peerreview/debate/nature04989.html)

Интересный организационный и научный момент — это собственно процесс рецензирования и работа с рецензентами (рис. 1). Я на данный момент редактор двух журналов (один из которых — Learning and Individual Differences). И я прекрасно понимаю, как сложно любому рецензенту найти те самые два-три или иногда пять часов на внимательное чтение статьи, которая посылается ему на рецензию. Труд совершенно неблагодарный, занимающий огромное количество времени, и поэтому, естественно, эту трудовую деятельность надо поощрять. Большие издательства, типа Elsevier и Wiley, выдают рецензентам сертификаты, которые в большом количестве университетов прикладываются в досье преподавателя или досье психолога, когда человек проходит ступени профессионального развития и получает повышение по службе, повышение в зарплате и т. д. Эта, казалось бы, такая маленькая деталь становится важной.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Все содержания рецензий очень тщательно отслеживаются главными редакторами. Это тоже очень важно, потому что до того, как рецензия дойдет до автора, главный редактор с ней работает, отслеживая наличие всех основных элементов рецензии и, самое главное, язык. В этом опосредованном общении формируется культура обмена мнениями между рецензентом и автором, то что складывается совершенно не случайно, а задается на разных этапах профессионального развития. Этой профессиональной деятельности рецензирования принадлежит огромная роль, например, в процессе получения грантов.

На представленном графике (рис. 2) верхняя кривая описывает динамику бюджета Национального института здоровья США. Это важно для того, чтобы понять объем научной и другой профессиональной деятельности психологов, то, какими бюджетами они оперируют в своей деятельности. Потому что этим определяется

Статистика

NIH Appropriations in Current and Constant Dollars

о

a

40,000 35,000 30,000 25,000 20,000 15,000 10,000 5,000

35,745 36>209

11,300

] With Supplemental Appropnation (ARRA)

Current $ (Millions) 1995 Constant $ (Millions)

30,860

30,165

29,151

16,434

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

16.309е

Source: NIH Office of the Director, Office of Budget: http://officeofbudget.od.nih.gov/

NIH Grant Application Success Rates FL 1978-2013

r~t~OOOOOOOOCJOOOOOOOOOOOOSO\CT\OvCT\ONOSOSO>OSOOOOOOOOOO^Hrtrtrt

Source: NIH http://report.nih.gov/success_rates/

Рис. 2. Данные статистики, иллюстрирующие значимость Peer-review (см.: https:// officeofbudget.od.nih.gov/ и https://report.nih.gov/success_rates/)

и масштаб исследований, и влияние на общественное сознание. Для того чтобы получить какие-то серьезные результаты, естественно, нужно потратить достаточно большую сумму денег, которые получены из налогообложения граждан, и потом эти результаты тем самым гражданам донести и по возможности изменить их каждодневную жизнь. Этот объем составлял примерно 29 млрд долларов в 2013 г., последняя точка на этом графике (без учета инфляции). Кривая, которая выделена курсивом, — вторая кривая — отражает реальное состояние вещей, так сказать, с «подправленным», скорректированным долларом (то есть учитывает инфляцию). И, как видно, эта кривая на самом деле не очень изменилась, это примерно 16 млрд долларов в 2013 г. Это цифры, конечно, существенные: спонсируется огромное количество исследований в самых разных уголках страны, выполняемых самыми разными организациями. Еще одна кривая (на правой стороне слайда) — это собственно задачи, которые стоят перед рецензентами, для того чтобы финансовые ресурсы раздавались правительством и получались исследователями. Эта кривая отражает успешность, причем растянутую во времени, потому что каждая заявка может рассматриваться по крайней мере два раза. И, естественно, с первого раза получает спонсорскую поддержку очень небольшое количество заявок. Но на самом деле с 1976 г. кривая все время опускается все ниже и ниже. На графике все кончается 2012 г. — в этом году спонсировалось порядка 18 % общих заявок, опять же рассмотренных в общем своем жизненном цикле, то есть за два года развития. Сейчас эта цифра — порядка 10 %. И все эти процессы отслеживаются, рассматриваются этими самыми со-путниками, со-трудниками, со-работниками в данной конкретной области науки.

Q grants.mh.gov/grants/peer_review_process.htm

Обучение

• Получение рецензий

• Коллективное авторство

• Написание рецензий

• Соавторство

• Курсы и задания

• Обучение написанию грантов

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

«^t U.S. Department of Health Д

National Institutes of Health

Office of Extramural Reeearch

Grants & Funding

Peer Review Process

Grants Process Overview

Receipt and Referral Peer Review Process Award Management Post Award Management Types of Grant Programs How to Apply Peer Review Process

"To maintain our edge . . . we've got to protect our rigorous peer review system and ensure that we only fund proposals that promise the biggest bang for taxpayer dollars . . . that's what's going to maintain our standards of scientific excellence for years to come."

Remarks by President Barack Obama on the 150th Anniversary of the National Academy of Sciences, April 29, 2013

Рис. 3. Обучение Peer-review (см.: http://grants.nih.gov/grants/peer_review_process.htm)

Как проходит обучение peer-review (рис. 3)? Очень распространено коллективное авторство. Я, будучи аспирантом, писала со своим научным руководителем большое количество совместных рецензий. И то же самое происходит практически во всех больших журналах, когда редактор — главный редактор или кто-то из членов редколлегии — разрешает такое соавторство. И таким образом аспиранты, иногда даже студенты, включаются в этот диалог между авторами и рецензентами. В моих учебных курсах, например, есть специальные задания — написать рецен-

зию. Пишем рецензию вместе со своими аспирантами и анализируем ее. И вот, допустим, не очень популярный человек в Америке, но тем не менее человек, у которого в руках все-таки находится кошелек страны, — президент Обама — говорит, что действительно этот институт рецензирования является, с его точки зрения, самым важным достижением процесса функционирования американской науки именно потому, что он пронизывает насквозь все аспекты американской науки, в том числе психологической.

Рис. 4. Практика публикаций для оценивания эффективности Peer-review

Перейдем к практике публикаций (рис. 4). Действительно, эта система не без изъянов, но самое главное, с моей точки зрения, заключается в том, что эта система сама себя рефлексирует, постоянно о себе говорит и ее данные доступны всем, находятся в общем пользовании. У того же самого Национального института здоровья есть специальный портал, где можно получить — естественно, обезличенные — данные о том, как эта система функционирует на протяжении последних, по-моему, 50 лет. И, в частности, в статье «Statistical analysis of the National Institutes of Health peer review system» обсуждается проблема изменения курса деятельности Национального института здоровья за последние 5 лет. Их основная задача заключается в том, чтобы спонсировать так называемые инновационные исследования в психологии. А что такое инновации? Инновации — это когда изменяется целый поток исследований и происходит очень быстрое внедрение их в практику. И здесь, собственно, освещается именно этот параметр. В частности, в первой статье (рис. 4, Statistical analysis of the National Institutes of Health peer review system) делается вывод о том, что если изменить определенные принципы построения review (это, конечно, уже рефлексивные анализы данных) и по-другому проинформировать рецензентов, то на самом деле успешность именно в нахождении, идентификации этих инновационных процессов изменится примерно на 20 %. То есть обычно в своем существующем варианте эта система более консервативна, чем того хотели

бы институты (входящие в состав Национального института здоровья), и она отдает предпочтение качественным работам, но работам неинновационным. Кстати, естественно, что в такой системе многократного рецензирования плохим работам, плохим проектам получить спонсорскую поддержку просто невозможно. Можно добавить, что существуют своего рода «элиты» и возникает распространение так называемого tacit знания. Знание того, как работает наука, то есть когда у ученого есть опыт получения грантов от Национального института здоровья и потом рецензирования их, — вот это tacit-ное погружение в поле на самом деле увеличивает его шансы получить свой следующий грант.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Несколько слов о том, что мы называем Evidence-based. На русском языке нет стопроцентно точного определения, на английском это звучит следующим образом: Evidence-based practice (EBP) is an interdisciplinary approach to clinical practice that has been gaining ground following its formal introduction in 1992. It started in medicine as evidence-based medicine (EBM) and spread to other fields such as audiology, speech-language pathology, dentistry, nursing, psychology, social work, education, library and information science. EBP is traditionally defined in terms of a «three legged stool» integrating three basic principles: (1) the best available research evidence bearing on whether and why a treatment works, (2) clinical expertise (clinical judgment and experience) to rapidly identify each patient's unique health state and diagnosis, their individual risks and benefits of potential interventions, and (3) client preferences and values.

Evidence-based подразумевает, что вся психология, все ее движения и действия основаны на эмпирии. Большинство аудитории это, скорее всего, знает, но мне хотелось бы привлечь внимание к двум порталам (рис. 5).

с! el ■> lei а вч он

Рис. 5. Применимость Evidence-based (см.: http://ies.ed.gov/ncee/wwc/findwhat-works.aspx и https://www.healthypeople.gov/2020/tools-resources/Evidence-Based-Resources)

Один называется Healthy people, и здесь находится репозиторий для огромного количества так называемых Evidence-based-программ, которые используются в клинической психологии, психологии здоровья. У этого самого Evidence-based есть и некоторые формальные критерии. Их основная составляющая заключается в том, что должно быть по крайней мере две независимые эмпирические публикации, выполненные группами, никак не связанными с разработчиками программы, которые показывали бы позитивные эффекты этой самой программы. Портал Healthy people описывает все известные программы, которые считают себя Evidence-based, имеющиеся публикации и содержит информацию о том, как получить руководство и т. д. Второй портал — What works clearinghouse — это программа Министерства образования (в США — Департамента образования), где перечислены собственно все существующие программы по обучению: чтению, математике, точным наукам (например, физике и химии) — чему угодно. Можно задать возраст, класс, предмет и получить описания всех известных обучающих программ в «What Works Clearinghouse».

Evidence-based-практика как направление деятельности психологов появилась относительно недавно. Само понятие (словосочетание) «Evidence-based» стало использоваться примерно в 90-х годах, но количество публикаций, его задействую-щих, возрастает (рис. 6).

Рис. 6. Статистика использования понятия Evidence-based в публикациях

В 2012-2013 гг. в психологической науке было примерно 18 тыс. публикаций, которые используют понятие «Evidence-based». Динамика абсолютно очевидна (рис. 6). Последний отрезок (2014-2015 гг.) объясняется тем, что я рассматривала и 2015 г., а поскольку он еще не кончился, то публикаций сейчас меньше, чем будет. Я практически уверена, что показатели этого периода догонят показатели предыдущих двух лет.

Как происходит обучение (рис. 7)? В американской науке, как вы знаете, есть несколько профессиональных организаций, в том числе и Американская ассоциация психологов. Если зайти на сайт APA, можно увидеть целый набор руководств: и платформа определена, и что такое Evidence-based, и как в общем создается эта практика, и как она отчитывается, и какие количественные данные нужны для того, чтобы показать, что программа является Evidence-based, и в каком порядке — все

i - ■1 ftj; «iwiwreri

Рис. 7. Обучение практике, основанной на принципе Evidence-based

там отражено в программных документах. На рис. 7 также представлены аспирантские программы по психологии, которых в стране несколько десятков и которые считают себя направленными на подготовку именно психологов-практиков, в чью сферу профессиональной деятельности входит внедрение тех программ, которые эмпирически доказаны и «готовы работать» в самых разных контекстах — контекстах психического здоровья, школьного взаимодействия, школьного обучения, в контексте работы с группами, у которых есть определенные социальные нужды, и т. д. Все началось с публикации 1995 г. в очень известном журнале British Medical Journal (речь о статье «Evidence based medicine: an approach to clinical problem-solving»), где, собственно, впервые был поставлен вопрос о применении и применяемости определенных алгоритмов деятельности профессионала в контексте принятия решений клинического характера с тем, чтобы была ссылка на эмпирию и привлекались фундаментальные научные исследования по эффективности конкретных программ в контексте профессиональной деятельности, в том числе и психолога.

Еще одно важное понятие — Translational science. Его определение на английском языке звучит следующим образом: Translational science is a multidisciplinary form of science that bridges the recalcitrant gaps that sometimes exist between fundamental science and applied science, necessitating something in between to translate knowledge into applications. The term is most often used in the health sciences and refers to the translation of bench science, conducted only in a lab, to bedside clinical practice or dissemination to population-based community interventions. In U. S., the National Institutes of Health have implemented a major national initiative to leverage existing academic health center infrastructure through the Clinical and Translational Science Awards. The National Center for Advancing Translational Sciences (NCATS) was established on December 23, 2011. Это тоже относительно новое движение в американской науке, в том числе в психологии, оно достигло своей кульминации в 2011 г., когда в национальных институтах здоровья был создан Центр междисциплинарной медицины или междисциплинарной науки.

Эта деятельность также отражается в огромном количестве публикаций: если в 1995 г. этих публикаций было мало, то в 2005-2009 гг. этих публикаций очень много, примерно 35 тысяч (рис. 8).

Рис. 8. Статистика публикаций междисциплинарных исследований

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Смысл этого движения в науке заключается в признании того, как важно, в частности, в университетской среде иметь оба элемента (исследовательский и практический) профессиональной деятельности. Как важно, чтобы, скажем, клинические психологи, или социальные психологи, или индустриальные психологи имели доступ не только к обучающим программам, но и к программам практическим, которые имеют признаки эффективности и эффектности. И как важно, чтобы у профессионалов нового типа была возможность проведения фундаментальных исследований в контексте их лабораторий и быстрого, очень быстрого их внедрения в практику. Механизмы этого внедрения сами по себе представляют особый интерес для методологов и философов науки. В американском контексте они задаются, опять же, механизмом финансовым, где спонсируются очень большие структурные единицы, которые позволяют осуществлять совмещение практической деятельности и деятельности исследовательской. Например, в Йельском университете есть такой грант, в котором продленное образование совмещается с двумя годами исследовательской деятельности. И здесь деятельность направлена на подготовку практиков, но практиков, у которых потом есть возможность заниматься фундаментальными исследованиями.

Я хотела бы сослаться на две публикации — «Translational and Clinical Science — Time for a New Vision» и «Reengineering Translational Science: The Time Is Right». Вторая — это публикация директора Национального института здоровья Френсиса Колинза, который говорит о том, что затраты на фундаментальную науку очень важны и необходимы. Но эффективность фундаментальных наук о человеке всегда измеряется их трансляционным потенциалом, их возможностью быть внедренными в практику. И с этой точки зрения именно практическое внедрение отличает значимость и важность фундаментального вклада в науку.

Собственно, это несколько штрихов к описанию того, как американская наука существует, как она отражает какие-либо влияния извне и как она продолжает идти вперед, несмотря на то что представлена в основном теориями определенного уровня (не всегда высокого). Тем не менее, с точки зрения профессионального сообщества и бюджета этого профессионального сообщества, это самое большое сообщество в мире в самым большим бюджетом.

Статья поступила в редацию 11 января 2016 г.