CC BY
329
Известия Саратовского университета. Новая серия. Серия: Социология. Политология. 2022. Т. 22, вып. 4. С. 424-429 Izvestiya of Saratov University. Sociology. Politology, 2022, vol. 22, iss. 4, pp. 424-429
https://soziopolit.sgu.ru https://doi.org/10.18500/1818-9601-2022-22-4-424-429, EDN: ORRMDT
Научная статья УДК 303.447.23
Специфика, роль и методологические проблемы экспертного знания в социологическом исследовании
М. С. Ивченкова
Институт социологии Федерального научно-исследовательского социологического центра Российской академии наук (ФНИСЦ РАН), Россия, 117218, г. Москва, ул. Кржижановского, д. 24/25, корп. 5
Ивченкова Мария Сергеевна, кандидат социологических наук, старший научный сотрудник, [email protected], https://orcid. org/0000-0002-9297-814X
Аннотация. В статье раскрываются методологические и методические особенности экспертного опроса и его роль в социологическом исследовании. Обоснованы преимущества и ограничения использования результатов опроса экспертов в качестве многовариантного сложного как с методологической, так и с методической точки зрения исследовательского процесса. Представлены требования к его организации и проведению, включая требования к компетентности экспертов. Показано, что преимущества опроса экспертов заключаются в возможности получения новой достоверной информации, глубокой интерпретации, объяснении, прогнозировании изучаемых явлений и процессов, выработке практических рекомендаций с нестандартных позиций. Особый акцент сделан на проблемах и ошибках в реализации различных видов экспертного опроса в социологии. Сегодня этот метод помогает диагностировать, моделировать, проектировать и прогнозировать состояние реальных объектов и процессов, включая процессы аттестации работников. Более того, с его помощью можно оценивать социальные последствия реализации проектов и рекомендаций, управленческих решений. Эта широта исследовательских функций способствует популярности и развитию метода экспертных опросов в социологии. Ключевые слова: экспертный опрос, эксперт, экспертная оценка
Для цитирования: Ивченкова М. С. Специфика, роль и методологические проблемы экспертного знания в социологическом исследовании // Известия Саратовского университета. Новая серия. Серия: Социология. Политология. 2022. Т. 22, вып. 4. С. 424-429. https://doi. org/10.18500/1818-9601-2022-22-4-424-429, EDN: ORRMDT
Статья опубликована на условиях лицензии Creative Commons Attribution 4.0 International (CC-BY 4.0) Article
The specifics, role and methodological problems of expert knowledge in sociological research M. S. Ivchenkova
Institute of Sociology - Branch of the Federal Center of Theoretical and Applied Sociology of the Russian Academy of Sciences (FCTAS RAS), 24/35, korpus 5 Krzhizhanovskogo St., Moscow 117218, Russia
Maria S. Ivchenkova, [email protected], https://orcid.org/0000-0002-9297-814X
Abstract. The article reveals the methodological and methodical features of the expert survey and its role in sociological research. The advantages and limitations of using the results of the experts survey as a multivariant complex process both from the methodological and methodical points of view of the research process were substantiated. The requirements for its organization and conduct, including the requirements for the competence of experts, are presented. It is shown that its advantages lie in the possibility of obtaining new reliable information, deep interpretation, explanation, forecasting of the phenomena and processes under study, development of practical recommendations from non-standard positions. Particular emphasis is placed on the problems and mistakes in the implementation of various types of expert survey in sociology. Today, this method helps to diagnose, model, design and predict the state of real objects and processes, including employee certification processes. Moreover, it can be used to assess the social consequences of the implementation of projects and recommendations and management decisions. This breadth of research functions contributes to the popularity and development of the method of expert surveys in sociology. Keywords: expert survey, expert, expert assessment
For citation: Ivchenkova M. S. The specifics, role and methodological problems of expert knowledge in sociological research. Izvestiya of Saratov University. Sociology. Politology, 2022, vol. 22, iss. 4, рр. 424-429 (in Russian). https://doi.org/10.18500/1818-9601-2022-22-4-424-429, EDN: ORRMDT This is an open access distributed under the terms of Creative Commons Attribution 4,0 International License (CC-BY 4.0)
Сегодня, в период становления цифрового ции. Важными ее источниками являются экс-знаниевого общества, растет потребность в по- перты. Они в наибольшей степени отличаются лучении достоверной и обоснованной информа- компетентностью, обширными и глубокими
знаниями по многим предметам социологического исследования, особенно если они погружены в изучаемую проблемную ситуацию. С другой стороны, современный технологический инструментарий социологии, особенно в прикладной его части, развивается достаточно быстро и спешно, расширяя круг возможностей социологических исследований. Сегодня как в России, так и за рубежом достаточно разработан и применяется экспертный опрос. Более того, в информационном знаниевом обществе его роль существенно возрастает. Однако в научных публикациях он отражен недостаточно полно, особенно в плане оценок его эффективности и методологических и методических проблем его реализации.
Экспертный опрос - разновидность социологического опроса, в ходе которого респондентами выступают компетентные специалисты, имеющие глубокие знания об изучаемых процессах и явлениях, предмете или объекте исследования, - эксперты (лат. ехрегШэ - опытный). Экспертный метод в значительной мере обеспечивает объективность, многосторонность, комплексность и компетентность результатов исследования и практических рекомендаций [1].
Он базируется на экспертных оценках, под которыми понимаются суждения профессионалов-знатоков. Это предполагает процедуру сравнения объектов, предмета изучения, их свойств по выделенным критериям [2, с. 45]. Иными словами, с содержательной точки зрения экспертный метод - это рационально организованная специалистами экспертиза изучаемых проблем и дальнейшая оценка, обработка исследователями суждений профессионалов. При этом нередко полезными бывают не только целенаправленные суждения экспертов, но и фоновые, так как они часто касаются факторов, влияющих на состояние или отдельные характеристики предмета исследования. Поэтому наиболее важные, существенные из них также выделяются и оцениваются.
Экспертный метод направлен на более глубокое понимание наиболее важных и сложных сторон изучаемой проблемной ситуации и является значимым инструментов повышения уровня обоснованности, надежности, репрезентативности получаемых данных, а также выводов и практических рекомендаций по итогам социологического исследования
Область применения экспертного опроса достаточно широка: при изучении всех сфер деятельности, при диагностике (экспертизе) состояний отдельных характеристик социального объекта или динамики процесса, при проектировании инструментария для повышения
обоснованности выводов и прогнозирования развития изучаемых явлений, при выработке практических рекомендаций, особенно в программировании и нормировании каких-либо процессов [3]. Этот метод особенно хорош еще и тем, что позволяет на основе авторитетного мнения привлечь более целенаправленную аргументацию для обоснования теоретических положений и практических рекомендаций исследования.
Кроме того, экспертные опросы могут быть особенно полезными, если другие способы получения информации затруднительны, например если социолог сталкивается с проблемой «закрытой» информации, когда сведения доступны только ограниченному кругу профессионалов. Экспертные опросы также эффективно применяются для оперативной диагностики в условиях быстро меняющейся ситуации, когда нужно ориентироваться не столько на факты, сколько на уже имеющийся практический опыт в исследуемой области. Мнение экспертов очень важно также на начальном этапе исследования новой, малоизвестной проблемы для получения предварительного представления о ней, особенно когда об этом нельзя собрать данные традиционными или формализованными способами.
Каждый человек может выступать экспертом. Чаще ими бывают специалисты в какой-либо деятельности. Однако при изучении повседневной жизнедеятельности населения в качестве эксперта может выступать любой индивид при условии его достаточной типичности.
Экспертный метод существенно отличается от других видов социологического опроса [4] по следующим параметрам:
1) количеству опрашиваемых: если в традиционном опросе важны выборка и значительное количество респондентов, то в экспертном методе количество экспертов намного меньше и не определяется формальной выборкой, только их компетенциями;
2) качественным характеристикам респондентов: эрудиция, квалификация, компетентность, профессиональность экспертов намного выше, чем у обычно опрашиваемого населения;
3) характеру и объему знаний: эксперты обладают глубокой специальной, профессиональной информацией, которой нет у исследователя и тем более в обыденных знаниях населения;
4) типичности получаемых данных: если в традиционном опросе социолога интересуют социальные факты с их типичностью, распространенностью, устойчивостью и повторяемостью, то от экспертов ожидают и получают уникальные, глубокие и неповторимые знания;
5) функциям в исследовании: если в традиционном опросе социолог использует собранную эмпирическую информацию для проверки своих научных гипотез, то цель экспертного опроса - погрузиться в новое для себя информационное пространство и область деятельности.
Ключевым методологическим звеном экспертного опроса является подбор определенного числа экспертов, исходящий из поставленных задач. Существует два способа определения количества экспертов - статистический и «метод снежного кома». Первый определяется по результатам проверки степени согласованности мнений и их усреднения [5]. Второй способ реализуется в процессе проведения экспертизы. Однако в любом случае численность экспертной группы не может быть значительной из-за объективной ограниченности числа профессионалов-специалистов, которые способны высказывать обоснованное мнение и делать прогнозные оценки. Более того, существует предел, за которым увеличение количества мнений не переходит в расширение необходимой информации. Однако слишком малое количество экспертов чревато преувеличением влияния каждого из них. Считается оптимальным число экспертов от 5-7 до 10-15 человек при очном опросе и от 20 до 80 человек - при заочном [6]. Важными условиями здесь являются учет особенностей проблемной ситуации исследования, организация равноправного участия специалистов и высокий уровень их компетентности [7].
Иными словами, к особенностям экспертного опроса можно отнести небольшое количество опрашиваемых, акцент на новые, специальные знания, уникальность и неповторимость полученных этим методом данных. Специфика этого метода также состоит в том, что он предполагает компетентное участие экспертов в анализе и решении проблем исследования на всех его этапах. При этом их роль как активного участника исследования существенно меняется. Так, на предварительном этапе исследования привлечение экспертов помогает понять особенности предмета исследования, уточнить его противоречия и проблемную ситуацию. Он выступает важным источником неизвестной исследователю информации. На этапе программирования исследования экспертный опрос призван помочь в разработке адекватного, надежного и эффективного инструментария в соответствии с уточняемой программой исследования. Это уточнение, корректировка касается и выявления новых аспектов проблемной ситуации, формулировки цели, задач, гипотез, интерпретации основных терминов и понятий. Иными словами, он выступает как ге-
нератор идей, гипотез и предложений. На этапе обработки и анализа полученной информации помощь экспертов особенно ценна для глубокого объяснения результатов опроса, повышения степени обоснованности выводов и выработки практических рекомендаций. Здесь он выступает в роли арбитра, оценивающего полученные данные, характеристики объекта и предмета исследования, социальные показатели.
Существуют некоторые ограничения в применении разных методик экспертных опросов. Так, важно помнить, что заключения (экспертизы) имеют тенденцию к усреднению мнений, а потому могут оказаться непригодными для оценки нестандартных явлений. Кроме того, эксперты - носители персонального или коллективно выработанного мнения. Но в любом случае это субъективное суждение, которое требует объективизации - проверки и сопоставления с дополнительной информацией, полученной из других источников или другими методами (если они доступны).
При применении экспертного опроса важным нормативным требованием является четкое обоснование необходимости применения этой методики либо той или иной ее разновидности. Кроме того, необходимы тщательный отбор экспертов и оценка степени их компетентности. При этом им должны предоставляться максимально точная и надежная информация и создаваться оптимальные условия для наиболее эффективной, продуктивной работы [8]. Одновременно следует контролировать и учитывать все факторы, способные повлиять на суждения экспертов. Результаты этой экспертизы, все мнения и суждения должны фиксироваться без искажений на протяжении всего исследования, всех его этапов.
Программирование экспертного опроса включает в себя основные структурные элементы программы социологического исследования с выделением целей опроса, построением критериев подбора, с учетом правил организации участия экспертов и критериев оценки данной ими информации. Однако, в отличие от обычной программы, в этом случае не требуется столь же тщательно детализировать этот проект. Достаточно четкости в формулировках изучаемого явления или процесса, отражающих их концепции и гипотетические варианты результатов исследования.
Логика экспертного опроса предполагает в начале работы анализ изучаемой ситуации и обоснование необходимости применения экспертного опроса. Затем следует выбор группы экспертов, оценка их компетентности. Параллельно с этим проводится выбор или разработ-
ка способов измерения экспертных суждений, которые потом позволят перейти к процедуре непосредственного замера и оценки работы экспертов. Лишь после этого происходит анализ полученных данных. В случае необходимости осуществляются: проверка входной информации, используемой для экспертных оценок; изменение состава экспертных групп; повторные замеры с последующим сопоставлением результатов.
Как в любом опросе, главным инструментом сбора мнений специалистов является вопросник в форме анкеты или бланка-вопросника для интервью. Сама процедура экспертного опроса в наиболее общем виде может быть очной или заочной, персональной или групповой. Однако исследовательская практика способствует тому, что постоянно появляются новые разновидности как самих опросов, так и применяемых процедур. В них нередко вводятся игровые и ролевые моменты организации, расширяется круг тем бесед, вводятся новые инструменты (фото-, видеоматериалы и пр.), увеличивается количество экспертов, чему способствует компьютерная обработка данных. Но в любом варианте исследователю приходится тщательно подходить к решению трех методологических проблем, касающихся подбора экспертов, оптимальной организации их деятельности и глубокого анализа полученных суждений.
Практика показывает, что неупорядоченный, произвольный опрос экспертов резко снижает качество, надежность оценок и нередко искажает данные. Поэтому существует проблема организации работы экспертов для повышения степени надежности их оценок. Это стало особенно важным в последние десятилетия, когда заметно возросла роль коллективных исследований. Повышение надежности прогнозов группового опроса экспертов является одной из ключевых методических задач. Однако генерирование качественно новых идей чаще всего осуществляется с помощью индивидуальных методик. Вместе с тем индивидуальные экспертные оценки имеют существенные ограничения по возможностям отдельного эксперта в сфере прогнозирования, так как достоинств профессионала (накопленных знаний, опыта, определенного стандарта мышления) может быть недостаточно для того, чтобы он смог преодолеть «груз прошлого», увидеть за привычными тенденциями необходимость качественных изменений в объекте исследования [9].
Групповая работа экспертов помогает совместно преодолевать этот недостаток. В ее результате происходит не просто «усредненное» мнение группы специалистов. Наблюдается
процесс объективизации субъективных оценок, что заметно повышает надежность прогноза [10]. Характерно, что групповое обсуждение научных проблем наиболее эффективно, если предметом являются выдвинутые ранее в индивидуальном порядке идеи, гипотезы, концепции. Так, индивидуальные и коллективные экспертные оценки сливаются в единую систему методов диагностики и прогнозирования.
Постепенно появились наработки различных методов подбора экспертов. Самым простым является документальный подбор экспертов на основе социально-демографических данных, например, для уточнения веера мнений различных групп населения или работников по какому-либо вопросу [11]. Достаточно часто используется также экспериментальный подбор экспертов, отталкиваясь от результатов испытания, тестирования, по результатам прежней экспертной деятельности. Достаточно распространен при подборе экспертов метод их самооценки, когда они сами оценивают свои знания, опыт и способности, которые потом индексируются с помощью ранговой шкалы.
При формировании группы экспертов применяется метод коллективной оценки в ситуации их взаимного знания друг друга (как специалистов). Этот способ основан на оценках личностных и межличностных характеристик путем взаимного опроса членов экспертной группы, которые оценивают поведение друг друга в значимых ситуациях общения и совместной деятельности. Кроме того, этот метод применяется и как самостоятельный способ, например, при подборе, аттестации руководителей подразделений предприятий как дополнение к традиционным средствам их оценки [12]. Эта технология предполагает разработку списка личностных и межличностных характеристик, шкалу их оценки, испытание методики, анонимность опроса [13 с. 101-102]. Его основа - конкретные нормативные характеристики профессии, позволяющие подбирать, разрабатывать и адаптировать методы и процедуры отбора и проводить диагностику на соответствие конкретной профессиональной деятельности: 1) социальные - функции, задачи, цели; 2) операциональные - точность исполнения и временные, пространственные, логические характеристики; 3) организационные.
Экспертная внутригрупповая взаимооценка практически всегда сочетается с выявлением самооценки индивида по тому же набору характеристик, что позволяет получать данные о соотношении оценки, данной ему другими членами группы, и самооценки. Процесс профессионального отбора может проводить-
ся комплексом тестов аппаратурных, бланковых и опросных методов, а также с помощью эксперимента имитационного, воспроизводящего фрагменты, ситуации и этапы реальной деятельности профессиональной, при строгой регистрации визуально наблюдаемых и фиксируемых показателей функционального состояния человека, мотивационно-эмоцио-нальных проявлений, показателей продуктивности и успешности его работы [14, с. 46, 262]. Основными критериями выбора экспертов являются такие характеристики, как уровень теоретической подготовки, грамотности, компетентности, эрудиции, принципиальности, творчества, интуиции, предикативности, независимости, конструктивности, самокритичности, а также степень заинтересованности, объективности и коммуникативности, умения работать в команде.
Серьезной проблемой экспертного опроса является валидность экспертных оценок. Ва-лидность - это совпадение того, что говорит эксперт, с тем, о чем его спрашивают. Идентификация суждения с его источником - основа доверия, которое заслуживают суждения экспертов. Она зависит от компетентности экспертов, трудности решаемой задачи и оптимальной организации опроса. Ошибки и промахи исследователя здесь способны стать барьером на пути раскрытия потенциала эксперта. Так, при очном персональном интервьюировании присутствие третьего лица в ситуации опроса выступает серьезной помехой для получения глубоких и исчерпывающих ответов. Если речь идет об очном групповом интервью, то для успешного и эффективного взаимодействия экспертов важно, чтобы они не были близко знакомы, чтобы среди них не было априорного доминанта - лидера, чтобы они были примерно одного ранга. При этом важно учитывать одну закономерность - чем выше самооценка компетентности специалиста, тем более устойчивы его мнение и суждения.
Опыт показывает, что часто при групповой экспертизе происходит смещение суждений и оценок в направлении к нейтральности, усред-ненности. Причем это центростремительное давление может возникать как при очном, так и при заочном взаимодействии экспертов. Это вызывает необходимость корректировки сбора экспертной информации с помощью индивидуальной обратной связи качественными методами. Еще одной проблемой групповой экспертизы может стать стремление отдельных экспертов к неоправданному доминированию, что способно провоцировать конфликтные ситуации, серьезно снижающие эффективность
работы экспертов. Поэтому в групповую экспертизу рекомендуется не включать индивидов с явными лидерскими ориентациями.
На этапе начала работы экспертов, особенно когда объект исследования мало известен, целесообразно применять индивидуальную форму диагностики и поддерживать информационную изоляцию экспертов, дабы их первые, порой незрелые мнения не воспринимались как подсказка и не вызвали искаженного представления об объекте, предмете или ситуации исследования. Можно согласиться с В. И. До-бреньковым и А. И. Кравченко, что достоверность экспертных оценок повышается за счет правильной формализации исходной информации, корректного подбора экспертов, соблюдения принципов и процедур экспертного опроса и учета индивидуальных качеств эксперта, к которым относятся профессиональные знания, практический опыт, стаж в конкретной сфере деятельности и др. [15, с. 498-502]
Существует много разновидностей методик проведения индивидуального (например, метод «индивидуального блокнота») и группового экспертного опроса: «мозговая атака (штурм)», метод «6 шляп», метод Дельфи, метод «коллективного блокнота («банка» идей)», метод прогнозных сценариев и пр. Каждый из них обладает своим потенциалом, своими преимуществами и ограничениями. Однако их реализация часто сопряжена с определенными трудностями и ошибками, которые возможны на каждом этапе экспертизы. Среди наиболее часто встречающихся - отсутствие разработанной программы экспертизы, нечеткость в определении ее целей. В результате этого нередко складывается ситуация, когда технология получения экспертных оценок не соответствует их возможностям. И само использование экспертов нецелесообразно ввиду возможности получения информации иным, более простым методом.
Нередкими являются и ошибки в тщательности и обоснованности подбора экспертов, односторонности оценок их компетентности, появлении среди них случайных индивидуумов. Часто социологи сталкиваются с низкой степенью заинтересованности отобранных экспертов, отсутствием у них объективности. Подчас ошибки встречаются и на этапе разработки инструментария экспертизы, когда он не апробирован, и обнаруживаются не точно, не корректно сформулированные вопросы, что провоцирует «неответы» экспертов.
В зависимости от цели и задач экспертного опроса, выбранного и обоснованного способа измерения в ходе обработки полученных дан-
ных на основе попарного сравнения оценок [16, с. 52-55] целесообразно сформировать обобщенное представление об объекте исследования, выявить степень согласованности мнений экспертов, выделить существующие взаимозависимости и оценить надежность результатов. Но на этом этапе порой наблюдается значительный разброс мнений, их разнородность, что вызывает трудности их сопоставления и интерпретации. Если в экспертизе доминируют количественные показатели, но мало аргументации, то средние значения могут быть искажены, сдвинуты, и тогда возникают проблемы с объяснением и достоверностью результатов. Искажения и нерепрезентативность полученных экспертных данных также нередко возникают из-за ускоренного, поверхностного экспертного анализа, особенно если он не сопрягается с другими объективными данными из других источников.
Таким образом, экспертный опрос - достаточно сложный как с методологической, так и с методической точки зрения исследовательский процесс. Социолог здесь часто сталкивается с риском получения намеренно искажаемых данных, чрезмерным влиянием экспертов и иными проблемами. Но преимущества данного метода заключаются в возможности получения новой достоверной информации, глубокой интерпретации, объяснения, прогнозирования изучаемых явлений и процессов, выработки практических рекомендаций с нестандартных позиций. Сегодня этот метод помогает диагностировать, моделировать, проектировать и прогнозировать состояние реальных объектов и процессов, включая процессы аттестации работников. Более того, с его помощью можно оценивать социальные последствия реализации проектов и рекомендаций, управленческих решений. Эта широта исследовательских функций способствует популярности и развитию метода экспертных опросов в социологии.
Список литературы
1. Кузьменко Т. В. Экспертный опрос как основа принятия управленческих решений // Социологический альманах. 2017. № 8. С. 434-443.
2. Масленников Е. В. Метод интеграции концепций экспертов в социологическом исследовании (Выявление, оценка и обобщение эмпирического знания). М. : Изд-во Московского ун-та, 1992. 88 с.
3. Хлебович Д. И. Экспертный опрос как инструмент исследования проблем высшего профессионального образования: предпосылки и практика использования // Известия Иркутской государственной экономической академии. 2013. № 6 (92). С. 12-20.
4. Экспертные оценки в социологических исследованиях / С. Б. Крымский, Б. Б. Жилин, В. И. Паниот-то [и др.] ; отв. ред. С. Б. Крымский ; АН УССР, Ин-т философии. Киев : Наукова думка, 1990. 320 с.
5. Бешелев С. Д., Гурвич Ф. Г. Математико-статистиче-ские методы экспертных оценок. 2-е изд., перераб. и доп. М. : Статистика, 1980. 263 с.
6. Нечаев В. С., Чудинова И. Э., Нисан Б. А. К вопросу об экспертной оценке организационных аспектов государственно-частного партнерства в здравоохранении // Социология медицины. 2012. № 1 (20). С. 21-23.
7. Эйтингон В. Н., Кравец М. А., Панкратова Н. П. Методы организации экспертизы и обработки экспертных оценок в менеджменте : учеб.-метод. пособие. Воронеж : Изд-во ВГУ 2004. 44 с.
8. Андрианова Н. А. Структура и технологии формирования имиджа Краснодарского края (по материалам экспертного опроса) // Вестник Волгоградского государственного университета. Серия 4. История. Регионоведение. Международные отношения. 2008. № 2 (14). С. 155-161.
9. Ельмеев В. Я., Овсянников В. Г. Прикладная социология: Очерки методологии. 2-е изд., испр. и доп. СПб. : Изд-во С.-Петербургского государственного ун-та, 1999. 296 с.
10. Кучко Е. Е. Социологическое изучение инноваций // Социологический альманах. 2012. № 3. С. 42-47.
11. Мальцев К. В. Использование методов экспертного опроса в исследовании формирования и развития земельного рынка в России // Научный вестник Уральской академии государственной службы: политология, экономика, социология, право. 2007. № 1. С. 67-70.
12. Фролова И.И. Коррупция в органах власти: результаты экспертного опроса //Актуальные проблемы экономики и права. 2012. № 4. С. 104-107.
13. Голосова Е. С., Кошевой О. С., Сеидов Ш. Г. Организация экспертного опроса с привлечением специалистов органов государственного и муниципального управления // Известия вузов. Поволжский регион. Общественные науки. 2012. № 1 (21). С. 98-107.
14. Словарь практического психолога / сост. С. Ю. Голо -вин. Минск : Харвест, 1998. 800 с.
15. Добреньков В. И., Кравченко А. И. Методы социологического исследования. М. : ИНФРА-М, 2009. 767 с.
16. Орлов А. И. Организационно-экономическое моделирование : учебник : в 3 ч. Ч. 2. Экспертные оценки. М. : Изд-во МГТУ им. Н. Э. Баумана, 2011. 486 с.
Поступила в редакцию 22.08.2022; одобрена после рецензирования 24.08.2022; принята к публикации 29.08.2022 The article was submitted 22.08.2022; approved after reviewing 24.08.2022; accepted for publication 29.08.2022
