CC BY
53
УДК 021.8 + 025.1 ББК 78.34
МЕТОДОЛОГИЧЕСКИЕ ОШИБКИ ВЕДУТ К НЕПРАВИЛЬНЫМ УПРАВЛЕНЧЕСКИМ РЕШЕНИЯМ
Орлов А. И.1
(Институт высоких статистических технологий и эконометрики Московского государственного технического университета им. Н.Э. Баумана)
Обсуждаются причины методологических ошибок в статье
0. В. Федорца: неадекватность процедуры, критериев оценки, экспертов, алгоритмов расчетов, терминов. Показано, что управление научными организациями на основе импакт-фактора ведет к имитации научной деятельности. Рассмотрены проблемы отбора статей для реферирования.
Ключевые слова: экспертные технологии, рейтинг научного журнала, методологические ошибки, имитация научной деятельности.
1. Введение
В статье [9] О. В. Федорца обсуждается важная практическая задача - выбор совокупности журналов для комплектования фондов ВИНИТИ. Предложен алгоритм ее решения с использованием экспертов.
Каков же результат? В таблице 9 статьи [9] приведен «ТОР-20 научных сериальных изданий». Нелепость этого «ТОР-20» бросается в глаза. Например, в нем указаны издания второстепенных вузов (например, «Известия Томского политехнического университета»), но отсутствует «Вестник МГУ им. М. В. Ло-
1 Орлов Александр Иванович, доктор технических наук, профессор ([email protected]. http://orlovs.pp.ru).
моносова» - общепризнанный лидер среди вузов страны.
Как могла появиться подобная нелепость, дискредитирующая применение экспертных методов?
2. Какова цель экспертизы?
Причина грубой ошибки - в организации процедуры экспертизы. Очевидно, все издания, вошедшие в «ТОР-20», получили максимальную оценку хотя бы у одного из экспертов (вошли в 45,5% из рассмотренных журналов, получивших хотя бы одну высокую оценку). Дальнейший отбор основывался на «обобщенной оценке» - сумме оценок экспертов, отметивших конкретный журнал в своих анкетах. И возникает гипотеза: нелепость «ТОР-20» появилась из-за того, что «Вестник МГУ им. М. В. Ломоносова» издается в виде нескольких десятков серий, и эксперты воспринимали каждую серию как отдельное издание. В то время как «Известия Томского политехнического университета» на серии не делятся, всеохватны по тематике. Стоит Томскому политехническому университету разделить свой журнал на несколько серий - и все они уйдут из начала списка (из «ТОР-20»). Наоборот, стоит потребовать, чтобы эксперты воспринимали «Вестник МГУ им. М. В. Ломоносова» как единое издание, сразу десятки экспертов его высоко оценят, и он войдет в «ТОР-20», рядом с «Докладами РАН».
Итак, «ТОР-20» не отражает реальность и не может быть использован для разработки адекватных управленческих решений. Для чего же предназначена описанная в статье О. В. Федорца экспертная процедура? Если цель - выбор совокупности журналов для комплектования фондов ВИНИТИ, то экспертная процедура нужна не для отбора «наиболее важных» изданий, а для отсеивания аутсайдеров. Очевидно, должна учитываться экономическая составляющая - оправданы ли расходы на приобретение журнала-аутсайдера с точки зрения достижения целей ВИНИТИ (каково соотношение «затраты-результат»)? Было бы естественно поставить задачу: при задан-
ном бюджете обеспечить максимальную информированность. Но ничего подобного в статье нет.
С удивлением констатирую, что цель экспертизы в статье даже не поставлена. Можно сказать, что проведен социологический опрос, анализ результатов которого позволяет составить впечатление о мнениях экспертов.
3. Неадекватность экспертов, алгоритмов расчетов, терминов
Чье же мнение изучалось? Наверно, потребителей информации - читателей изданий ВИНИТИ? Отнюдь нет. Редакторов реферативных журналов. Являются ли они научными работниками? Насколько знакомы с мнениями потребителей? В статье О. В. Федорца [9] ответов на эти вопросы нет. Создается впечатление, что опрашивали не тех, от кого можно было бы получить адекватную информацию. О значимости научных изданий надо спрашивать научных работников - ведущих ученых, сотрудников НИИ, преподавателей вузов, хотя бы тех, кто работает с ВИНИТИ - внештатных референтов.
Свой вклад в нелепость выводов могла внести и процедура обработки данных. Вполне естественно, что свои оценки эксперты дают в порядковой шкале. Но описанная в статье
О. В. Федорца процедура обработки данных полностью противоречит требованиям теории измерений (изложенным в учебнике [3], указанном в списке литературы статьи О. В. Федорца). Выводы должны быть инвариантны относительно допустимых преобразований в порядковой шкале. Следовательно, оцифровка согласно таблицам 2 и 3 [9] недопустима, складывать оценки экспертов нельзя и т.д. Все эти незаконные операции могут привести к неадекватным выводам.
Неадекватные методы анализа данных сочетаются с неадекватной терминологией. «Экспертную классификацию» обычно называют кластеризованной ранжировкой, а термин «классификация» связывают с измерениями по шкале наименований, ибо
термин «классификация» соответствует разбиению на неупорядоченные классы (см. [4]). Впрочем, заранее ясно, что попытка описания на нескольких страницах развитой научно-практической области «экспертные оценки» обречена на неудачу.
4. Управление научными организациями на основе импакт-фактора ведет к имитации научной деятельности
Впрочем, науковедение не менее развито. Удивляет, что автор не использует такую богатую идеями книгу, как «Наукометрия» В. В. Налимова и З. М. Мульченко [2]. Так, еще 40 лет назад было обращено внимание на опасность использования индекса цитирования (импакт-фактора) для оценки деятельности научных организаций и отдельных работников, особенно при принятии решений о финансировании.
Надо поднять импакт-фактор, чтобы увеличить финансирование? Вот план мероприятий (по аналогии со сбором десятка-другого отзывов на диссертацию и автореферат, которые, как все знают, пишет сам соискатель): вместо одной полноценной статьи делим ее на последовательные кусочки, допускающие дальнейшее развитие, создаем команду «авторов» и рассылаем по журналам, затем перекрестно продолжаем «развитие» положений исходного набора статей. В результате получаем «облако» взаимно ссылающихся статей в связке из нескольких журналов. Главное, не получить слишком рано окончательный результат и тем самым не прекратить поток новых статей. Конечно, надо исключить дословное повторение текстов, воспользовавшись опытом соискателей ученых степеней при подготовке отзывов на диссертации и авторефераты. Современная информационная техника облегчает задачу. Если лет двадцать назад надо было перепечатывать текст, вставлять формулы, то сейчас с помощью текстового редактора и принтера технические сложности снимаются.
5. Заключительные замечания
Самое трудное - отличить научную деятельность от ее имитации. Наводит на грустные размышления тот факт, что с начала 1990-х гг. число научных работников в РФ сократилось в несколько раз, статей печатается примерно столько же, а число докторских диссертаций растет.
С отбором статей для реферирования много проблем. Вот два сюжета.
Один из наиболее известных научных результатов ХХ в. -критерий Колмогорова. Напечатана статья [9] была на итальянском языке в малоизвестном журнале страховщиков. Интересно, была бы она вообще прореферирована в ВИНИТИ в современных условиях?
Легко ли отличить научные издания от научно-популярных, учебники от монографий? Мой личный опыт показывает, что границы зыбки и во многом зависят от организационной ситуации. Например, статья [5] в журнале «Наука и жизнь» - основная моя методологическая статья по теории нечеткости, а первая российская монография по этой теории [6] вышла в научнопопулярной серии «Математика, кибернетика» издательства «Знание». В то же время обладающая всеми атрибутами «научности» статья [7] - явно научно-популярная, поскольку содержит описание ранее полученных результатов. Во многом совпадающие по содержанию книги [8] и [1] имеют разный статус: первая из них - научное издание, вторая - учебник для вузов. Думаю, что коллеги приведут много похожих примеров.
Каков итог? Задача выбора совокупности журналов для комплектования фондов ВИНИТИ объективно сложна. Она должна решаться адекватными научно обоснованными методами.
Литература
1. КОЛОБОВ А. А., ОМЕЛЬЧЕНКО И. Н., ОРЛОВ А. И. Менеджмент высоких технологий. Интегрированные произ-
водственно-корпоративные структуры: организация, экономика, управление, проектирование, эффективность, устойчивость. - М.: Экзамен, 2008. - 621 с.
2. НАЛИМОВ В. В., МУЛЬЧЕНКО З. М. Наукометрия. Изучение развития науки как информационного процесса. - М.: Наука, 1969. - 192 с.
3. ОРЛОВ А. И. Теория принятия решений. - М.: Экзамен, 2006. - 573 с.
4. ОРЛОВ А. И. Прикладная статистика. - М.: Экзамен, 2006. - 671 с.
5. ОРЛОВ А. И. Математика нечеткости // Наука и жизнь. -1982. - №7. - C. 60-67.
6. ОРЛОВ А. И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980. - 64 с.
7. ОРЛОВ А. И. Теория нечеткости и случайные множества // Математическое моделирование в психологии / Вопросы кибернетики. Вып.50. - М.: Научный Совет АН СССР по комплексной проблеме "Кибернетика", 1979. - С.35-43.
8. Проектирование интегрированных производственно- корпоративных структур: эффективность, организация,
управление / С. Н. Анисимов, А. А. Колобов, И. Н. Омельченко, А. И. Орлов, А. М. Иванилова, С. В. Краснов; Под ред. А. А. Колобова, А. И. Орлова. Научное издание. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2006. - 728 с.
9. ФЕДОРЕЦ О. В. Коллективная экспертиза научных журналов: методика агрегирования экспертных оценок и построения рейтинга // Управление большими системами. -2009. - Выпуск 27. - С. 12 - 35.
10. KOLMOGOROV A. N. Sulla determinazione empirica di una legge di distribuzione. - G. Inst. Ital. attuar. - 1933. - Vol. 4, №1. - P.83-91.
METHODOLOGICAL ERRORS LEAD TO INCORRECT ADMINISTRATIVE DECISIONS
Alexander Ivanovich Orlov, Institute of High Statistical Technologies, Bauman Moscow State Technical University, Dr. Sc., professor ([email protected], http://orlovs.pp.ru).
Abstract: The reasons of methodological errors in O. V. Fedorets' article are discussed: inadequacy of procedure, evaluation criteria, experts, algorithms of calculations, terms. It is shown that basing management of scientific organizations on impact factor value leads to imitation of scientific activity. Problems of articles selection for peer reviews are considered.
Keywords: expert technologies, rating of scientific journals, methodological errors, imitation of scientific activity.
