CC BY
105
Управление большими системами. Специальный выпуск 44:
«Наукометрия и экспертиза в управлении наукой»
УДК 001 + 519.24 ББК 72
ДВА ТИПА МЕТОДОЛОГИЧЕСКИХ ОШИБОК ПРИ УПРАВЛЕНИИ НАУЧНОЙ ДЕЯТЕЛЬНОСТЬЮ
Орлов А. И.1
(Московский государственный технический университет им. Н. Э. Баумана; Московский физико-технический институт; Группа компаний «Волга-Днепр», Москва)
Попытки административного управления научной деятельностью зачастую опираются на неверные предположения, а потому приносят вред развитию науки. Статья посвящена предварительному обсуждению двух типов методологических ошибок при управлении научной деятельностью. Показан вред методов, использующих число публикаций и цитирований в научных журналах. Продемонстрирована нелепость сложившейся системы научных специальностей.
Ключевые слова: наука, управление, наукометрия, методологические ошибки, цитирование статей, научные специальности.
1. Введение
Наука и научное обслуживание - крупная отрасль народного хозяйства, как по числу работников, так и по потребляемым ресурсам. Вполне естественно, что для разработки и принятия обоснованных решений в области управления научной деятельностью необходимо применение научно обоснованных методов анализа и оценки результатов научной деятельности. Методологические ошибки при выборе таких методов приводят к управленческим решениям, наносящим вред народному хозяйству. В
1 Александр Иванович Орлов, доктор экономических наук, доктор технических наук, кандидат физико-математических наук, профессор ([email protected]).
статье кратко рассмотрены ошибки двух конкретных типов -связанные с принятием решений на основе числа публикаций и цитирований в научных журналах и вытекающие из неадекватной классификации отраслей научной деятельности. Методологических ошибок при управлении научной деятельностью наблюдаем не две, а много больше. Например, целесообразно было бы обсудить систему ученых степеней (в некоторых представленных в настоящем сборнике статьях предлагается увеличить их число), процедуры защиты диссертации, ненужность рецензирования статей для признанных специалистов (для простоты -для докторов наук), организационные аспекты деятельности академий наук и научных обществ (например, выбор академиков докторами наук - как выбирают почетных членов (fellow) в западных научных обществах), и т.д., и т.п. Сколько-нибудь полное обсуждение требует не статьи, а книги. Автору было важно показать, что в рассматриваемой области существует ряд проблем, требующих обсуждения, а отнюдь не только наиболее популярная в настоящее время проблема использования тех или иных наукометрических показателей при оценке результатов научной деятельности.
2. Вред упора на число публикаций и цитирований в научных журналах
Очевидно, что большое значение имеют методы оценивания эффективности той или иной деятельности. В области научноисследовательских работ весьма актуальными являются результаты, полученные В.В. Налимовым в области наукометрии [11] в 1960-х годах (сейчас чаще используют термин «наукометри-ка»). Приведем некоторые соображения в рамках научной школы В.В. Налимова.
Каков путь конкретного научного результата? Обычно он становится достоянием широкой научной общественности при докладе на представительной конференции. Первая публикация - тезисы доклада. (Тезисы, труды, материалы конференций
объединяем термином «тезисы». Хотя многостраничные «труды» - это уже полномасштабные статьи.)
При дальнейшем развитии исследования доклад перерастает в статью, которая публикуется в тематическом сборнике или в журнале. Первый вариант для распространения идей предпочтительнее, поскольку тематический сборник фактически становится коллективной монографией, аккумулирующей в себе основные результаты, полученные группой разработчиков. Например, для статистики нечисловых данных таким сводным изданием стал сборник [1], подготовленный сложившимся к тому времени неформальным коллективом исследователей в этой только что сформировавшейся научной области.
Только для давно развивающихся областей с большим числом исследователей и эффективной административной поддержкой публикации концентрируются в научных журналах, порожденных соответствующей частью научного сообщества.
В нашей стране для прикладной статистики и других статистических методов эта стадия еще не наступила - нет соответствующих журналов, есть только раздел «Математические методы исследования» в журнале «Заводская лаборатория. Диагностика материалов». Тематика журнала в целом, как видно из названия, перпендикулярна рассматриваемой научной области (хотя и имеет с ней непустое пересечение). С момента создания раздела (1962 г.) в этом журнале публикуются основные работы на русском языке по прикладной статистике и другим статистическим методам, к настоящему времени издано около тысячи статей.
Аналогична ситуация с начальным этапом развития научного направления «Экспертные оценки» [16]: сначала тезисы докладов, затем тематические сборники, без заметного влияния статей в научных журналах.
Следующий этап за публикациями в журнале или сборнике
- выпуск монографии, подводящей итоги соответствующего этапа работ. (Хорошая монография - это не механическое объединение отдельных статей (научных результатов), а представление научной общественности направления исследований как
целого.) Затем - создание учебника. Ясно, что на широкое распространение и использование может рассчитывать только то знание, которое включено в учебный процесс и вошло в сознание следующего поколения специалистов.
Отметим, что ссылки на научные публикации даются не только при составлении научных статей, но и при подготовке отчетов, диссертаций, справочников, выполнении прикладных работ, в том числе закрытых. Поэтому учет цитирований в ограниченном списке научных журналов всегда преуменьшает реальное использование конкретной научной публикации.
Заключительный этап - знание становится общеизвестным. Например, в статьях отмечают, что аксиоматическая теория вероятностей построена А.Н. Колмогоровым (сам А.Н. Колмогоров, встречая такую фразу, обычно указывал на нескольких исследователей - акад. С.Н. Бернштейна и др., - которые ранее предложили несколько иные аксиоматические подходы; да и сам он разработал не один, а два аксиоматических подхода - на основе теории меры в 1930-е годы и на основе теории информации в 1960-е годы, но обычно вспоминают и используют только первый из них). С течением времени перестают даже упоминать авторов - используют производные и интегралы, не ссылаясь на Ньютона и Лейбница.
Итак, наиболее естественная цепочка научных публикаций:
- тезисы доклада;
- тематический сборник;
- монография;
- учебник;
- широкое использование.
Обратите внимание - для развития нового направления публикации в научных журналах отнюдь не всегда нужны. Кроме того, принципиально новую работу в устоявшемся научном журнале просто не поместят, поскольку она противоречит традициям журнала (за многочисленными примерами отклонения принципиально новых работ читатели могут обратиться к автору настоящей статьи).
Проанализировав путь конкретного научного результата, видим, что он состоит из этапа первоначального развития, завершающегося книжной публикацией, и этапа зрелости и широкого использования. На втором этапе обычно цитируют монографию, справочник, учебник, а не исходную статью. Очевидно, что с точки зрения общества целесообразно, чтобы первоначальный этап был возможно короче.
На основе сказанного выше весьма странными (и даже вредными с точки зрения развития науки) представляются попытки оценивать научную продуктивность коллективов и отдельных исследований только на основе публикаций в научных журналах. При этом полностью игнорируются материалы конференций, сборники статей, монографии, учебники, т.е. основная (по своему воздействию на развитие науки и техники) масса публикаций. Большое значение материалам конференций как первым публикациям новых идей придают М.М. Деза и Е.И. Деза (см. их статью в настоящем сборнике).
В настоящее время администраторы при оценке и управлении научной деятельностью зачастую используют число публикаций и цитирований в научных журналах. Какой именно индекс цитирования применяется - не столь важно. Важны используемые базы данных, в которых делается упор на статьи в журналах. Например, индекс на основе базы данных Web of Science, в котором вообще не учитываются доклады на конференциях и монографии, а список журналов резко перекошен в сторону англоязычных - большинства российских журналов в нем просто нет. В наукометрической базе данных Scopus учитываются избранные сборники конференций и монографии, но дискриминация отечественных журналов весьма выражена. Особняком стоит Академия Гугл (Google Scholar) - считает все книги и статьи, имеющиеся в Интернет-изданиях. К сожалению, многие ценные издания до сих пор не попадают в Интернет, например, межвузовский сборник научных трудов «Статистические методы оценивания и проверки гипотез» (хотя переводится в США) и Материалы научных чтений памяти К.Э. Циолковского. Отечественный РИНЦ учитывает только статьи в научных
журналах. (На сайте РИНЦ сказано: «Научная электронная библиотека размещает на своей платформе и в Российском индексе научного цитирования непериодические издания: книги (монографии, справочники и словари, учебники и учебные пособия, сборники статей), труды конференций, диссертации и авторефераты диссертаций». Далее разъяснено, что для размещения издательству или автору надо заключить договор (см. http://elibrary.ru/projects/books/book_info.asp). Информация о книгах автора настоящей статьи и их цитировании в настоящее время в РИНЦ отсутствует. Подробный анализ различных индексов дан в ряде статей настоящего сборника.
В отечественной практике оценки и управления научной деятельностью упор зачастую делается на публикации в журналах списка ВАК.
Напомним, еще более 40 лет назад В.В. Налимовым и
З.М. Мульченко [11] было обращено внимание на опасность использования индекса цитирования (импакт-фактора) для оценки деятельности научных организаций и отдельных работников, особенно при принятии решений о финансировании. Много писали об этом и другие исследователи [33].
Бегло обсудим отрицательные эффекты, о которых идет речь. Надо поднять импакт-фактор, чтобы увеличить финансирование? Вот план мероприятий (по аналогии со сбором десятка-другого отзывов на диссертацию и автореферат, которые, как все мы знаем, часто пишет сам соискатель, а затем собирает подписи): вместо одной полноценной статьи делим ее на последовательные кусочки, допускающие дальнейшее развитие, создаем команду «авторов» и рассылаем по журналам, затем путем перекрестных ссылок продолжаем «развитие» положений исходного набора статей.
Целесообразно в первых публикациях допустить неточности, ошибки, недоработки. Тогда появляются основания для публикации следующих статей, улучшающих предыдущие. Например, существование пятого момента случайной величины можно последовательно заменять на существование четвертого, третьего и второго. Или вместо условия дифференцируемости
функции обойтись условием непрерывности. В результате получаем «облако» взаимно ссылающихся статей в связке из нескольких журналов. Главное, не получить слишком рано окончательный результат и тем самым не прекратить поток новых статей. Конечно, надо исключить дословное повторение текстов, воспользовавшись опытом соискателей ученых степеней, в частности, при подготовке отзывов на диссертации и авторефераты. Современная информационная техника облегчает задачу. Если лет двадцать назад надо было перепечатывать текст, вручную вставлять формулы, то сейчас с помощью текстового редактора, Интернета и/или принтера технические сложности снимаются - статьи можно «печь как блины».
Развивая эти вполне естественные для современного «исследователя» мысли, приходим к целесообразности организации «семей», члены которых будут ссылаться друг на друга (и не ссылаться на «чужих»). Можно привести примеры таких квази-мафиозных структур.
Почему пропагандисты индекса цитирования делают упор на журналы? Одна из причин - потому что таким путем оценку научной продуктивности можно проводить путем применения соответствующего программного продукта. Достаточно составить базу данных из списков литературных ссылок в электронных версиях журналов и формально ее обработать. Другая причина - «владельцы» журналов (в частности, редакторы, члены редакционных советов, основные авторы) таким образом закрепляют свои позиции в научном мире.
Ясно, что методологические ошибки - упор на индексы цитирования - приводят к неправильным управленческим решениям (ср. с основными положениями статьи [15]). Не получают адекватной оценки новые научные направления, которые еще не обзавелись своими журналами. Вне оценивания оказываются наиболее ценные результаты, отраженные в монографиях и учебниках. Оценка по импакт-фактору объективно задерживает подготовку книжных изданий - ведь после выхода книги ссылаться будут на нее, а не на предыдущие статьи, а ссылки на
книги не влияют на импакт-фактор журнала. Следовательно, управление наукой на основе числа публикаций в рецензируемых журналах и индексов цитирования объективно замедляет развитие науки, переход полученных результатов в область практического применения.
Еще один эффект, отмеченный в статьях настоящего сборника: ссылки на работы, в которых получены принципиально новые результаты, могут «тонуть» среди ссылок на массы эпигонов. Достаточно пересказать статью предшественника, добавив к ней свою «завитушку» - и готова своя статья, и ссылаться будут зачастую на нее, а не на статью предшественника.
Проиллюстрируем последнее утверждение. В 1970-е годы автор настоящей статьи выяснил, какими средними величинами следует пользоваться, если исходные данные измерены в тех или иных шкалах измерения. Дальнейшее развитие отражено в обзорной статье [2]. К сожалению, стандартный стиль изложения, принятый в этой статье, таков, что среди несколько десятков литературных ссылок совершенно затерялись базовые работы, комментариями к которым являлись остальные. Пришлось в том же номере журнала специально описать основные результаты [13].
В проблеме адекватного использования индексов цитирования есть и сравнительно кратковременные, но весьма существенные факторы. Так, на настоящий момент важно, что в современных условиях отнюдь не все отечественные журналы имеют полноценные электронные версии, не все включены в системы учета и анализа цитирования, в отличие от аналогичных зарубежных изданий. Эти факты подробно обсуждаются в ряде статей настоящего сборника.
Сопоставление с реальностью информации, содержащейся в наукометрических (библиометрических) базах данных, приводит к выводу о явной неполноте указанной информации, по крайней мере в настоящее время. Кратко проанализируем отображение в Академии ГУГЛ и РИНЦ публикаций автора настоящей статьи. Перечень «Основные научные и методические работы А.И. Орлова» - это базовый список публикаций без тезисов, трудов и материалов конференций, резюме докладов на
семинарах, «комментариев» к статьям, диссертаций, авторефератов, отчетов, статей в энциклопедиях, а также без научнопопулярных и научно-организационных статей, отчетов о конференциях, рецензий, статей в газетах, программ учебных курсов и др. На 24 июля 2013 г. этот перечень включает 283 названия научных работ А.И. Орлова: 46 книг и 237 статей
(http://fomm.orlovs.pp.m/viewtopic.php?f=5&t=271). В Академии ГУГЛ (scholar.google.ru/citations) отмечено 142 публикации
А.И. Орлова, 1478 цитирований. Индекс Хирша - 16, не менее десяти раз процитированы 32 работы. Первые пять источников по числу цитирований - книги, шестой - статья (обзор по экспертным оценкам), источники 7-10 - снова книги, т.е. из первых десяти по числу цитирований - девять книг и только одна статья. В РИНЦ (elibrary.ru) отмечены 114 публикаций (только статьи), 890 цитирований, индекс Хирша - 10. Кроме того, автору настоящей статьи видны разнообразные неточности и противоречия в представленной в базах информации.
Для достижения адекватности приводимых библиографических описаний и наукометрических показателей нужно править информацию строчку за строчкой на основе предварительного изучения свойств наукометрических баз данных. Стоит ли тратить на это время?
Ведь основное ясно сразу - в этих базах представлено лишь 40-50% основных публикаций автора настоящей статьи, по крайней мере половины работ нет. И нет никакого желания тратить время на исправление и пополнение баз данных.
Качество информации в наукометрических базах данных обсуждается также в статье Дербенева Н.В. и Толчеева В.О. в настоящем сборнике.
Сказанное объясняет, почему мы присоединяемся к мнению Международного союза математиков, который предостерегает от неправильного использования статистики цитирований [7, 34].
Отметим, что обсуждению вопросов адекватной оценки результатов научной деятельности посвящены многочисленные публикации. Так, дискуссии о проблемах построения рейтингов российских научных журналов посвящен специальный номер
периодического сборника научных трудов «Управление большими системами» [31].
Отметим, что наукометрические базы данных успешно используются при изучении развития науки [11]. При этом на основе анализа ссылок в журнальных статьях можно проследить развитие идей, формирование научных направлений. Однако в настоящей статье мы рассматриваем только один аспект наукометрии, связанный с попытками использовать наукометрические показатели для оценки деятельности научных работников и коллективов и управления [14] ими (например, премирования наиболее «успешных» сотрудников). Как сказано в [11, с.125], «будет катастрофически плохо, если плановые отделы или отделы кадров наших учреждений начнут делать вульгарные оценки по уровню цитируемости».
По нашему мнению, развернутая в последнее время пропаганда использования наукометрических показателей и баз данных, необходимости публикации статей в зарубежных журналах является маркетинговой кампанией определенных коммерческих структур, имеющей целью создание и захват отечественного рынка указанных услуг с целью получения прибыли.
Мы полагаем, что оценка деятельности научных работников и коллективов должна даваться в результате тщательной экспертизы [16] и публичного обсуждения полученных научных результатов. Наукометрические показатели, рассчитанные по числу публикаций и цитирований в научных журналах, могут играть лишь вспомогательную (справочную) роль.
3. Неадекватность сложившейся в нашей стране системы научных специальностей
Используемая в нашей стране система научных специальностей оказывает большое влияние на научную жизнь. В соответствии с ней построена система научных учреждений и журналов, распределяется финансирование, присваиваются научные степени, и т.п. Покажем, что она неадекватна, а потому требует существенной модернизации.
Само по себе введение системы научных специальностей спорно. При защитах диссертаций постоянно приходится сталкиваться с проблемой, в какую клетку (научную специальность) поместить тут или иную работу. Можно предложить отменить эту систему в целом или же ограничиться использованием терминов только верхнего уровня (математика, биология и др.) Однако в настоящей статье, исходя из малых реальных возможностей повлиять на систему, ограничимся демонстрацией неадекватности действующей системы.
Классификация наук закреплена формальными решениями. Например, в нашей стране утвержден список специальностей научных работников. Однако формальные решения могут быть модернизированы. Время от времени это происходит. Например, около 20 лет назад появились новые группы специальностей -социологические и политологические. Однако недостатки действующей системы очевидны. Приведем четыре примера.
Пример 1. Продолжает использоваться термин «физикоматематические науки», хотя его нелепость ясна всем специалистам. Математика относится к формальным наукам, изучает конструкции, созданные мыслью, т.е. находящиеся не в реальном мире, а в идеальном, мысленном. Математика может быть применена в любой сфере деятельности, в любой отрасли народного хозяйства. Например, широко распространен термин «экономико-математические методы и модели», очевидно, относящийся к применению математики в экономике. В то же время физика - одна из областей естествознания, наука, изучающая наиболее общие и фундаментальные закономерности, определяющие структуру и эволюцию материального мира. Термин «физико-математические науки» не более обоснован, чем, например, термины «химико-математические науки» или даже «ветеринарно-социологические науки».
Пример 2. Как известно, статистические методы применялись на практике (и, следовательно, были теоретически разработаны и обоснованы) с древних времен. В Библии Ветхий завет начинается с Пятикнижия Моисеева, и четвертая книга Пятикнижия называется «Числа». Она начинается с описания прове-
денной под руководством Моисея переписи военнообязанных. Со времен библейского Моисея статистика получила значительное развитие (см. определения и научные результаты в учебниках [19, 20]). В частности, к ней относятся и такие сравнительно новые направления, как интеллектуальный анализ данных (data mining), машинное обучение, распознавание образов, извлечение информации. В США в 1971 г. число статистических кафедр в университетах превышало число математических, соответственно и число статистиков было больше числа математиков [10]. Сейчас (2013) в Американском статистической ассоциации -более 18 тыс. членов, в Американском математическом обществе
- около 30 тыс. членов. Таким образом, по численности специалистов «статистика» и «математика» вполне сопоставимы по крайней мере последние 50 лет. Следовательно, в США статистика воспринимается одной из «больших» наук: математика, физика, статистика, химия, биология...
Если бы в России классификация наук соответствовала бы американской, то в составе РАН было бы Отделение статистических наук со своей системой научно-исследовательских учреждений (в частности, включающей наш Институт высоких статистических технологий и эконометрики), системой научных журналов, присуждались бы ученые степени по статистическим наукам и т.п. (подробнее см. проект обустройства (институализации) статистических наук, разработанный в статье [17]).
Совсем не так обстоит дело в нашей стране. В официальной структуре науки статистика упоминается дважды, и оба раза на вторых ролях. Во-первых, как одна из экономических наук (специальность 08.00.12 «Бухгалтерский учет, статистика», присуждаются ученые степени по экономическим наукам). Во-вторых, в названии математической специальности 01.01.05 «Теория вероятностей и математическая статистика» (присуждаются ученые степени по физико-математическим наукам). Все остальные применения статистических методов, в частности, в технических или социологических исследованиях, остаются вне официальной структуры науки.
Классификацию научных специальностей надо менять в соответствии с развитием науки. В частности, выделение статистики как базовой науки, такой как математика и физика, принятое в США, надо перенести в отечественную классификацию.
Пример 3. На знамени научного прогресса второй половины ХХ в. начертано: «Кибернетика». Однако нет в нашей стране докторов и кандидатов кибернетических наук (есть, правда, математическая специальность «Дискретная математика и математическая кибернетика», при защите диссертации присуждается ученая степень по физико-математическим наукам).
Пример 4. Очевидно, что менеджмент (управление людьми) - более широкая сфера деятельности, чем экономика. Управленческие решения необходимо принимать на основе всей совокупности социальных, технологических, экологических, экономических, политических факторов [14]. Между тем в действующей официальной номенклатуре специальностей научных работников (в редакции Приказа Минобрнауки РФ от 11.08.2009 N 294) менеджмент находится внутри экономической специальности 08.00.05 «Экономика и управление народным хозяйством». При этом есть целый ряд технических специальностей, включающих в себя термин «управление», среди которых выделяется специальность 05.13.10 «Управление в социальных и экономических системах» (присуждаются ученые степени по техническим (!) наукам).
Короче, наблюдаем:
1) нелепое объединение математики и физики;
2) два осколка статистики вместо науки «Статистика» верхнего уровня;
3) осколок кибернетики;
4) менеджмент внутри экономики, а не экономика внутри менеджмента.
Приведенные примеры показывают, что действующая официальная номенклатура специальностей научных работников нуждается в модернизации.
В качестве примера применения общих соображений рассмотрим наши предложения [18] по введению новой социологи-
ческой специальности. Часть наших работ относится к достаточно самостоятельной области - математическим методам анализа социологических данных. Основной интерес в ней - к математическим вопросам, социологические постановки служат для постановки математических задач. Эта область относится к математической социологии - научной дисциплине, аналогичной математической экономике, математической физике и др. Автор настоящей статьи работает в социологии (пишет научные статьи) с 1970-х годов по настоящее время. В дальнейших рассуждениях опираемся на опыт журнала «Социология: методология, методы, математическое моделирование» (включен в список ВАК), в редсовет которого автор настоящей статьи входит с момента организации журнала (1991). В журнале опубликованы многочисленные работы, ценные как в теоретическом, так и в практическом плане, описывать которые здесь нет возможности из-за ограниченного объема статьи.
К социологическим наукам близки экономические. Вплоть до того, что на включение в свою сферу маркетинга (изучения предпочтений потребителей) претендуют и те, и другие. Однако у экономистов есть специальность 08.00.13 «Математические и инструментальные методы экономики», а у социологов нет аналогичной специальности, математическая социология не выделена среди социологических наук.
К чему это приводит? В частности, к отсутствию должного внимания к развитию математических методов в социологии, к их вытеснению из перечней секций социологических конференций и конгрессов. В результате падает квалификационный уровень работ. На заседании секции «Измерение в социологии» VI научнопрактической конференции памяти первого декана факультета социологии А.О. Крыштановского «Современная социология — современной России» (1-3 февраля 2012 года) пришлось урезонивать воинствующего невежду, который пытался навязать докладчику свое неправильное понимание проверки значимости при проверке статистических гипотез. Впрочем, и докладчик продемонстрировал непонимание необходимости обязательной проверки значимости различия долей тех или иных значений
признаков при сравнения совокупностей, сказавши: «В журнале «Социология-4М» нас заставили проверить значимость различия долей». К необходимости повышения качества математической составляющей социологических исследований мы старались привлечь внимание в работе [18].
В области социологии мы считаем необходимым усилить внимание к проблемам развития и применения математических методов анализа социологических данных, математического моделирования социальных процессов, короче - к математической социологии. Целесообразно в рамках социологической науки создать специальность «Математические и инструментальные методы социологии», аналогичную экономической специальности «Математические и инструментальные методы экономики».
К математическим методам в социологии относим не только методы анализа числовых и нечисловых социологических данных, но и методы математического моделирования социальных процессов [6, 32].
Под инструментальными методами понимаем прежде всего методы, нацеленные на развитие и применение информационных технологий, включая сетевые (в том числе модели распространения нововведений в сфере информационных и телекоммуникационных технологий [3] и онлайн исследования [12]).
Много интересных работ, относящихся к математической социологии, было выполнено в нашей стране в 70-80-е годы ХХ в. Назовем только некоторые из них. В 1977 г. академический Институт социологических исследований выпустил два сборника научных работ [5, 8]. На основе материалов Всесоюзной научной конференции «Проблемы применения математических методов в социологическом исследовании» издательство «Наука» опубликовала солидный сборник [4]. Хотя прошло уже более 30 лет, материалы этих сборников по-прежнему актуальны. Квалифицированные работы не устаревают. (К сожалению, во многом потому, что их мало читают.) В подтверждение отметим методологическую несостоятельность современных публикаций Росстата по переписям населения по
сравнению с книгой «Числа» Ветхого Завета, в которой рассказано о переписи военнообязанных, проведенной под руководством Моисея. (Методологическая несостоятельность - в указании числа жителей с точностью до 1 человека. Ясно, что в следующую минуту число жителей изменится. Моисей указывал с точностью до 100 военнообязанных (и численность изученной совокупности была на 2 порядка меньше). С разбора методологической несостоятельности современных публикаций Росстата по переписям населения по сравнению с книгой «Числа» Ветхого Завета автор настоящей статьи обычно начинает курсы «Статистики» и «Прикладной статистики».)
По сей день наиболее многоплановой публикацией по методам анализа нечисловых данных является сборник [1] 1985 г., подготовленный совместно академическим Институтом социологии и комиссией «Статистика объектов нечисловой природы» Научного Совета АН СССР по комплексной проблеме «Кибернетика». В настоящее время анализу нечисловых данных посвящены обширные разделы в учебнике по прикладной статистике [20] 2006 г., есть и специальный учебник по нечисловой статистике [19] 2009 г., но сборник 1985 г. по-прежнему актуален и необходим тем, кто хочет разобраться в методах анализа нечисловой (т.е. качественной) информации в социологических исследованиях. Отметим, что именно практические запросы социологов (и специалистов по экспертным оценкам) послужили стимулом для разработки нечисловой статистики [23].
После 1985 г. появились адресованные студентам-социологам учебники и учебные пособия, в частности, книги Ю.Н. Толстовой [27, 28, 30] и Г.Г. Татаровой [25, 26]. Как уже отмечалось, с 1991 г. выпускается журнал «Социология: методология, методы, математическое моделирование» (сокращенно «Социология-4М»). Развитию математических и статистических методов в российской социологии посвящены обзорные работы [21, 29].
Казалось бы, математическая социология развивается нормально. Однако всё заметнее проявляются отрицательные тенденции. Подавляющее большинство социологов остаются неве-
жественными в области методов анализа данных. Проявляется это, например, в преклонении перед давно устаревшим западным статистическим пакетом SPSS (анализу статистических пакетов посвящена статья [22]). Полученные еще в 70-е годы ХХ в. научные результаты остаются неизвестными подавляющему большинству социологов, а потому, естественно, не применяются. Научный инструментарий типичного отечественного социолога зачастую соответствует уровню XIX в. В последнее время даже номинальное признание важности математической социологии в виде организации отдельных секций на социологических конгрессах и конференциях постепенно сходит «на нет». Подробнее эти мысли развиты в нашем выступлении [24] в «Дискуссии о социологии» на сайте Российского общества социологов.
4. Заключение
Статья посвящена предварительному рассмотрению двух типов (из многих, заслуживающих анализа) методологических ошибок при управлении научной деятельностью.
Первый тип методологических ошибок выражается в неоправданном упоре на число публикаций и цитирований в научных журналах при оценивании эффективности научной деятельности исследователей и организаций. Для разработки адекватных методов такой оценки необходимо проследить развитие научных результатов.
Опыт развития ряда научных направлений (например, статистики объектов нечисловой природы, современной теории экспертных оценок) говорит о том, что журнальный этап публикаций результатов не является обязательным. По нашей экспертной оценке, наиболее естественная цепочка развития научного результата такова: тезисы доклада - тематический
сборник - монография - учебник - широкое использование. Обсуждение в рамках неформального научного коллектива, на научных конференциях и в тематических сборниках позволяет
предохранить учебники от включения неапробированных результатов.
Методологически ошибочными являются попытки оценивать научную продуктивность коллективов и отдельных исследований только на основе публикаций в журналах. Весьма важно, что управление наукой на основе числа публикаций в рецензируемых журналах и индексов цитирования объективно замедляет развитие науки, переход полученных научных результатов в область практического применения.
По нашему мнению, оценка деятельности научных работников и коллективов должна даваться в результате тщательной экспертизы [16] и публичного обсуждения полученных научных результатов. Наукометрические показатели, рассчитанные по числу публикаций и цитирований в научных журналах, могут играть лишь вспомогательную (справочную) роль.
Второй тип методологических ошибок реализован в действующей в России официальной номенклатуре специальностей научных работников. В частности, наблюдаем в ней:
1) нелепое объединение математики и физики;
2) два осколка статистики вместо науки «Статистика» верхнего уровня (т.е. уровня математики или биологии);
3) осколок кибернетики при игнорировании кибернетики в целом;
4) нарушение логики построения системы специальностей -менеджмент внутри экономики, а не экономика внутри менеджмента.
Номенклатура специальностей научных работников должна быть либо отменена, либо модернизирована. В качестве примера применения общих соображений обоснованы наши предложения по введению новой социологической специальности.
В области социологии мы считаем необходимым усилить внимание к проблемам развития и применения математических методов анализа социологических данных, математического моделирования социальных процессов, короче - к математической социологии. Для этого целесообразно в рамках социологической науки выделить специальность «Математические и
инструментальные методы социологии», аналогичную экономической специальности «Математические и инструментальные методы экономики».
В нашей стране в 1970-е гг. были получены ценные научные результаты в области математических и инструментальных методов в социологии. Хотя прошло уже более 30 лет, они по-прежнему актуальны. Квалифицированные работы не устаревают.
Однако подавляющее большинство социологов остаются невежественными в области методов анализа данных. Проявляется это, например, в преклонении перед давно устаревшим западным статистическим пакетом SPSS, в котором не отражена по крайней мере половина современных статистических методов. Полученные еще в 1970-е гг. научные результаты остаются неизвестными подавляющему большинству отечественных социологов, а потому, естественно, не применяются. Научный инструментарий типичного социолога зачастую соответствует уровню XIX в. В последнее время даже номинальное признание важности математической социологии в виде организации отдельных секций на социологических конгрессах и конференциях постепенно сходит «на нет». Введение новой специальности «Математические и инструментальные методы социологии» и создание соответствующей институциональной инфраструктуры может исправить положение и вернуть отечественной науке лидирующее положение в этой области.
Литература
1. Анализ нечисловой информации в социологических исследованиях / Под ред. В.Г. Андреенкова, А.И. Орлова, Ю.Н. Толстовой. - М.: Наука, 1985. - 222 с.
2. БАРСКИЙ Б.В., СОКОЛОВ М.В. Средние величины, инвариантные относительно допустимых преобразований шкалы измерения // Заводская лаборатория. Диагностика материалов. - 2006. - Т. 72, №1. - С. 59-66.
3. ДЕЛИТ ТЫН Л.Л. Количественные модели распространения нововведений в сфере информационных и телекоммуникационных технологий. - М.: МГУКИ, 2009. - 106 с.
4. Математические методы в социологическом исследовании / Под ред. Т.В. Рябушкина и др. - М.: Наука, 1981. -335 с.
5. Математические методы и модели в социологии / Под ред.
В.Н. Варыгина. - М.: Институт социологических исследований АН СССР, 1977. - 192 с.
6. Математическое моделирование социальных процессов. Вып. 10 / Под ред. А.П. Михайлова. - М.: КДУ, 2009. -524 с.
7. Международный союз математиков предостерегает от
неправильного использования статистики цитирований // Полит.ру / Наука. - 16 июня 2008. - иЯЪ:
http://www.polit.ru/news/2008/06/16/mathunion/ (дата обращения: 08.01.2013).
8. Методы современной математики и логики в социологических исследованиях / Под ред. Э.П. Андреева. - М.: Институт социологических исследований АН СССР, 1977. - 172 с.
9. МИХАЙЛОВ О.В. Цитируемость ученого: важнейший ли
это критерий качества его научной деятельности? // Informetrics.ru. Электронный журнал. - Статья №1079. -иЯЬ: http://www.informetrics.m/artides/sn.php?id=56
(дата обращения: 08.01.2013).
10. НАЛИМОВ В.В. О преподавании математики экспериментаторам // О преподавании математической статистики экспериментаторам / Препринт Межфакультетской лаборатории статистических методов №17. - М.: Изд-во МГУ им. М.В. Ломоносова, 1971. - С. 5-39.
11. НАЛИМОВ В В., МУЛЬЧЕНКО З.М. Наукометрия. Изучение развития науки как информационного процесса. - М.: Наука, 1969. - 192 с.
12. Онлайн исследования в России 2.0 / Под ред. А.В. Шашкина, И.Ф. Девятко, С.Г. Давыдова. - М.: РИЦ «Северо-Восток»,
2010. - 336 с.
13. ОРЛОВ А.И. Математические методы исследования и теория измерений // Заводская лаборатория. Диагностика материалов. - 2006. - Т. 72, №1. - С. 67-70.
14. ОРЛОВ А.И. Менеджмент: организационно-экономическое моделирование. - Ростов-на-Дону: Феникс, 2009. - 475 с.
15. ОРЛОВ А.И. Методологические ошибки ведут к неправиль-
ным управленческим решениям // Управление большими системами. Вып. 27. - М.: ИПУ РАН, 2009. -
С. 59-65.
16. ОРЛОВ А.И. О развитии экспертных технологий в нашей стране // Заводская лаборатория. Диагностика материалов.
- 2010. - Т. 76, №11. - С. 64-70.
17. ОРЛОВ А.И. О современных проблемах внедрения прикладной статистики и других статистических методов // Заводская лаборатория. Диагностика материалов. - 1992. -Т. 58, №1. - С. 67-74.
18. ОРЛОВ А.И. Об оценке качества процедур анализа данных // Социологические методы в современной исследовательской практике: Сб. статей, посвященный памяти первого декана факультета социологии НИУ ВШЭ А.О. Крыштановского / Отв. ред. и вступит. ст. О.А. Оберемко; НИУ ВШЭ, ИС РАН, РОС. - М.: НИУ ВШЭ, 2011. - С. 7-13.
19. ОРЛОВ А.И. Организационно-экономическое моделирование: учебник: в 3 ч. Ч.1: Нечисловая статистика. - М.: Изд-во МГТУ им. Н.Э. Баумана. 2009. - 541 с.
20. ОРЛОВ А.И. Прикладная статистика. - М.: Экзамен, 2006.
- 671 с.
21. ОРЛОВ А.И. Статистические методы в российской социологии (тридцать лет спустя) // Социология: методология, методы, математические модели. - 2005. - №20. - С. 32-53.
22. ОРЛОВ А.И. Статистические пакеты - инструменты исследователя // Заводская лаборатория. Диагностика материалов. - 2008. - Т. 74, №5. - С. 76-78.
23. ОРЛОВ А.И. Тридцать лет статистики объектов нечисловой природы (обзор) // Заводская лаборатория. Диагностика материалов. - 2009. - Т. 75, №5. - С. 55-64.
24. ОРЛОВ А.И. Черная дыра отечественной социологии // Выступление 09 января 2011 г. в «Дискуссии о социологии» на сайте Российского общества социологов. - URL: http://www.ssa-rss.ru/mdex.php?page_id= 19&id=456
(дата обращения: 08.01.2013).
25. ТАТАРОВА Г.Г. Методология анализа данных в социологии (введение). - М.: NOTA BENE, 1999. - 224 с.
26. ТАТАРОВА Г.Г. Основы типологического анализа в социологических исследованиях. - М.: Издательский дом «Высшее образование и наука», 2007. - 236 с.
27. ТОЛСТОВА Ю.Н. Анализ социологических данных: методология, дескриптивная статистика, изучение связей между номинальными признаками. - М.: Научный мир, 2000. -352 с.
28. ТОЛСТОВА Ю.Н. Измерение в социологии. - М.: Инфра-М, 1998. - 224 с.
29. ТОЛСТОВА Ю.Н. Математические методы в социологии // Социология в России. 2-е изд., перераб. и до-полн. / Под ред. В.А. Ядова. - М.: Издательство Института социологии РАН, 1998. - С. 83-89, 98-103.
30. ТОЛСТОВА Ю.Н. Основы многомерного шкалирования. -М.: Издательство КДУ, 2006. - 160 с.
31. Управление большими системами. Период. сборник трудов. Вып. 27. - М.: ИПУ РАН, 2009. - 324 с. - URL: http://ubs.mtas.ru/archive/search_results_new.php? publication_id=17912 (дата обращения: 08.01.2013).
32. ШВЕДОВСКИЙ В.А. Особенности социолого-
математического моделирования в исследовании социальных процессов. - М.: АПКиППРО, 2009. - 236 с.
33. ЭПШТЕЙН В.Л. О контрпродуктивности использования наукометрического показателя результативности научной деятельности для будущего России // Проблемы управления. - 2007. - №3. - С. 70-72.
34. ADLER R., EWING J. (CHAIR), TAYLOR P. Citation Statistics // A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS) Corrected version, 6/12/08. - Режим доступа: http://www.mathunion.org/fileadmin/IMU/Report/ CitationStatistics.pdf (дата обращения: 08.01.2013). Перевод: АДЛЕР Р., ЭВИНГ ДЖ., ТЕЙЛОР П. Статистики цитирования // Игра в цыфирь, или как теперь оценивают труд ученого (сборник статей о библиометрике). - М.: МЦНМО,
2011. - С. 6-38. - Режим доступа: http://www.mccme.ru/ free-books/bibliometric.pdf (дата обращения: 16.06.2013).
TWO TYPES OF METHODOLOGICAL ERRORS IN RESEARCH MANAGEMENT
Alexander Orlov, Bauman Moscow State Technical University, Moscow Institute of Physics and Technology (State University), Volga-Dnepr Group, Moscow, DSc (economics), DSc (technics), PhD (mathematics), professor ([email protected]).
Abstract: Attempts of research activity administration are often based on wrong assumptions and, therefore, do harm to the development of science. The article is devoted to a preliminary discussion of two types of methodological errors in the management of research activities. We show the damage incurred by the methods based on the publications ’ count and the number of citations in academic journals. We also demonstrate irrationality of the current system of scientific disciplines.
Keywords: science, management, scientometrics, methodological errors, citations of articles, classification of scientific disciplines.
Поступила в редакцию 22.01.2013.
Опубликована 31.07.2013.
