CC BY
58
ТВОРЧЕСТВО МОЛОДЫХ УЧЕНЫХ
113
Коростелева О.Н.
ОППОНИРОВАНИЕ ДИССЕРТАЦИЙ КАК СТАДИЯ ЭКСПЕРТИЗЫ НАУЧНОЙ РАБОТЫ: СТАТИСТИЧЕСКИЙ АНАЛИЗ
Аннотация. В статье на базе выборок авторефератов диссертаций анализируются связи и взаимодействие российских научных центров через аффилированность соискателя и официальных оппонентов для работ по экономическим специальностям. Рассматривается объективность экспертизы диссертационных исследований с точки зрения статистической оценки. Акцентируется внимание на географической близости соискателя и официальных оппонентов. Указаны проблемы, препятствующие независимости экспертизы научных работ. Предложены подходы к повышению качества экспертизы диссертаций, усилению связей между научными школами различных регионов Российской Федерации.
Ключевые слова. Объективность экспертизы, взаимосвязь научных центров, независимость официальных оппонентов, качество экспертизы диссертаций.
Korosteleva O.N.
THE OPPONENCY OF THESIS RESEARCHES AS A STAGE OF EXPERT EXAMINATION OF THE RESEARCH: STATISTICAL ANALYSIS
Abstract. In the article on the basis of series of synopsis of a thesis there is the analysis of the relations and collaborations of Russian scientific centers through affiliation of a candidate and official opponents of thesis researches on economic specialties. The objectivity of the expert examination of thesis researches is considered in the contest of statistical analysis. The attention is payed to geographic proximity of a candidate and official opponents. Problems, standing in the way of the independence of the expert examination of thesis researches, are mentioned. Approaches to quality improvement of expert examinations of researches, strengthening of relations between scientific schools of different regions of Russian Federation are suggested.
Keywords. Thesis researches, expert examination, statistical analysis, problems and quality improvement of expert examinations of researches.
Д Д Д
Оценка научной деятельности - одна из актуальнейших и, в то же время, труднейших задач. В современных условиях для ее решения все чаще применяются наукометрические показатели: индекс Хирша, база РИНЦ, импакт-фактор и другие [3]. Однако наукометрический подход, по нашему мнению, должен включать в себя также и статистическую оценку объективности экспертизы диссертационных исследований. Целью данной статьи является оценка объективности официального оппонирования с позиций сетевого взаимодействия научных центров различных регионов России: анализ того, как функциониру-
ГРНТИ 06.56.21 © Коростелева О.Н., 2015
Ольга Николаевна Коростелева - аспирант Санкт-Петербургского государственного экономического университета.
Контактные данные для связи с автором: 191023, Санкт-Петербург, Садовая ул., д. 21 (Russia, St. Petersburg, Sadovaya str., 21). Тел.: 8 (812) 453-11-76. E-mail: olnikol67@mail.ru.
Публикуется по рекомендации член-корр. РАН И.И. Елисеевой.
Статья поступила в редакцию 11.09.2015 г.
Для ссылок: Коростелева О.Н. Оппонирование диссертаций как стадия экспертизы научной работы: статистический анализ // Известия Санкт-Петербургского государственного экономического университета. 2015. № 5 (95). С. 113-117.
114
Коростелева О.Н.
ют разные научные центры во взаимодействии друг с другом или изолированно друг от друга, способствует ли это объективности оценки диссертационных исследований или же, наоборот, снижает ее. Методология данного исследования основана на анализе связей между соискателем научной степени, как представителем научного центра, где выполнялась работа, и официальными оппонентами диссертационной работы, как представителями центров, ведущих научную работу в данной области.
Рассматривая защиту кандидатской диссертации как процесс взаимодействия различных научных центров (через сотрудничество соискателя научной степени и оппонентов) можно оценить географическую близость этих центров. Идеальной можно считать ситуацию, когда география центров не влияет на уровень их взаимосвязи, то есть оказывается случайной, без видимых предпочтений. Для проведения исследования было выбрано случайным образом 300 авторефератов кандидатских диссертаций по различным экономическим специальностям за двенадцать лет в период с 2002 года по сентябрь 2013 года (до выхода постановления Правительства РФ № 842 «О порядке присуждения ученых степеней») и 150 авторефератов в период с октября 2013 года по 2015 год - после выхода указанного постановления.
По первой выборке было выявлено, что более чем в половине случаев (53%) автор и первый оппонент из одного города, в 30% из них автор и первый оппонент из одного ВУЗа; автор и первый оппонент из одного федерального округа, но из разных городов -17%; автор и первый оппонент из разных федеральных округов в 30% от общего количества работ. Похожая картина складывалась и в отношении вторых оппонентов: автор и второй оппонент из одного города - 61%, из них из одного ВУЗа - 25%; автор и второй оппонент из одного федерального округа, но из разных городов в 17% случаев; автор и второй оппонент из разных федеральных округов - в 22% из общего числа рассмотренных работ.
Динамика доли диссертационных работ с оппонентами из одного города в общем числе оппонентов следующая: в период с 2002 года по 2006 год такие работы составляют 8%; с 2007 года по 2009 год - 25%; с 2010 года по 2011 год - 38%; с 2012 года по сентябрь 2013 года - 29%. Таким образом, очевидна тенденция увеличения числа оппонентов из одного города, что может негативно, по мнению автора, влиять на качество научных работ. Этот факт также указывает на наличие тенденции к сокращению связей между различными научными центрами.
Для обработки полученных данных были введены обозначения: a1 - автор и первый оппонент из одного города; a2 - автор и первый оппонент из одного федерального округа, но из разных городов; а3 - автор и первый оппонент из разных федеральных округов; bl - автор и второй оппонент из одного города; b2 - автор и второй оппонент из одного федерального округа, но из разных городов; b3 - автор и второй оппонент из разных федеральных округов. Нас будет интересовать количество диссертаций при определенном сочетании параметров индексации, например, количество работ, обладающих одновременно индексами (ai ; bi). Построим таблицы сопряженности и на их основе определим статистические параметры распределения для анализа связей между величинами (а, ; bj).
Таблица 1 указывает на сопряжённость по параметрам абсолютных фактических частот щ для анализа связи между удаленностью первого и второго официальных оппонентов (в верхнем углу клеток таблицы показаны частоты, соответствующие гипотезе о независимости величин а, и bj). С помощью этой таблицы оценим статистическую значимость связи а, и bj. Необходимо оценить: насколько существенно различие между фактическими и теоретическими частотами. Для оценки этого, как принято, используем критерий X [1, 2]. По данным таблицы 1 значение критерия равно: ^=128,666, при этом Х2табл=9,49. Поскольку фактическое значение критерия превышает табличное, можно сделать вывод о наличии связи между признаками, а именно «автором и первым оппонентом» и «автором и вторым оппонентом».
Таблица i
Характеристика связи между удаленностью первого и второго оппонентов
(первая выборка)
bi b2 Ьз Итого
ai 131 96 16 27 11 35 158
а2 17 31 27 9 8 12 52
аз 33 54 9 16 48 20 90
Итого 181 52 67 300
ТВОРЧЕСТВО МОЛОДЫХ УЧЕНЫХ
115
С содержательной точки зрения, это означает, что географический фактор действует на обоих оппонентов в близкой мере. Это указывает на наличие научных центров, не имеющих развитых связей с другими центрами, удаленными от данного. Рассчитанное значение статистикиX позволяет перейти к изучению тесноты связи с помощью коэффициентов взаимной сопряженности Пирсона и Чупрова. Это позволяет оценить силу изучаемой связи [1]. Коэффициент Пирсона в данном случае равен 0,547. Более строгую оценку дает коэффициент Чупрова, который равен 0,462. По полученным значениям коэффициентов взаимной сопряженности Пирсона и Чупрова можно сделать вывод о том, что зависимость между признаками, положенными в основу группировки в табл. 1, довольно тесная.
Выполним более тонкий анализ выявленной зависимости. Для этого проведем декомпозицию, то есть разложим величину X на несколько слагаемых. Это разложение характеризует связь между определенными значениями a и bj. Согласно [2], число таких таблиц равно числу степеней свободы для критерияX при его вычислении по исходной таблице:
df = 4
х 2 = Z xk . (*)
k = 1
Формула (*) позволяет измерить вклад статистически значимых локальных связей в общее значение X'. Это равенство может выполняться приближённо, а разница между левой и правой частями выражения (*) будет зависеть от способа разбиения таблицы сопряженности. Разложение X на аддитивные компоненты Xk предполагает выполнение определенных правил построения компонентных таблиц, хотя и не определяет это разложение единственным образом [2]:
1. Каждая из клеточных частот исходной таблицы должна встречаться как клеточная частота только в одной из компонентных таблиц.
2. Каждая маргинальная частота исходной таблицы должна встречаться в одной из компонентных таблиц как частота определенного типа - либо как клеточная, либо как маргинальная.
3. Каждая частота, которая содержится в одной из компонентных таблиц, но которой нет в исходной таблице, должна встречаться в другой компонентной таблице как частота другого типа, а именно, как клеточная, если была маргинальной, или наоборот - как маргинальная, если была клеточной.
Следуя этим правилам, получим разбиение таблицы 1 на компонентные таблицы (табл. 2).
Таблица 2
Варианты декомпозиции исходной таблицы
bj b2+b3 Итого
aj 131 27 158
a2+a3 50 92 142
Итого 181 119 300
А.
bj b2+b3 Итого
a2 17 35 52
a3 33 57 90
Итого 50 92 142
С.
b2 Ьз Итого
aj 16 11 27
a2+a3 36 56 92
Итого 52 67 119
В.
b2 Ьз Итого
a2 27 8 35
аз 9 48 57
Итого 36 56 92
D.
По данным компонент каждого из вариантов таблицы 2 (А, В, С, D), получим, что значения Xk равны 71,1; 3,438; 0,209; 34,268, соответственно. Тогда, согласно формуле (*), получим, что X в целом равно 109,015, что соответствует свойству аддитивности статистики X. Исходя из анализа полученного разложения, локальная связь между aj и b является явно преимущественной. Значение X;=71,1, что составляет 65,22% от общего значения X2. При этом значимость выделенной локальной связи сочетается с её высокой информативностью.
Такой же анализ был проведен и по второй выборке - ста пятидесяти авторефератам диссертационных работ, защиты по которым состоялись после выхода постановления Правительства РФ № 842 от 24.09.13 г. Были получены следующие результаты: автор и первый оппонент из одного города -в 35% случаев (заметим, что имеется 1 работа, в которой автор и первый оппонент из одного ВУЗа);
116
Коростелева О.Н.
автор и первый оппонент из одного федерального округа, но из разных городов - 23%; автор и первый оппонент из разных федеральных округов - 42% всех работ. Далее, сочетание «автор и второй оппонент из одного города» встречается в 43% случаев (обратим внимание, что в 6-ти работах из них автор и второй оппонент из одного ВУЗа); автор и второй оппонент из одного федерального округа, но из разных городов - 27%; автор и второй оппонент из разных федеральных округов - в 30% от общего количества работ.
Выполним со второй выборкой те же действия, что и с первой (таблица 3).
Таблица 3
Характеристика связи между удаленностью первого и второго оппонентов
(вторая выборка)
bj b2 Ьз Итого
aj 23 32 14 8 16 13 53
a2 15 12 9 12 10 10 34
аз 27 21 17 20 19 22 63
Итого 65 40 45 150
По данным таблицы 3 значение критерия X равно 10,7753. Табличное значение критерия - 9,49. Следовательно, опять можно сделать вывод о наличии связи между признаками. При этом следует отметить, что значение критерия X стало значительно меньше, чем полученное по данным до выхода Постановления. Таким образом, можно констатировать факт, что эффект от данного Постановления есть. Однако сохраняется географическая зависимость удаленности соискателя научной степени и оппонентов. Интенсивность связи существенно снизилась. Это показывают коэффициенты взаимной сопряженности Пирсона и Чупрова. Коэффициент Пирсона равен 0,2589. Коэффициент Чупрова равен 0,1895. По полученным значениям можно сделать вывод о том, что зависимость между признаками, положенными в основу группировки в таблице 3, слабая.
Декомпозиция х2по данным второй выборки подтвердила статистически значимую связь между принадлежностью обоих оппонентов к одному и тому же географическому центру. Результаты декомпозиции X по второй выборке следующие:
df = 4
X 2 = Z X 2 = 9,0808+0,8994+0,0377+0,277=10,2947.
k = 1
Исходя из анализа полученного разложения, можно заметить, что локальная связь «первый и второй оппонент из одного города» является явно преимущественной. Это, прежде всего, можно обосновать тем, что значение 9,0808 является единственным значением из четырех слагаемых, которое не отвергает гипотезу о наличии частичной связи (а1 ; Ь1), и, кроме того, это значение составляет 84,25% от общего значения X'. При этом очевидная значимость выделенной локальной связи сочетается с её высокой информативностью.
Проведенный анализ позволяет сделать следующие выводы. Прежде всего, Постановлением Правительства РФ № 842 от 24.09.13 г. запрещено участие в оппонировании лиц из одной организации. Это условие нацелено на получение более беспристрастных экспертиз научной работы, поскольку, если оба оппонента будут представлять одну организацию, то, скорее всего, они будут солидарны в своем мнении. Таких оппонентов можно рассматривать как зависимых. Полученные результаты показали то, что после выхода Постановления № 842 повысилась независимость экспертизы со стороны официальных оппонентов.
Представляется, что для улучшения качества диссертационных работ нужны более строгие нормы, обеспечивающие большую независимость оппонентов и, как следствие, более разностороннюю и объективную экспертизу диссертаций. Выполненный анализ показал, что основная доля оппонентов по рассмотренным работам до сентября 2013 года - из одного города. В этом случае наличие связи меж-
ТВОРЧЕСТВО МОЛОДЫХ УЧЕНЫХ
117
ду оппонентами не вызывает сомнения и их, по мнению автора, следует также считать зависимыми. Хотя эта ситуация и не противоречит принятому в 2013 году постановлению «О порядке присуждения ученых степеней», очевидно, что, если бы оппоненты были из разных городов, это позволило бы обеспечить более объективные оценки научных работ, расширение научных связей и укрепление их между регионами. Ясно также, что это свидетельствует о неразвитости связей между различными научными центрами.
После принятия постановления Правительства РФ от 24 сентября 2013 года № 842 «О порядке присуждения ученых степеней» положение с явной географической близостью соискателя и оппонентов заметно улучшилось. Если до сентября 2013 года ситуация «автор и первый оппонент из одного города» встречалась в 53% случаев, то после выхода постановления частота значительно сократилась -до 35%; сочетание «автор и второй оппонент из одного города» изменилось с 60% до 43% случаев. При этом ситуация, когда один из оппонентов связан с соискателем научной степени, сократилась более, чем на 20% (с 69% до 57%).
Выполненное исследование, по мнению автора, позволяет рекомендовать введение ограничений на назначение оппонентов из одного города. Это не только улучшит качество диссертаций за счет исключения предвзятых и субъективных оценок научных работ, но и сформирует и усилит связи между научными школами различных городов и регионов Российской Федерации.
ЛИТЕРАТУРА
1. Громыко Г.Л. Теория статистики. М.: ИНФРА-М, 2005. 476 с.
2. Елисеева И.И., Рукавишников В.О. Логика прикладного статистического анализа. М.: Финансы и статистика, 1982. 193 с.
3. Куракова Н., Цветкова Л., Еремченко О. Наукометрические параметры в российской экономической науке: общее состояние и оценка диссертационных советов // Вопросы экономики. 2013. № 11. С. 129-146.
