CC BY
62
The only option is to implement the doubling of the influx of young people into science every five years to achieve the number of researchers comparable to that in the early nineties of the last century by 2035, i. e. to approach the number of researches per 1 million people, which now is observed in the EU countries. If the adoption of such cardinal measures is postponed until 2020, even forced influx of young people will not help to reach the number of researchers that was in 2011 in 20 years. It is shown that the problem of reproduction of the human resources potential of science in Russia is not as acute as in Ukraine. But it is necessary not only to fix the middle-aged researchers in science for its development, but also to substantially increase the influx of young people. Keywords: Prediction of evolution of number of researchers, age structure of researchers, the preservation of scientific personnel, the economic development of, restoration of personnel capacity.
References
Popovich O. C., Kostritrsa O. P. (2017) Prognozni ocinki evoljuciï vikovoï strukturi i chisel'nosti doslidnikiv v Ukraïni na najblizhche desjatirichchja [Projections are based evolution of the age structure and the number of researchers in the Ukraine in the next decade] // Nauka ta naukoznavstvo [Science and science of science]. № 1. S. 49-60 (in Ukraine).
Popovich A. S., Yashchishina I. V., Onoprienko M. V. (2013) Sravnenie otnosheniya studentov k nauke v dvukli regionakh Ukrainy [Comparison of students' attitudes toward science in two regions of Ukraine] // Sotsiologiya nauki i tekhnologiy [Sociology of science and technology]. T. 4. № 3. S. 99-106 (in Russian).
Baza danikh naselennya Ukraïni [Database in Ukraine]. Koefitsienti smertnosti za stat-tyu ta vikovimi grupami (0,1) URL: http://database.ukrcensus.gov.ua/Mult/Dialog/varval. asp?ma=000_0309&path=../Database/Population/03/02/&lang=l (data obrasheniya 30.09.2016).
Naukova ta innovatsiyna diyal'nist' v Ukraïni: stat. zb. [Scientific and innovative activities in Ukraine] / Derzhkomstat Ukraïni. K., 2011. 2015 (in Ukraine).
Malitskiy B. A. (1979) Formirovanie vozrastnoy struktury nauchnykh kadrov na osnove metoda fazovogo balansa [Formation of the age structure of scientific personnel on the basis of the phase balance method] / B. A. Malitskiy. Kiev, Institut kibernetiki AN USSR (in Russian).
Dobrov G. M. i dr. (1987) Nauchno-tekhnicheskiy potentsial: struktura, dinamika, effektivnost' [Scientific and technical potential: structure, dynamics, efficiency]. K.: Naukova dumka. 347 s. (in Russian).
Elektronnyy resurs: Chislennost' issledovateley (po oblastyam nauki; po vozrastnym gruppam; po uchenym stepenyam; po sub"ektam Rossiyskoy Federatsii) URL: http://www.gks.ru/wps/wcm/ connect/rosstat_main/rosstat/ru/statistics/science_and_innovations/science/# (data obrasheniya: 31.01.2017) (in Russian).
Popovich A. S., Kostritsa E. P. (016) Dinamika vozrastnoy struktury nauchnykh kadrov Ukrainy, Rossii i Belarusi: sravnitel'nyy analiz [Dynamics of the age structure of scientific personnel of Ukraine, Russia and Belarus: comparative analysis] // Institut istorii estestvoznaniya i tekhniki im. S. I. Vavilo-va. Godichnaya nauchnaya konferentsiya. M.: IIET RAN. 780 s. (in Russian).
Ольга Николаевна Коростелева
аспирант, преподаватель кафедры высшей математики, Санкт-Петербургского государственного экономического университета, Санкт-Петербург, Россия; e-mail: olnikol67@mail.ru
УДК 311.4.
Оценка эффективности экспертных групп при проведении экспертизы научно-квалификационных работ
В статье исследуется вопрос об оценке качества работы диссертационных советов. Для получения количественной оценки эффективности экспертизы научно-квалификационной работы (диссертации) диссертационным советом был выполнен анализ процедуры защиты диссертации. Показано, что объективная оценка защищаемой диссертации может быть получена с помощью привлечения трех типов экспертов. Установлено, что эффективность всего процесса экспертизы зависит от того как проходит экспертиза у каждой выделенной группы экспертов, а также от структуры, определяемой различием величин вклада экспертных групп в основной процесс. Предложены оценки эффективности процесса экспертизы, учитывающие структуру привлеченных экспертов.
Предложена методика оценки потенциальной возможности диссертационного совета по проведению экспертизы научно-квалификационных работ, в основу которой положены идеи учета структуры постоянных членов диссертационного совета. Используя методы дискрими-нантного анализа, разработана методика выделения активных экспертов из постоянных членов диссертационного совета, которые проявляют интерес к большинству защищаемых работ и принимают активное участие в обсуждении диссертаций.
Полученная методика была применена к данным ряда диссертационных советов одного из университетов. Выявленный качественный состав диссертационных советов показал, что в некоторых из них количество активных членов является недостаточным для эффективной экспертизы. Получены оценки потенциальных возможностей диссертационных советов, из которых следует, что одна и та же экспертная эффективность диссертационного совета может быть достигнута при участии ограниченного числа экспертов. Количественные оценки потенциальной эффективности существующих диссертационных советов, указывают на возможность сокращения числа постоянных членов диссертационных советов и замены их жюри без снижения общей эффективности оценивания диссертационных работ.
Установлено необходимое число членов жюри, обеспечивающее такую же эффективность проведения процесса экспертизы научно-квалификационной работы, как и классический диссертационный совет.
Ключевые слова: экспертиза, диссертационный совет, научно-квалификационная работа, активные члены совета, структура постоянных членов совета, функция структурных потерь, экспертная эффективность.
Введение
Научно-квалификационные работы в России выполняются в форме диссертаций, которые защищаются на заседаниях диссертационных советов. Процедура защиты диссертации является важным, а в большинстве случаев, заключительным
этапом экспертизы научно-квалификационной работы. Диссертационный совет представляет собой экспертную группу. Объективность оценки научной работы зависит от квалификации членов экспертной группы, которые привлекаются к анализу работы, и от организации процедуры защиты.
В настоящее время оценка качества каждой экспертной группы проводится на основе субъективных оценок других экспертов. Поэтому возникает необходимость использования формальных методов исследования для получения объективных оценок возможностей различных экспертных групп и качества проводимых ими экспертиз.
Рассмотрим организацию экспертизы научно-квалификационной работы диссертационным советом. Анализ процедуры защиты диссертации показывает, что для достижения объективной оценки защищаемой диссертации привлекаются три типа экспертов.
Во-первых, это постоянные эксперты, в число которых входят присутствующие на защите члены совета. Постоянные эксперты играют определяющую роль в на-учно-квалификационной экспертизе. Они регулярно занимаются экспертизой диссертационных работ и имеют большой опыт в данной деятельности. Именно постоянные эксперты несут ответственность за ошибки экспертизы.
Во-вторых, это привлеченные эксперты, к которым следует отнести официальных оппонентов и ведущую организацию. На них возлагается задача объективного изучения текста диссертационной работы и выявления таких особенностей диссертации, которые могут остаться незамеченными при обсуждении работы на заседании диссертационного совета.
В-третьих, это добровольные эксперты, к которым относятся все организации и отдельные лица, давшие письменный отзыв на защищаемую диссертацию. Мнение этих экспертов интересно тем, что они не несут никакой ответственности ни перед диссертационным советом, ни перед диссертантом и могут высказывать независимые оцени! защищаемой работы.
Методика исследования
Для получения количественной оценки эффективности экспертизы научно-квалификационной работы диссертационным советом будем исходить из следующей концепции. Эффективность всего процесса экспертизы, в конечном итоге, зависит от того как протекает экспертиза у каждой выделенной выше группы экспертов. Заметим, что условия, цели и средства проведения экспертизы существенно различаются для каждого типа экспертов. Поэтому суммарные экспертные усилия экспертов (мощность экспертизы) всех типов определяются не только суммарной величиной их вклада, но и с трук турой, определяемой различием величин вклада составляющих экспертных процессов в основной процесс.
Для формального описания процесса экспертизы введем вектор х = (хр х,, х;), где х > О — оценка экспертных усилий ¡-и группы, (/ = 1, 2, 3). Заметим, что оценки экспертных усилий определяются не только числом привлеченных экспертов, но и их экспертной активностью. Методики их вычисления будут рассмотрены ниже.
з
Интенсивность всего процесса экспертизы будет иметь вид 1(х) = ^ х;, а его структура будет определяться структурным вектором '
Очевидно, что окончательный результат зависит как от объемного показателя 1(х), так и от структурного X. Действительно, малое значение доли постоянных экспертов, вызванное, например, их пассивностью, приведет к снижению уровня обсуждения работы на защите и формализации всего процесса экспертизы. Малое количество независимых отзывов указывает на отсутствие достаточной апробации научной работы. Вдобавок официальные отзывы могут носить поверхностный характер, без детального рассмотрения значимости того, что выносится на защиту. Так что, окончательная оценка мощности экспертизы (экспертных усилий, затраченных на анализ диссертации) должна зависеть как от интенсивности процесса экспертизы, так и от его структуры.
Количественную оценку экспертных сил, привлеченных к оценке рассматриваемой диссертационной работы, будем определять по формуле
где <р(А,А*) — функция структурных потерь, а вектор А* = (А/,Я2*, А3*) определяет эталонную структуру процесса экспертизы.
Функцию структурных потерь можно определять, например, в виде
Суть предлагаемого вида функции структурных потерь состоит в том, что все ресурсы делятся на две части. Одна часть имеет эталонную с трук туру и суммируется без потерь, а оставшаяся часть ресурсов суммируется с потерей эффективности, определяемой параметром t.
Идеи учета структуры в интегральных жоп омических показателях высказывались давно. Следует выделить работу доктора экономических наук, профессора И. М. Сыроежина, в которой указывается на необходимость учета структуры экономических показателей [Сыроежин, 1980]. Математическая сторона учета структурных факторов рассмотрена в работах {Савинов, Эйсснер, 1984; Савинов, 1987].
Для определения эталонной структуры будем исходить из некоторых теоретических представлений. Например, можно считать, что вклады постоянных членов совета и привлеченных экспертов должны быть одинаковыми, а вклад добровольных членов должен быть значимо меньше.
Для повышения объективности оцени! результатов будем исходить из того, что получаемые оцени! проводимых экспертиз носят сравнительный характер, и нет объективных критериев их необходимой величины. Поэтому эталонную структуру экспертных сил определим на основе имеющихся статистических данных.
Рассматривая данные по защищаемым диссертациям, найдем математические ожидания М{\) и М(к2) и примем = М(А,) , А* = М(А,) и А^ = 1 - Х\ - А*2.
<p = % + t(\-%) ,Где £=min
, a 0<i<l.
Функцию структурных потерь при таком статистическом определении эталонной структуры можно определить иначе, чем было предложено выше. Примем
<р(к,к ) в виде ^ = ^ + (А1-А1),Где £ = тт
/
В основе предлагаемого вида функции структурных потерь лежат следующие соображения. Как и ранее, все ресурсы делятся на две части. Одна часть имеет эталонную с трук туру и суммируется без потерь, а из оставшейся части ресурсов суммируются только ресурсы первого типа, а остальные ресурсы отбрасываются. Это целесообразно, если считать, что роль постоянных экспертов является определяющей по отношению к другим типам экспертов.
Для оценки эффективности экспертов каждой группы можно применить методику, аналогичную изложенной выше.
Так при оценке экспертной эффективности приглашенных экспертов (официальных оппонентов и ведущей организации) также необходимо учитывать не только их количество, но и качественные различия между экспертами. Всех приглашенных экспертов будем делить на три группы: эксперты из дальних регионов, из данного региона и эксперты из данного учреждения. Частота и взаимосвязи при выборе приглашенных экспертов исследовались в работе [Коростелева, 2015], согласно которой, в частности, приглашение экспертов из дальних регионов всегда затруднительно из-за затрат и сложностей в личном общении. Хотя привлечение таких экспертов наиболее желательно из-за их независимости.
Простейшая суммарная оценка приглашенных экспертов может быть получе-
3
на с помощью весовых коэффициентов. В итоге получим х2 = ^-Ц,'«",, где х21, х22,
7=1
л"2, — оценки экспертных усилий каждой группы экспертов, а н;2/ — весовой коэффициент приглашенных экспертов из]-й группы, (] = 1, 2, 3).
Опираясь на статистические данные, можно было бы предложить и другие варианты оцени! эффективности приглашенных экспертов с учетом их структуры. Однако этот вопрос выходит за рамки данной работы.
При оценке эффективности добровольных экспертов необходимо учитывать и их количество, и качественные различия между ними. Всех добровольных экспертов разделим на три группы. К первой группе отнесем отзывы экспертов, содержащие глубокий анализ защищаемой работы, отзывы экспертов, содержащие неполный анализ работы включим во вторую группу, и поверхностные отзывы войдут в третью группу.
Принадлежность добровольных отзывов к той или иной группе можно определять по числу замечаний, приведенных в отзыве. Например, если число замечаний больше четырех, то можно признать, что данный отзыв содержит глубокий анализ работы. Отзывы, которые содержат меньше четырех замечаний, будем считать неполными. Остальные отзывы, которые не содержат замечаний, будем считать имеющими поверхностный анализ работы.
Суммарная оценка эффективности добровольных экспертов будет иметь вид
3
Т = 7 Т 7С ■ >
' ' / ;/, где л",!, л",2, л",, — оценки экспертных усилии каждой группы
добровольных экспертов, а н;у — весовой коэффициент добровольных экспертов ш]-й группы 0' = 1, 2, 3).
Как и при оценке эффективности приглашенных экспертов, опираясь на статистические данные, можно разработать и другие варианты оценки эффективности добровольных экспертов с учетом их структуры.
Что касается постоянных экспертов — членов диссертационных советов, то они играют особую роль. Постоянные эксперты определяют потенциальные возможности рассматриваемого диссертационного совета. Наличие высокой эффективности постоянных экспертов указывает на то, что при надлежащей организации работы диссертационного совета можно добиться высокой эффективности проведения экспертизы любой квалификационной работы (диссертации).
В данной работе особое внимание уделяется разработке методики оценки потенциальной возможности совета по проведению экспертизы, которая зависит только от потенциальной эффективности постоянных членов диссертационного совета (постоянных экспертов).
Оценивая эффективность постоянных экспертов, также будем учитывать не только их количество, но и качественные различия между экспертами. Разделим постоянных экспертов на три группы. К первой будем относить активных экспертов, которые проявляют интерес к большинству защищаемых работ и проявляют высокую активность на защитах диссертаций. Активность каждого эксперта проявляется в количестве задаваемых в процессе защиты диссертации вопросов и выступлениях при обсуждении работы. Очевидно, что активные эксперты стремятся разобраться в представленной к защите работе и именно они определяют эффективность всего процесса экспертизы.
Вторая и третья группы — это слабоактивные и пассивные эксперты соответственно.
Разработанная методика выделения активных экспертов основана на применении идей дискриминантного анализа [Елисеева, 2001; Сошникова, 2015; Дж.-О. Ким, Ч. У. Мюллер, У. Р. Клекка, 1989]. Она была применена к данным ряда диссертационных советов одного из университетов Санкт-Петербурга. Всего было рассмотрено восемь диссертационных советов, в которых числились сто шестьдесят четыре члена, но из них только 151 человек (93%) принимали участие в работе в рассматриваемый период (с сентября 2013 г. по июнь 2016 г.). Выбранный период обоснован введением в 2013 г. Правительством РФ нового Положения «О порядке присуждения ученых степеней».
Активность каждого члена диссертационного совета оценивалась двумя харак-
т.
теристиками: первая — это показатель и. = —L, / = /, 2,.. N. где п — общее число за-
' п.
I
щит, в которых рассматриваемый член совета принимал участие, т — число защит, на которых рассматриваемый член совета выступал или задавал вопросы (число защит, вызвавших интерес), а N — общее число исследуемых членов советов. Этот показатель определяет долю защит, вызвавших интерес у ¡-го члена совета.
а1 +
Второй показатель хю. = —-L ,1=1,2,.. Л', где а — число выступлений на за-
п. '
I
щитах, Ь. — число заданных вопросов. Показатель ц> определяет среднюю активность рассматриваемого члена совета на защитах.
Распределение показателей активности у исследуемой группы членов диссертационных советов приведено в таблицах 1 и 2, которые наглядно указывают на одну и ту же тенденцию: наличие среди членов рассматриваемых диссертационных советов большой группы пассивных членов, которые посещают заседания, но не участвуют в активном обсуждении работы.
Таблица 1
Распределение членов диссертационных советов по числу защит, вызвавших интерес
Показатель активности v = [0; 0,2) v = [0,2; 0,4) v= [0,4; 0,6) v= [0,6; 0,8) v= [0,8; 1)
Число членов советов 45 23 28 27 28
Доля членов советов от общего числа 0,29 0,15 0,19 0,18 0,19
Таблица 2
Распределение членов диссертационных советов по активности на защите диссертации
Показатель активности w= [0; 0,5) w= [0,5; 1) w= [1; 1,5) w= [1,5; 2) w= >2
Число членов советов 55 26 28 23 19
Доля членов советов от общего числа 0,36 0,17 0,19 0,15 0,13
Если рассматривать введенные показатели как случайные величины, то тогда с каждым членом совета будет связана реализация (у., ус) двумерной случайной величины (V, Ц!).
Выделим сначала два типа членов ученых советов: активные и неактивные члены. Будем считать произвольного члена ученого совета активным членом совета,
если его показатели активности удовлетворяют условиям у. > А/(у) и т1 > М(т), / = 1, 2, ...И, где А/(у), М(т) — математические ожидания соответствующих показателей. Аналогично, будем считать произвольного члена ученого совета неактивным,
если его показатели активности удовлетворяют условиям V < А/(у) и ц>. < М(ц!), ¡= 1, 2, ...Ж
На основании имеющихся данных по исследуемым диссертационным советам были получены следующие результаты:
М(у) = 0,448 и М(у/) = 0,925.
В класс активных членов советов IV вошло 44%, в класс неактивных членов советов И/ — 48 %, а 8 % членов диссертационных советов не удалось классифицировать.
Таким образом, были определены две обучающие выборки, необходимые для построения дискриминантной функции в виде
ус) = и{У + и2М! — С.
Согласно методике, предложенной в работе [Коростелева, 2017], была определена дискриминанта
z(v, w) = 0,421v + w- 1,115.
Выполненное с ее помощью разделение позволило из тринадцати неклассифицированных членов советов (8 %) троих отнести к активным, а десять человек признать неактивными членами советов.
Для более точной классификации неактивные члены советов были разделены на две группы: слабоактивные и пассивные членов советов.
Таким образом, если для некоторого члена совета получен связанный с ним вектор активности (у., т), то тогда если т) > 0 или и{у + и2т > с, то данного члена совета следует считать активным. Слабоактивных членов совета можно определять из условия с > и V + и > 0,5с. В остальных случаях рассматриваемый член диссертационного совета считается пассивным.
Так для исследуемой группы членов диссертационных советов активные члены составили 46 % (шестьдесят девять человек), слабоактивные — 22 % (тридцать четыре человека) и пассивные — 32 % (сорок восемь человек).
Проведенный анализ качественного состава членов совета показал, что из рассмотренных восьми диссертационных советов только в трех число активных членов превышает число неактивных. В двух советах наблюдается паритет между активными и неактивными членами советов и в трех советах неактивные члены преобладают.
В рассмотренных диссертационных советах процент активных членов варьирует от 25 % до 55 % от числа действующих членов совета. Если считать, что для нормальной работы диссертационного совета число активных членов должно составлять не менее половины от общей численности совета, то из рассмотренных восьми советов в трех этот уровень меньше (25%, 36% и 44%). Структура членов рассмотренных диссертационных советов представлена в таблице 3.
Таблица 3
Структура диссертационных советов, %
Диссертационный Доля активных Доля слабоактивных Доля пассивных
совет членов членов членов
1 50 — 50
2 50 25 25
3 44 28 28
4 55 10 35
5 25 55 20
6 53 15 32
7 36 12 52
8 53 5 42
Для оценки потенциальных возможностей постоянных экспертов применим методику, предложенную для анализа всего процесса экспертизы.
Так как эта задача носит самостоятельный характер, то при ее анализе будем использовать обозначения, не связанные с изложенной выше схемой оценки мощности проведенной экспертизы.
Для этого введем вектор х = (х1? х2, л-,), где хк > 0 — число экспертов активных, слабоактивных и пассивных (к = 1,2, 3).
Определим экспертную эффективность постоянных членов совета. Для этого примем за единицу экспертную эффективность активного члена совета.
Суммарная оценка эффективности постоянных экспертов 1\х) может быть получена с помощью введения весовых коэффициентов:
) Л1:П):, где кк — весовой коэффициент экспертов из к-ой группы (к = 1,
2, 3).
Однако, как уже отмечалось, такой подход весьма субъективен. Будем исходить из того, что активные члены совета всегда положительно и в полном объеме своих возможностей влияют на процесс экспертизы (что не означает тотальную поддержку соискателя). Остальные члены совета оказывают положительное влияние на процесс экспертизы, только если их количество согласуется с эталонной структурой постоянных членов совета. Если слабоактивных членов совета больше, чем их необходимое количество, определяемое эталонной с трук турой, то их избыточное количество не повышает экспертной эффективности постоянных экспертов. Что касается пассивных членов совета, то можно считать, что их наличие не повышает экспертной эффективности совета.
Для оцени! экспертной эффективности постоянных членов совета определим,
3
как и выше, интенсивность всего процесса экспертизы = ^ , а его структура
к= 1
х /
будет определяться структурным вектором X = (Х1Д2, /.,), где кк =' у., л , / = 1, 2, 3.
Очевидно, что итоговая оценка эффективности постоянных членов совета зависит как от объемного показателя 1(х), так и от структурного X.
Количественную оценку экспертной эффективности постоянных членов совета будем определять, как и ранее, по формуле
/" = </)(Я, Я | / (.и), где <у?(Я, Я* ) — функция структурных потерь, а вектор Я* = (Я^ ,Я2* ,Я3*) определяет эталонную структуру постоянных членов совета.
Заметим, что данный случай отличается от рассмотренных выше тем, что имеется доминирующий показатель, играющий определяющее значение в формировании результирующей оценки.
Поэтому функцию структурных потерь для данного случая определим в следующем виде
■ к/
<р = А + пип(а9; А,) + тш(£Я ; А ; 0) , где £ = тт у , .
- - / л1
В основе предлагаемого вида функции структурных потерь лежат следующие идеи:
— во-первых, активные эксперты всегда учитываются полностью (как по критерию у, так и по критерию ш);
— во-вторых, слабоактивные эксперты учитываются в количестве, не превышающем необходимое количество, определяемое эталонной структурой;
— в-третьих, пассивные эксперты совсем не учитываются. Это целесообразно, если считать, что роль активных экспертов является определяющей по отношению к другим типам экспертов, а пассивные эксперты не повышают эффективности всего процесса экспертизы.
Эталонную структуру постоянных членов совета А* = (Я,*,Я,*,Я,*) будем определять на основе имеющихся статистических данных.
Анализируя составы исследуемых диссертационных советов, найдем математические ожидания M(Xj) и примем
А;=М(А,), А;=М(А2) И A; = I-A;-A;.
Выполненные расчеты по данным исследуемых диссертационных советов показали, что статистическая оценка эталонного структурного вектора имеет вид
Г = (0,45; 0,2; 0,35).
Так как фактическая статистика структуры постоянных экспертов, очевидно, несколько хуже желаемой эталонной структуры, то в данном случае в качестве вектора эталонной структуры было решено выбрать вектор, имеющий на 10 % большую первую компоненту. Окончательно было принято:
Г = (0,5; 0,2; 0,3).
Если считать, что среднее число членов диссертационного совета составляет N= 21, и необходимая явка — 2/3 от общего количества, то потенциальная экспертная эффективность постоянных членов диссертационного совета будет оцениваться по формуле
E=2/3N ■ F.
Анализ состава диссертационных советов одного из университетов Санкт-Петербурга показал, что оценки эффективности для рассмотренных советов удовлетворяют неравенствам
0,35 < FK 0,7, а 4,9 < -ЕЧ 9,8.
Среднее значение (математическое ожидание) М(Е) = 7,973.
Если же учитывать только активных членов советов, то
3,5 < Е< 7,7, а среднее М(Е) = 6,405.
Из полученных результатов следует, что одна и та же экспертная эффективность может быть достигнута при участии разного числа экспертов. Если бы в экспертизе участвовали только активные члены диссертационного совета, то той же экспертной мощности можно добиться, привлекая меньшее число членов совета и тем самым экономя средства на организацию защиты.
Развивая эту идею, можно привлекать к экспертизе только таких активных членов совета, которые являются специалистами в данной области. Это еще больше сократит количество экспертов, необходимых для экспертизы, и уменьшит затраты на организацию зашиты. Как показали результаты проведенного анализа, при таком подходе необходимо пять-семь экспертов для правильной и объективной оценки диссертационной работы.
Из выполненных расчетов следует, что при защите диссертаций средняя экспертная эффективность всех постоянных членов диссертационного совета примерно равна эффективности семи активных членов совета. Таким образом, естественно возникает вопрос о возможности сокращения общего числа членов диссертационного совета за счет привлечения к экспертизе только активных членов диссертационных советов. Иными словами, диссертационный совет может быть заменен специально создаваемым жюри. Это мнение уже получило поддержку и даже имеет институциональное решение (например, в МГУ и СПбГУ).
Рассмотрим теперь, каких организационных изменений требует реализация предложенного подхода.
Во-первых, необходима некоторая процедура формирования жюри примерно из семи человек, являющимися специалистами по теме защищаемой работы и проявляющими к ней интерес. К такой процедуре формирования жюри, прежде всего, следует предъявлять требование независимости членов жюри и автора защищаемой диссертации.
Во-вторых, члены жюри, так как их немного и они заранее выбраны, могут до защиты ознакомиться с текстом диссертационной работы. При таком подходе нет необходимости в отзывах официальных оппонентов и ведущей организации.
В чем преимущества жюри перед классической экспертизой на диссертационном совете? Обычно большинство членов совета знакомится с содержанием защищаемой диссертации только на самой защите. Это заставляет многих членов совета ориентироваться на мнение официальных оппонентов. Таким образом, мнение двух человек может во многом предопределять мнение значимого числа членов совета.
В случае создания жюри проблема выбора официальных оппонентов и ведущей организации отпадает.
Средства, выделяемые для оплаты оппонирования диссертационной работы, могут быть направлены на оплату членов жюри, что, безусловно, повысит их ответственность.
Создание жюри во многом выравнивает организацию работы в различных советах. Оценка работы диссертационных советов в рамках данной методики возможна на основе объективных показателей и не требует контроля посещаемости заседаний советов.
Количественные оцени! эффективности существующих диссертационных советов указывают на то, что переход к жюри не снизит общей эффективности оценивания работ.
Заключение
Полученные выше качественные и количественные выводы полностью соответствуют новому Положению «О совете по защите диссертаций на соискание ученой степени кандидата наук (кандидата наук СПбГУ), на соискание ученой степени доктора наук (доктора наук СПбГУ)».
В этом Положении предлагается формировать жюри из семи членов при минимальной явке не менее пяти членов, что в полной мере согласуется с количественными результатами данной работы.
Также предлагается отказ от официальных оппонентов и оформление письменного заключения по защищаемой диссертации при повышении требований к детальному ознакомлению членов жюри с содержанием научной работы.
Таким образом, возможности предлагаемой методики оцени! эффективности экспертной группы на основе структурного анализа ее состава подтверждаются практикой. Полученные количественные оценки могут служить основой для принятия решений при организации экспертизы научных исследований, а тайке для проведения сравнительного анализа.
Литература
Сыроежин И. М. Совершенствование системы показателей эффективности и качества. М.: Экономика, 1980, 192 с.
Савинов Г. В., Эйсснер Ю. Н. Моделирование и оценка структурной динамики хозяйственных систем под влиянием научно-технического прогресса // Концептуальные и методические вопросы прогнозирования научно-технической деятельности в регионе. Межвузовский сборник научных трудов. Л., 1984. С. 84—96.
Савинов Г. В. Оценка результатов хозяйственной деятельности на основе анализа экономических процессов // Экономические проблемы управления промышленным производством. Межвузовский сборник. Л., 1987. С. 110—114.
Коростелева О. Н. Оппонирование диссертаций как стадия экспертизы научной работы: статистический анализ. // Известия СПбГЭУ. 2015. № 5. С. 113—118.
Эконометрика: учеб. / под ред. И. И. Елисеевой. М.: Финансы и статистика, 2001.
Сошникова Л. А. Многомерные статистические методы. М.: Минск БГЭУ, 2015, 198 с.
Дж.-О. Ким, Ч. У. Мюллер, У. Р. Клвкка. Факторный, дискриминантный и кластерный анализ. М.: Финансы и статистика, 1989, 215 с.
Положение о совете по защите диссертаций на соискание ученой степени кандидата наук (кандидата наук СПбГУ), на соискание ученой степени доктора наук (доктора наук СПбГУ) //О порядке присуждения ученых степеней в Санкт-Петербургском государственном университете. URL: http://originaldissertations.com/stepenispbgu.html
Положение о присуждении ученых степеней: утверждено постановлением Правительства Российской Федерации 24 сентября 2013 г. № 842 // Законы, кодексы и нормативно-правовые акты Российской Федерации. URL: http://legalacts.ru/doc/postanovlenie-pravitelstva-rf-ot-24092013-n-842/
Коростелева О. Н. Математико-статистический анализ работы диссертационных советов. // Известия СПбГЭУ. 2017. № 2. С. 135-138.
Assessment of Efficiency of Expert Groups at Conducting Examination of Scientific and Qualification Works
obga n. korosteleva
St Petersburg State Economic University, St Petersburg, Russia; e-mail: olnikol67@mail.ru
Abstract: The question of the assessment of dissertation councils' quality performance is investigated in the article. The analysis of the thesis defense procedure was conducted to receive a quantitative estimation of the thesis examination efficiency of dissertation councils. It is shown that the objective estimation of a defended dissertation can be received by recruitment of the experts of three types. The efficiency of all examination process depends on how the examination is conducted by each allocated
group of experts, and on the structure determined by the difference of an expert groups' contribution to the main process. The estimates of examination process efficiency are offered to consider the structure of involved experts. The method of assessment of a dissertation council was based on consideration of structure of its permanent members. Methods of the discriminant analysis allowed to develop the technique to allocate active experts interested in the majority of dissertaion and actively participating in discussion of theses. The obtained technique has been used to a data of a number of dissertation councils of one of the universities. The revealed qualitative structure of dissertation councils has shown that in some of them the number of active members is insufficient for effective examination. The estimates of dissertation councils' potentialities are the following. The same expert efficiency of a dissertation council can be reached with the assistance of limited number of experts. Quantitative estimates of potential efficiency of the existing dissertation councils highlight a possibility to reduce a number of permanent members and to replace them with the jury. The necessary number of judges providing the same efficiency of conducting a process of thesis examination as classical dissertation council is determined.
Keywords: examination, dissertation council, scientific and qualification work, active members of council, structure of permanent members of council, function of structural losses, expert efficiency.
References
Syroyezhinl. M. (1980) Sovershenstvovanie sistemyi pokazateley effektivnosti i kachestva.[Improvement of efficiency and quality indicators system]. M.: Economy (in Russian).
SavinovG. V., Eisner Yu. N. (1984) Modelirovanie i otsenka strukturnoy dinamiki hozyayst-vennyih sistem pod vliyaniem nauchno-tehnicheskogo progressa [Modeling and an assessment of structural dynamics of economic systems under the influence of scientific and technical progress] // Kontseptualnyie i metodicheskie voprosyi prognozirovaniya nauchno-tehnicheskoy deyatelnosti v re-gione. Mezhvuzovskiy sbomik nauchnyih trudov [Conceptual and methodical questions of forecasting of scientific and technical activity in the region.
Interuniversity collection of scientific works.] L., p. 84—96 (in Russian).
SavinovG. V. (1987) Otsenka rezultatov hozyaystvennoy deyatelnosti na osnove analiza eko-nomicheskih protsessov [An estimation of results of economic activity on the basis of the analysis of economic processes] // Ekonomicheskie problemyi upravleniya promyishlennyim proizvodstvom. Mezhvuzovskiy sbomik [Economic problems of management of industrial production. Interuniversity collection] L., p. 110-114 (in Russian).
Korosteleva O. N. (2015) Opponirovanie dissertatsiy kak stadiya ekspertizyi nauchnoy rabotyi: statisticheskiy analiz [Dissertation opponency as stage of the examination of scientific work: statistical analysis] // Izyestiya SPbGEU[News SPbGEU]. No. 5, p. 113-118. (in Russian).
Ekonometrika: ucheb./pod red. 1.1. Eliseevoy (2001) [Econometrics: studies/underthe editorship of 1.1. Yeliseyeva]. M.: Finance and statistics (in Russian).
Soshnikova L. A. (2015) Mnogomernyie statisticheskie metodyi [Multidimensional statistical methods.] M.: Minsk BGEU (in Russian).
J. — O. Kim, Ch. U. Muller, U. R. Klekka. (1989) Faktornyiy, diskriminantnyiy i klasternyiy analiz [Factorial, discriminant and cluster analysis] // M.: Finance and statistics (in Russian).
Polozhenie o sovete po zaschite dissertatsiy na soiskanie uchenoy stepeni kandidata nauk (Kandi-data nauk SPbGU), na soiskanie uchenoy stepeni doktora nauk (Doktora nauk SPbGU) (in Russian).
Polozhenie o prisuzhdenii uchenyih stepeney: utverzhdeno postanovleniem Pravitelstva Rossiys-koy Federatsii 24 sentyabrya 2013 g. № 842 (in Russian).
Korosteleva O. N. (2017) Mathematico-statisticheskiy analiz rabotyi dissertatsionnyh sovetov, [Mathematical and statistical analysis of the dissertation councils performance] // Izyestiya SPbGEU [News SPbGEU]. № 2, p. 135-138 (in Russian).
МЕТОДОЛОГИЧЕСКИЕ ВОПРОСЫ СОЦИАЛЬНОГО ПОЗНАНИЯ
Дмитрий Анатольевич Севостьянов
кандидат медицинских наук, доцент кафедры кадровой политики и управления персоналом Новосибирского государственного аграрного университета,
Новосибирск, Россия; e-mail: dimasev@ngs.ru
11.
УДК 007.51
Методология социальных исследований: роль анализа инверсий
В статье рассматривается методологический прием социальных исследований, заключающийся в изучении инверсий в социальной иерархии. Показано, что иерархия является важнейшей формой системной организации. По этой причине в социальных исследованиях необходимо учитывать общие системные свойства, присущие иерархиям. Способность к формированию инверсий свойственна сложным иерархиям. Поскольку социальные иерархии являются весьма сложными, инверсии в них широко представлены. Несмотря на обширное распространение инверсий в социальных иерархиях, они все еще сравнительно мало изучены как системное явление. Современная общая теория систем практически не рассматривает инверсивных отношений. Данное упущение должно быть исправлено. Инверсия в иерархической системе возникает, когда низший элемент приобретает главенствующее значение в данной системе, не перемещаясь на более высокую позицию. Это происходит вследствие изменений каких-либо важных свойств этого иерархического элемента. Таким образом, возникает противоречие между формальным местом элемента в системе и его действительной ролью. Развитие инверсий приводит данную иерархическую систему к разрушению или к необходимости коренного преобразования. Инверсии возможны не только в самой социальной иерархии, но и в производных иерархиях, например таких, как иерархии ценностей, целей, мотивов. Распространение инверсий в такой производной системе способно привести к краху саму социальную иерархию, в которой происходят такие изменения. Известно, что социальная иерархия может быть разрушена вследствие изменений в ценностной или мотивационной структуре общества. Подтверждение этому — огромное количество исторических примеров. Ключевые слова: общественные науки, методология, иерархия, инверсия, ордер, цели, ценности, мотивы.
