Оценка качества диссертационных работ на основе экспертных оценок Текст научной статьи по специальности «Науки об образовании»

УПРАВЛЕНИЕ В СОЦИАЛЬНЫХ И ЭКОНОМИЧЕСКИХ СИСТЕМАХ

УДК 378

М. Б. ГУЗАИРОВ, И. Б. ГЕРАСИМОВА, Л. Р. УРАЗБАХТИНА

ОЦЕНКА КАЧЕСТВА ДИССЕРТАЦИОННЫХ РАБОТ НА ОСНОВЕ ЭКСПЕРТНЫХ ОЦЕНОК

В данной статье предложена система оценки качества докторских диссертаций, построенная в классе иерархических систем на основе формирования экспертных оценок. Интегральная оценка качества построена на основе формирования большого количества градаций, которые характеризуют такие системные показатели, как научная и практическая ценность, а также социально-экономическую и политическую значимость полученных результатов. Предложенная система является открытой и может адаптироваться к различным областям знаний. Экспертные оценки; качество диссертационных работ; иерархические системы

Оценка качества диссертационных работ (ДР) при подготовке научных кадров является одной из важнейших проблем, которая до сих пор не нашла удовлетворительного решения ввиду трудности формализации этой процедуры.

Известно [1, 2], что для широкого круга не-формализуемых проблем экспертные процедуры наиболее эффективны, а в ряде случаев могут оказаться единственным средством их решения.

Метод экспертной оценки предполагает привлечение высококвалифицированных специалистов (экспертов). В роли экспертов по оценке качества ДР привлекаются доктора наук с высоким уровнем компетенции и имеющие многолетний опыт в подготовке аспирантов и докторантов, а также опыт работы в диссертационных советах как в качестве оппонентов, так и рецензентов диссертационных работ.

Группа экспертов строит рациональную процедуру интуитивно-логического анализа в сочетании с количественной оценкой и обработкой результатов. Наиболее сложной процедурой является формирование оценочной системы качества диссертационных работ. При этом предполагается, что мнение группы экспертов надежнее и ближе к истине, чем мнение одного эксперта. А каждый отдельно взятый эксперт, благодаря своему опыту, знаниям и информированности, является источником достоверной информации.

Авторы глубоко осознают и понимают, что предлагаемая оценочная система качества ДР далека от совершенства, может быть дополнена, расширена или реструктурирована, и потому

рассматривают ее как один из возможных вариантов построения систем данного класса. При этом предлагаемая оценочная система в основном строилась на анализе диссертаций в области технических наук по группе специальностей 05.13.00.

1. СТРУКТУРА ОЦЕНОЧНОЙ СИСТЕМЫ

Оценочная система качества ДР, как и качества преподавания [3], представляет собой иерархическую систему, на верхнем уровне которой расположен интегральный показатель качества (I). На последующем уровне расположены три основных системных показателя, которые характеризуют ДР как систему в целом: научная ценность (А]), практическая ценность (А2) и социально-экономическая и политическая значимость (А3). Следовательно:

I = <Аь А2, А3>, (1)

Значение интегральной оценки I вычисляется с учетом важности (по мнению эксперта) этих показателей для ДР:

3

I = 2 Т,А,, (2)

,=1

где у- - коэффициент важности А, показателя,

3

при этом 2 у , =1.

,=1

Выбор значений коэффициентов у- во многом зависит от характера полученных результатов. Если ДР носит теоретический характер, то коэффициент у, должен быть наибольшим. Если ДР носит прикладной характер, то эксперты отдают предпочтение у2.

Контактная информация: (347) 272-89-81

Каждый из этих показателей характеризуются множеством своих частных параметров (критериев):

А, = {а,к }, (3)

Оценка множества показателей А, осуществляется с учетом важности по мнению эксперта этих параметров для данного показателя:

Jikaik

(4)

А = Е Ь

к=1

где Рік - коэффициент важности параметра аік

п

для данного показателя, при этом Е $ік = 1.

к=1

Числовые значения коэффициентов рік эксперты формируют на основе анализа знаний, содержащихся в параметре аік, и их значимости для оценки показателя Аі.

Далее каждому параметру аік ставится в соответствие вербально-числовая шкала, с помощью которой эксперт осуществляет субъективную оценку значения данного параметра. В основе этой субъективной оценки лежат опыт и знания экспертов и их желание сократить субъективизм (увеличить объективизм) в своих оценках.

Вербально-числовая шкала, как правило, состоит из двух столбцов: в первый столбец вписывают содержательное описание градаций шкалы, во второй - соответствующие им числовые значения. Наиболее известна шкала Харрингтона, характеризующая степень выраженности свойства параметра (критерия) и имеющая универсальный характер [2] (табл. 1).

Здесь числовые значения градаций шкалы Харрингтона получены на основе анализа и обработки большого массива статистических данных.

Таблица 1 Вербально-числовая шкала Харрингтона

Описание градаций Числовые значения

Очень высокая О, 1 00 о"

Высокая 0,64 - 0,8

Средняя 0,37 - 0,64

Низкая 0,2 - 0,37

Очень низкая 0,0 - 0,2

В дальнейшем при оценке качества ДР градация «Очень низкая оценка» использоваться не будет, так как при анализе результатов ДР даже градация «Низкая оценка» встречается крайне редко. Более того, числовые значения градаций возьмем в более узком диапазоне.

Таким образом, оценочную систему качества ДР можно представить в виде иерархической системы (рис. 1).

I

ЧИСЛОВЫЕ ШКАЛЫ ЭКСПЕРТНЫХ ОЦЕНОК

интегральный

показатель

системные

показатели

частные

параметры

градации

параметров

числовые значения, градации

Рис. 1. Иерархическая система оценки качества ДР

Следует отметить, что формирование градаций шкал параметров осуществлено в соответствие с их содержательной интерпретацией, что позволило ранжировать их в виде многоступенчатой иерархической системы. При этом каждая вышестоящая ступень (градация) по своей значимости превосходит нижестоящую.

Количественные оценки качества ДР, данные группой экспертов, можно свести к одной усредненной оценке. Для этого необходимо подсчитать средние числовые значения параметров а,к и средние значения коэффициентов важности для этих параметров и для показателей А,. Полученное после этого значение интегральной оценки I может быть сопоставлено с первыми тремя градациями построенной шкалы экспертных оценок.

Можно выделить часть экспертов, дающих высокие оценки, и часть экспертов, дающих низкие оценки, и оценить для них средние интегральные оценки, которые и будут средними верхними (оптимистическими) и средними нижними (пессимистическими) границами этих оценок. Можно воспользоваться и другими методами согласования мнений экспертов [1].

2. ФОРМИРОВАНИЕ ГРАДАЦИЙ СИСТЕМНЫХ ПОКАЗАТЕЛЕЙ

Каждый системный показатель представляет собой множество параметров (критериев), выбор количества которых основан как на опыте специалистов в области экспертизы научных проектов и диссертационных работ, так и на специфике данной области знаний.

п

Показатель А, - научная ценность ДР -

будем характеризовать следующими параметрами:

1. Степень новизны методологии.

2. Уровень методологии как инструмента познания.

3. Степень новизны моделей.

4. Уровень форм представления моделей.

5. Степень новизны методов (алгоритмов).

6. Уровень формализации методов (алгоритмов).

7. Уровень обобщения знаний.

8. Уровень полноты полученных знаний (научных результатов).

Этим параметрам соответствуют следующие градации и их числовые оценки, расположенные в указанных интервалах. При этом числовой диапазон изменения значений параметра составляет от 0,4 до 1,0.

1. Степень новизны методологии

• новая, оригинальная, 1,0-0,85

неизвестная

• новая, оригинальная 0,85-0,7

для данной области знаний

• частично новая 0,7-0,55

• известная 0,55-0,4

2. Уровень методологии как инструмента познания:

• философский, для всех отраслей научного знания

• общенаучный, для отдельной отрасли знаний

• уровень методов, для отдельных дисциплин

• уровень методик, для конкретных классов задач

3. Степень новизны моделей:

• новые, неизвестные

• новые для данной области 0,85-0,7 знаний

• частично новые

• известные

1.0-0,85 0,85-0,7 0,7-0,55 0,55-0,4

1.0-0,85

0,7-0,55

0,55-0,4

4. Уровень форм представления моделей:

• адекватные, точные, 1,0-0,85

аналитические

• адекватные, приближенные 0,85-0,7

(статистические,

динамические и т. п.)

• адекватные, в виде 0,7-0,55 графических зависимостей

• в виде таблиц, 0,55-0,4

неструктурированных

данных

5. Степень новизны методов (алгоритмов)

• новые, существенно 1,0-0,85

отличающиеся от известных

• новые для данной области 0,85-0,7 знаний

• частично новые 0,7-0,55

• известные 0,55-0,4

6. Уровень формализации методов (алгоритмов)

• точные, аналитические 1,0-0,85

• приближенные, 0,85-0,7

с допустимой погрешностью

для широкого класса задач

• приближенные, пригодные 0,7-0,55

для частных задач

• известные 0,55-0,4

7. Уровень обобщения знаний в виде:

• законов, закономерностей 1,0-0,9

• принципов действий 0,9-0,8

• новых характеристик, 0,8-0,7

свойств, структур

• установление новых 0,7-0,55

факторов

8. Уровень полноты полученных знаний (научных результатов) определяется степенью распространения их на предметные области знаний:

• охватывают широкий круг 1,0-0,85

областей знаний

• пригодны для отдельной 0,85-0,7

области знаний

• пригодны для решения 0,7-0,55

широкого класса задач

• пригодны для решения 0,55-0,4

отдельного класса задач

Коэффициент важности р,к для этой группы параметров обычно назначаются в пределах от

0,05 до 0,20. При этом доля оценки, связанная со степенью новизны, составляет 0,4-0,35, а связанная с содержанием параметров составляет

0,5-0,55.

Отметим, что дальнейшая детализация градаций рассматриваемых параметров зависит от особенностей предметной области, от принятых форм представления знаний и от ряда других факторов.

Показатель А2 - практическая ценность -

будем характеризовать следующими параметрами:

1. Уровень апробации результатов.

2. Форма реализации результатов.

3. Уровень автоматизации решения задач.

4. Уровень перспективности использования полученных результатов.

Этим параметрам соответствуют следующие градации и их числовые оценки.

1. Уровень апробации результатов:

• натурные испытания 1,0-0,85

опытного образца, системы

• лабораторные испытания, 0,85-0,7

моделирование

• подтверждение результатов 0,7-0,55

расчетами

• подтверждение результатов 0,55-0,4

результатами других исследователей

2. Форма реализации результатов:

• реализация в виде опытного 1,0-0,85

образца или пилотного

варианта

• реализация в виде готовой 0 , 85-0,7

технологии

• реализация в виде метода, 0,7-0,55

методик, моделей,

алгоритмов и программного обеспечения

реализация в виде научнообоснованных

0,55-0,4

практических рекомендаций

3. Уровень автоматизации решения задач:

• автоматизированная 1,0-0,85

система решения данного

класса задач

• информационная система 0,85-0,7 поддержки принятия

решений

• автоматизация методик 0,7-0,55

расчета

• использование известного 0,55-0,4

программного обеспечения

Здесь к рассматриваемым задачам относятся задачи анализа, синтеза, проектирования, планирования, управления, контроля, диагностики, прогнозирования и т. д.

4. Уровень перспективности использования полученных результатов определяется их потребностью в настоящем и будущем. Можно выделить следующие уровни :

• результаты, необходимые 1,0-0,85

для развития фундаментальных

и прикладных наук

• результаты, необходимые 0,85-0,7

для развития определенной отрасли науки или

производства

• результаты, необходимые 0,7-0,55

для решения частных

проблем, связанных с построением конкретных объектов, технологий

и систем

• результаты, необходимые 0,55-0,4

для улучшения существующих технологий, методов, систем Следует отметить, что можно выделить группу параметров, которые характеризуют одновременно научную и практическую ценность. К ним относятся:

1. Достоверность, непротиворечивость и обоснованность полученных знаний.

2. Уровень публикаций.

3. Уровень изложения материала.

Эти параметры можно характеризовать следующими градациями:

1. Достоверность и обоснованность:

• строгое логико- 1,0-0,9

аналитическое

доказательство

• корректное применение 0,9-0,8

известных положений

научных теорий

• на основе результатов 0,8-0,7

корректно поставленных

и проведенных экспериментов, в том числе и моделирования

• на основе результатов 0,7-0,6

других исследователей

2. Уровень публикаций:

• публикации в известных 1,0-0,9

мировых научных

журналах

• высокий уровень 0,9-0,8

цитируемости статей автора

• публикации в центральных 0,8-0,7

журналах, в том числе из

списка ВАК РФ

• доклады на международных 0,7-0,6

и российских НТК

3. Уровень изложения материала:

• изложение цели, задач 1,0-0,9

исследований

и формулировка полученных результатов четкие, непротиворечивые

• разделы диссертации 0,9-0,8

логически связаны

между собой

• высокий уровень 0,8-0,7

систематизации полученных результатов

• язык изложения грамотный, 0,7-0,6

грамматические

и стилистические ошибки

практически отсутствуют

Отметим, что значения данных смежных параметров должны учитываться при вычислении показателей А1 и А2 при оценке общей ценности ДР.

Показатель А3 - социально-экономи-

ческая и политическая значимость - будем характеризовать следующими параметрами:

1. Актуальность и важность решения проблемы для общества.

2. Глубина анализа и структуризация проблемы.

3. Экономическая ценность полученных результатов.

4. Социальная ценность полученных результатов.

5. Политическая ценность полученных результатов.

6. Уровень инноваций.

Этим параметрам соответствуют следующие градации и их числовые значения.

1. Актуальность и важность решения проблемы для общества:

• актуальна и важна для 1,0-0,9 развития мировой науки, относится

к глобальным программам развития цивилизации на

ближайшие 25 лет

• актуальна и важна для 0,9-0,75

развития данного научного направления, относится к национальным программам

развития этого направления на ближайшие 5-10 лет

• актуальна и важна для 0,75-0,6

развития данной отрасли,

относится к отраслевым программам развития на ближайшие 5-10 лет

• актуальна и важна для 0,6-0,45

решения данного класса задач

2. Глубина анализа и структуризация проблемы:

• выявлены недостатки 1,0-0,85

в существующих методах

решения проблемы, проблема структурирована до конкретных задач

• изучены научные подходы 0,85-0,7

к решению проблемы,

выявлены связи между подпроблемами

• изучена онтология 0,7-0,55

(состояние развития)

проблемы за последние 15-20 лет, проблема

• проблема слабо 0,55-0,4

• структурирована

3. Экономическая ценность полученных результатов заключается в том, что они способствуют:

• увеличению 1,0-0,85

производительности труда

• увеличению прибыли 0,85-0,7

• улучшению качества 0,7-0,55

продукции

• улучшению тактико- 0,55-0,4

технических,

технологических и других характеристик

4. Социальная ценность полученных результатов заключается в том, что они способствуют:

• улучшению экологии 1,0-0,9

природы и социальной среды

• улучшению условий труда 0,9-0,8

• повышению культуры 0,8-0,7

производства

• улучшению 0,7-0,6

межпроизводственных отношений

5. Политическая ценность полученных результатов заключается в том, что они способствуют:

• укреплению престижа 1,0-0,9

государства в области науки, техники, технологий

и политики

• повышению устойчивости 0,9-0,8

развития государства

• укреплению 0,8-0,7

обороноспособности страны

и развитию ее важнейших отраслей хозяйства

6. Уровень инноваций (нововведений) диссертационной работы оценивается областями внедрения инноваций:

• в методологию (концепцию) 1,0-0,9

• в модели, методы, 0,9-0,8

алгоритмы, конструкции,

системы

• в формы автоматизации 0,8-0,7

Следует отметить, что структура оценочной

системы не является завершенной. Она открыта для дальнейшего совершенствования и уточнения. В принципе должно быть множество вариантов подобных оценочных систем, учитывающих специфику предметной области знаний, их научную и практическую ценность. Например, в

зависимости от предметной области исследований может меняться как количество параметров ак, так и содержание и состав используемых градаций. Отметим, что если в рамках данного параметра (критерия) результаты диссертации охватывают несколько градаций, то значение оценки, как правило, берется максимальным для этих градаций.

Нетрудно заметить, что оценочная система составлена таким образом, что аспирант почти никогда (маловероятно) не достигнет интегральной оценки J в районе 0,95-1,0, так как в показатели параметров (критериев) заложены слишком высокие требования к ДР, а это значит, что у будущих аспирантов и их научных руководителей всегда остается возможность для совершенствования, чтобы превзойти результаты своих предшественников.

ЗАКЛЮЧЕНИЕ

1. Показана целесообразность построения оценочной системы качества диссертационных работ в классе иерархических систем на основе формирования экспертных оценок градаций нижнего уровня.

2. Интегральный показатель качества диссертационной работы учитывает как научную, так и практическую ценность, а также социально-экономическую и политическую значимость полученных научных результатов.

3. Предложенная оценочная система качества диссертационных работ может быть дополнена, расширена и изменена, например, с учетом специфики предметной области знаний.

ОБ АВТОРАХ

Гузаиров Мурат Бакеевич, ректор, проф. каф. выч. техн. и защ. инф. Дипл. инж.-электромех. (УАИ, 1973). Д-р техн. наук по упр. в соц. и экон. системах. Иссл. в обл. сист. анализа, упр. в соц. и экон. системах.

Герасимова Ильмира Барыевна,

доц. каф. АСУ. Дипл. инж.-сист. (УАИ, 1985). Канд. техн. наук по упр. в соц. и экон. системах (УГАТУ, 1999). Иссл. в обл. сист. анализа, управ. науч.-образоват. системами.

Уразбахтина Линара Рамилевна,

асс., асп. каф. техн. киб. Дипл. инж. по АСОиУ (УГАТУ, 2002). Иссл. в обл. упр-я сложн. объектами на основе нелинейн. динамич. моделей.

СПИСОК ЛИТЕРАТУРЫ

1. Системный анализ и принятие решений: Словарь-справочник: Учеб. пособие для вузов / Под ред.

В. Н. Волковой, В. Н. Козлова. М.: Высш. школа 2004. 616 с.

2. Лукичева Л. И., Егорычев Д. Н. Управленческие решения. Учеб. М.: изд. «Омега-Л» 2007 -383с.

3. Гузаиров М. Б., Герасимова И. Б., Уразбах-тина Л. Р. Системный подход к анализу качества преподавания на основе экспертных оценок. Вестник УГАТУ (Сер. «Управление, вычислительная техника и информатика»). 2009. Т. 12, № 1(30). С. 91-95.