Оценка качества подготовки выпускников вуза на основе метода Дельфы Текст научной статьи по специальности «Компьютерные и информационные науки»

Абашидзе Теймураз Лерьевич

Abashidze Teimuras Lerevich Candidate of Historical Sciences, professor кандидат исторических наук, профессор НОУ ВПО ИГУПИТ College of the Government, the right and innovative technologies

E-Mail: [email protected]

Федотова Елена Леонидовна

Fedotova Elena Leonidovna кандидат педагогических наук, доцент Candidate of pedagogical sciences, assistant professor Национальный исследовательский университет «МИЭТ» National Research University of Electronic Technology, Moscow

E-Mail: [email protected]

Оценка качества подготовки выпускников вуза на основе метода Дельфы

Assessment of quality of preparation of graduates of the University on the basis of the

Delphi method

Аннотация: В данной статье рассматривается использование метода Дельфы для оценки качества подготовки выпускников вуза. Целью данного метода является получение согласованной информации высокой степени достоверности в процессе анонимного обмена мнениями между участниками группы экспертов для принятия решения.

The Abstract: This article discusses the use of the Delphi method for assessing the quality of training of the graduates of the University. The purpose of this method is to obtain consistent information a high degree of reliability in the process of anonymous exchange of views between the participants of the expert group for adoption of a decision.

Ключевые слова: метод, экспертное прогнозирование, экспертиза, оценочные материалы, компетентность, электронная почта, группа.

Keywords: the method of expert forecasting, expertise, the estimated materials, competence, e-mail, group.

***

Существующая в настоящее время оценка качества подготовки специалистов направлена, как правило, на проверку наличия у выпускников знаний по отдельным предметам, изучаемым в рамках учебного плана, и умений по их применению в типовых предметных ситуациях. Вместе с тем, с точки зрения работодателя, помимо сугубо профессиональных знаний и умений, характеризующих квалификацию выпускника, специалисту необходимы также такие качества, как инициатива, сотрудничество, способность к работе в группе, коммуникативные способности, умение учиться, оценивать, логически мыслить, отбирать и использовать актуальную информацию и пр. [2,3].

В данной работе предлагается методика оценки качества подготовки выпускников вуза, основанная на методе Дельфы - путем организации системы сбора экспертных оценок, а также с использованием метода факторного анализа, статистической обработки и

последовательной корректировки на основе результатов каждого цикла обработки информации [4].

Качество подготовки выпускников напрямую связано с рядом производственных и социальных задач их будущей производственной и/или научной деятельности и определяется уровнем сформированности компетенций: социально-личностных, экономических и

организационно-управленческих, общенаучных, общетехнических, общепрофессиональных и специальных [1, 3]. Одна из важнейших задач - это разработка совместно с работодателями рекомендаций по структуре оценочных материалов для контроля уровня формирования компетенций качества подготовки выпускников, обучавшихся по специальностям в конкретной предметной области. На рис.1 показаны результаты анкетирования студентов вуза, показывающие распределение мнений студентов по привлекательным для них видам деятельности по ИТ-специальностям [4].

□ Необходимо □ Важно □ Желательно

40 35 30 25 20 15 10 5 0

Рис. 1. Оценка уровня требований работодателей к специальным компетенциям выпускника

вуза на примере ИТ-специальностей

В целях разработки структуры оценочных контрольно-измерительных материалов (КИМ) для контроля качества выпускников необходимо было создать обобщенную модель образовательного процесса вуза с обоснованием контрольных точек. Тогда в виде «контрольных точек» для проведения оценочных испытаний студентов, т.е. применения КИМ было логично использовать результаты обучения в конце 8-го, 9-го семестров и результаты выпускной работы (на 10-м семестре для специалистов). Профессиональная компетентность специалиста, степень успешности его деятельности складывается из нескольких компонентов: это специальная или предметная компетентность, методическая, коммуникативная и др. [2,5].

=1 ■ Л

Компьютерная

грамотность

Алгоритмизация

проблематики

области

деятельности

Паролирование Проектирование баз Администрирование информации данных компьютерных сетей

Рис. 2. Предпочтения работодателей в части общепрофессиональных компетенций

(данные анкетирования вуза)

Метод Дельфы (Дельфийский метод, метод Дельфийского оракула) был разработан в 1950—1960 гг. в США. Суть этого метода в том, чтобы с помощью серии последовательных действий - опросов, интервью, мозговых штурмов - добиться максимального консенсуса при определении правильного решения [3,6].

Метод Дельфы предусматривает опрос экспертов в несколько туров, обработку результатов каждого тура, информирование их об этих результатах и очередное повторение процедуры. На практике обычно ограничиваются 3-4 турами.

1-й этап. На первом этапе необходимо сформировать репрезентативную с точки зрения качества и количества группу независимых экспертов. Составляется список лиц, компетентных в данной области. Проблема подбора экспертов является одной из наиболее сложных, поскольку здесь необходимо использовать специалистов высокого уровня, чьи суждения максимально способствуют принятию адекватного решения.

Поскольку методов подбора экспертов наверняка обеспечивающих успех экспертизы не выработано, можно использовать методы самооценки и взаимооценки компетентности экспертов [8]. Самооценка необходима для взвешенного анализа своих возможностей самим экспертом, хотя здесь скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено: можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии [3].

При использовании метода взаимооценки помимо фактора проявления личностных и групповых симпатий и антипатий, играет роль неосведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошим знанием работ и потенциальных способностей друг друга обладают лишь специалисты, довольно долго работающие вместе; однако привлечение коллег нецелесообразно, поскольку они слишком похожи друг на друга. Использование формальных показателей (должность, ученые степень и звание, стаж, число публикаций...), очевидно, носит лишь вспомогательный характер.

К числу наиболее сложных моментов подготовительного этапа относится определение оптимальной численности экспертной группы. Из общего числа потенциальных экспертов надо отобрать наиболее квалифицированных, с высокой общей эрудицией, обладающих научным предвидением и иными требуемыми качествами. Здесь возможны два подхода: неформализованный и формализованный [7].

Главный редактор - д.э.н., профессор К.А. Кирсанов тел. для справок: +7 (925) 853-04-57 (с 1100 - до 1800) Опубликовать статью в журнале - http://publ.naukovedenie.ru

При использовании неформализованного подхода к формированию экспертной группы вначале определяется примерное число будущих экспертов. Малочисленность группы не позволяет обеспечить достаточную статистическую достоверность их выборочной оценки. Кроме того, в этом случае на общую групповую оценку существенное влияние оказывают индивидуальные оценки экспертов. Многочисленная группа также имеет свои недостатки: здесь зачастую трудно выявить согласованное мнение экспертов, возрастает взаимозависимость высказываемых мнений, возникают организационные трудности проведения экспертного исследования, увеличиваются затраты времени и денежных средств на проведение оценки качества.

С учетом вышесказанного для формирования экспертных групп предлагается известный метод "снежного кома". [6] Первоначальный список потенциальных экспертов составляют руководители организационной структуры. Затем все отобранные лица рекомендует специалистов, способных дать заключение по каждому вопросу анкеты. Получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Последние в свою очередь дают рекомендации о включении в данный список других экспертов и т.д. — в результате осуществляется итеративный процесс составления экспертной группы. Расширение списка прекращается после стабилизации совокупности рекомендуемых экспертов на той итерации, на которой список потенциальных экспертов перестает пополняться, то есть новые фамилии уже не появляются [4]. Тем не менее, список возможных экспертов получается достаточно обширным.

Ниже перечислены основные требования, предъявляемые участниками экспертизы для получения качественного результата работы: высокий уровень общей эрудиции; высокий квалификационный (профессиональный) уровень в оцениваемой области; способность перспективно мыслить; восприимчивость к инновациям; отсутствие субъективизма в отношении практического применения оцениваемой идеи; наличие производственного и (или) исследовательского опыта в данной области [3].

Помимо знаний специалистам присущи определенные человеческие качества, которые необходимо принимать во внимание при формировании экспертной группы. В частности, в качестве эксперта предпочтительнее профессионал, который: постоянно обучается чему-то новому (становится в большей степени специалистом); способен переосмысливать понятия; приобретает знания общего характера; обладает здравым смыслом, применимым сразу ко всем областям; может рассуждать по аналогии. Важно, чтобы эксперты были из разных вузов и с разных предприятий; отбор в экспертную группу можно провести с помощью блока тестирования знаний, то есть проверить выполнение требований к знаниям экспертов в данной предметной области.

Коэффициент компетентности складывается из следующих параметров: результаты тестирования, отношение к экспертизе, информированность по данному вопросу, в том числе осведомленность относительно отечественных и зарубежных источников, практический и теоретический опыт, а также интуиция.

При использовании формализованного подхода, например, с учетом минимальной и максимальной границ численности экспертной группы, учитывают два условия: высокую среднюю компетентность групп экспертов и стабилизацию средней оценки выполнения требований к структуре оценочных материалов для контроля формирования компетенций выпускников, обучающихся по специальностям в данной области.

Первое условие используется для определения максимальной численности экспертной группы:

П <

max

i=1

ck„

где с - константа, kmax - максимально возможная компетентность по используемой шкале компетентности, к, - компетентность i-ro эксперта.

Данное условие предполагает, что при наличии специалистов, обладающих наибольшей компетентностью, среднее значение их оценок можно считать "истинным". Константа определяется путем простого голосования. Группа считается избранной при 2/3 голосов присутствующих, отданных за ее избрание. Исходя из этого константа с=2/3.

После этого определяется минимальная граница численности экспертной группы с учетом второго условия - стабилизации средней. Оно отражает факт незначительного влияния состава экспертной группы (включения и исключения из нее какого-либо специалиста) на среднее значение оценки выполнения требований или формализованном виде:

x - X .

----------< А

x

max

где X - средняя оценка прогнозируемого показателя в баллах, данная экспертной группой;

X - средняя оценка, данная экспертной группой с измеренным составом (при включении или исключении из нее какого-либо одного эксперта);

xmax - максимально возможная оценка выполнения требований по принятой шкале оценок;

А - заданная величина изменения средней ошибки при включении или исключении из группы одного эксперта.

Величина средней ошибки имеет наибольшую чувствительность к оценке самого компонентного эксперта, который поставил наибольший балл при X < xmax и наименьшей при X

X > — . 2

Следовательно, для проверки выполнения неравенства условия стабилизации средней, из группы следует исключить одного эксперта. В зависимости от допустимой величины средней ошибки А минимальное число экспертов в группе можно определить по формуле:

- + 5

П . > —-----

min — 2

Окончательно же группа формируется путем последовательного исключения малокомпетентных экспертов при соблюдении условия:

k_ - k < d

max

где S - задаваемая величина границ допустимого отклонения компетентности i-ro эксперта от максимальной величины. Одновременно в группу могут быть включены новые потенциальные эксперты. Таким образом, численность группы устанавливается в пределах:

n < n < n

mm — — max

Необходимо подчеркнуть, что подбор экспертов, в конечном счете - функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу.

2-й этап. Должен быть составлен перечень требований к структуре оценочных материалов для контроля уровня формирования компетенций выпускников, обучающихся по специальностям в данной области.

Для уточнения составленного перечня требований необходимо провести исследование с одновременным отбором экспертов из числа работодателей - специалистов в данной предметной области. По электронной почте произвести анкетирование предполагаемых экспертов - предложить по 5-ти бальной системе оценить важность каждого сформулированного требования для определения структуры оценочных материалов для контроля уровня формирования компетенций выпускников, обучающихся по специальностям в этой области. Далее, методами факторного анализа следует сформировать общий бал для каждого требования [8].

3-й этап. По электронной почте экспертам рассылается разработанная анкета. После заполнения анкет экспертами их возвращают по электронной почте к разработчикам. Результаты обрабатываются, определяется средний балл по каждому требованию:

5

Z x>f>

i=1

x =

n

проводится по формуле: 2

к = Sx

s 2 где xi - различные баллы выполнения i-того требования (0, 1, 2, 3, 4); fi

x max

- частота повторения балла для каждого требования.

Это предварительная оценка.

4-й этап. Результат предварительной оценки доводится до экспертов. На основе результатов первой анкеты составляется вторая, аналогичная предыдущей, с той только разницей, что в ней указывается: значение среднего балла и частота повторения значений баллов по каждому требованию. Благодаря второй анкете эксперты узнают, что существуют различные мнения на этот счет; теперь им предоставляется возможность пересмотреть свои ответы на вопросы первой анкеты. Причем экспертов просят для каждого требования высказаться как можно шире, как можно обоснованнее - стимулируется максимальная активность экспертов. Заполненная вторая анкета и изложенные на бумаге пояснения, обоснования, идеи отсылаются разработчикам. После анализа анкет находят новый средний балл по каждому требованию.

5-й этап. Для того чтобы повысить согласованность экспертных оценок, на основе результатов второго анкетирования составляется третья анкета, содержание которой аналогично предыдущей, но частота повторения значений баллов по каждому требованию не приводится. Эта анкета и сводный перечень высказываний экспертов по обсуждаемому вопросу вновь рассылается всем участникам экспертизы. Теперь эксперты по просьбе организаторов пересматривают свои ответы в свете коллективного мнения и фиксируют на бумаге свое согласие (несогласие) с оценкой других опрашиваемых, дают дополнительные предложения (комментарии). Третье анкетирование является заключительным, так как практика показывает, что мнения экспертов после третьего анкетирования, как правило, не меняются.

6-й этап. При определении структуры оценочных материалов для контроля уровня формирования компетенций выпускников необходимо учитывать степень согласованности мнений экспертов. Важным фактором является само допущение того, что при согласованности мнений экспертов достоверность оценок выполнения требований гарантируется. Здесь часто применяется коэффициент конкордации, (согласованности мнений экспертов) [6]. Расчет коэффициента конкордации

Z(xi- x )2

2 _

где Sx = и 1 - дисперсия суммарных (упорядоченных) оценок, данных

экспертами;

2

x max - дисперсия суммарных (упорядоченных) оценок, в случае, когда мнения экспертов совпадают.

Для достоверной оценки требований считают приемлемым значение коэффициента конкордации более 0.7. Однако если мнения экспертов существенно различаются (коэффициент конкордации менее 0.7), может возникнуть необходимость в проведении еще одного анкетирования.

Также повышения согласованности можно добиться путем последовательного исключения тех экспертов, оценки которых намного меньше или больше среднего значения для всей группы экспертов.

7-й этап. На основе окончательной оценки для каждого из требований подсчитывается средний бал и, далее, общий бал как сумма общих баллов выполнения требований по каждой предложенной структуре оценочных материалов.

Выводы

Метод Дельфы позволяет:

• уменьшить влияние недостаточно компетентных экспертов на групповую

оценку за счет полученной ценной информации от более компетентных экспертов;

• избежать конфронтации среди экспертов, придерживающихся разных точек

зрения (участников не заставляют соглашаться с мнением большинства);

• способствует выработке независимости мышления членов группы;

• обеспечивает спокойное и объективное изучение проблем, которые требуют оценки.

• сократить затраты, так как не требует сбора и совещания участников в каком-то определенном месте. Преимущество метода в том, что он легко реализуем с применением электронной почты.

На основе полученных в результате нашего исследования данных в Лаборатории обеспечения качества учебного процесса вуза осуществляется разработка методических рекомендаций по повышению качества подготовки будущих выпускников.

К недостаткам метода можно отнести некоторую субъективность оценок, требует достаточно много времени и информационно-организационного сопровождения.

ЛИТЕРАТУРА

1. Орлов А.И. «Организационно-экономическое моделирование. Экспертные

оценки. Часть 2». МГТУ им. Баумана, Москва, 2011.

2. Федотова Е.Л. Подготовка специалистов в условиях информатизации образования (монография). LAP LAMBERT Academic Publishing GmbH, Nordersteadt Reha GmbH, Saarbrücken, Germany, 2011.

3. Федотова Е.Л., Колдаев В. Д. Моделирование информационно-образовательных систем управления процессом обучения. Педагогическое образование и наука. МАНПО, 2012, № 4, с. 56-61.

4. Федотова Е.Л. Методологические принципы и модели профессиональной подготовки специалистов технического университета в области информационных технологий. Монография. М.: МИЭТ, 2012, 224 с.

5. Федотова Е.Л. Инновационные методы образовательных технологий в высшем образовании. Инновационные образовательные технологии. Сборник научных докладов научно-методического семинара 14.12.2012г. М.: ИГУПИТ, 2012, с.17 - 24.

6. Федотова Е.Л. Формирование информационной культуры специалиста в условиях информатизации образовательной среды вуза. Европа и современная Россия. Интегративная функция педагогической науки в едином образовательном пространстве. Материалы IX Международной научной конференции, 18-19 августа, 2012 г. Мадрид, М.: - МАНПО, 2012, с.41 - 416.

7. Юргенс: "Дельфийский метод" с российской спецификой - дальний прицел, Форум, 2006.

Рецензент: Барышев Александр Владимирович, доцент, кандидат технических наук, НОУ ВПО ИГУПИТ