Оценка эффективности процесса обучения при наличии сложных открытых задач с помощью экспертных методов Текст научной статьи по специальности «Экономика и бизнес»

Оценка эффективности процесса обучения при наличии сложных открытых задач с помощью экспертных методов

В.А. Латыпова Уфимский государственный авиационный технический университет

Аннотация: При управлении объектами в различных предметных областях возникает необходимость получения комплексной интегральной оценки: оценки, которая является индикатором наличия или отсутствия проблем в работе управляемого объекта. При управлении процессом обучения, когда в составе учебного курса содержатся сложные открытые задачи, также возникает необходимость получения интегральной оценки. В данной работе описана предлагаемая методика оценки эффективности обучения при наличии сложных открытых задач на основе расчета интегрального показателя с использованием экспертных методов. Методика внедрена в учебный процесс в Уфимском государственном авиационном техническом университете при проведении курсового проектирования по дисциплине «Высокоуровневое программирование». Использование данной методики позволило оценить учебный курс и выявить необходимость его доработки для улучшения эффективности обучения.

Ключевые слова: сложная открытая задача, автоматизированная проверка, эффективность обучения, оценка эффективности, интегральный показатель эффективности, свертка показателей, метод экспертной оценки

Введение

При управлении объектами, успешность или не успешность функционирования которых определяется значением ряда показателей, возникает необходимость получения комплексной интегральной оценки. Данная оценка служит индикатором наличия или отсутствия проблем в работе управляемого объекта, а ее динамика отражает эффективность предпринятых управляющих воздействий.

Интегральные показатели для оценки эффективности используются в различных предметных областях: при оценке информационной безопасности [1], при определении качества деятельности по охране здоровья [2], при оценке и прогнозировании финансового состояния предприятия [3], при оценке коммерческого потенциала высоких технологий [4], при оценке производственных комплексов электроэнергетики [5] и т.д. В обучении интегральный показатель используют для оценки компетентности студентов [6].

При управлении процессом обучения, когда в составе учебного курса содержатся сложные открытые задачи (далее СОЗ) [7], также возникает необходимость получения интегральной оценки. Однако данная проблема в существующих работах не решается.

Цель исследования - разработать методику оценки эффективности обучения при наличии СОЗ на основе расчета интегрального показателя с использованием экспертных методов.

1 Методика оценки эффективности процесса обучения при наличии СОЗ

Процесс выполнения СОЗ состоит из этапов, результаты выполнения которых фиксируются и используются для оценки эффективности как самого этапа, так и курса в целом. Для оценки эффективности всего учебного курса и каждого этапа строится математическая модель, которая разрабатывается по алгоритму, состоящему из последовательности действий:

1. определение частных показателей эффективности;

2. определение вида свертки частных показателей в интегральный;

3. определение весов показателей;

4. определение итоговой формулы расчета интегрального показателя эффективности;

5. определение способа нормирования абсолютных фактических значений показателей.

1.1 Построение модели оценки эффективности для оценки этапа курса

а) Определение частных показателей эффективности

Процесс обучения при наличии СОЗ характеризуется рядом показателей, которые рассчитываются по данным, полученным и накопленным в результате проверки уровня усвоения ЗУН и компетенций. Показатели определены в работе [8]. Множество показателей имеет вид:

П = {П1, П2, Пз, П4, П5},

где П1 - повторяемость ошибок у разных студентов; П2 - количество попыток сдачи одной работы (этапа); П3 - количество ошибок; П4 - процент ошибок бэкграунда; П5 - процент ошибок оформления.

б) Определение вида свертки частных показателей в интегральный Для оценки эффективности обучения используется интегральный (обобщенный) показатель, который может быть получен с помощью различных методов свертки, описанных в работе [9]. Может использоваться метод главного показателя, линейная (аддитивная) свертка (метод взвешенной суммы [10]), мультипликативная свертка. Первый метод не подходит, т.к. среди показателей нет главного, существенно отличающегося от остальных. Линейная свертка не подходит, т.к. низкая оценка по одному показателю не может быть компенсирована высокой оценкой по другим. Поэтому для оценки эффективности выбрана мультипликативная свертка. В данном случае интегральный показатель эффективности обучения рассчитывается по формуле [9]:

где п - количество показателей, п = 5; рг - вес /-го показателя.

в) Определение весов показателей

Частные показатели неодинаково влияют на интегральный показатель эффективности. Одни оказывают большее влияние, другие меньшее. Для определения степени влияния используются веса показателей. Для определения весов показателей используется метод экспертных оценок.

Используются групповая экспертная оценка и такой экспертный метод как анкетирование с обратной связью [11]. Применяется очное и заочное анкетирование (через электронную почту) в зависимости от предпочтений экспертов. В качестве экспертов были опрошены преподаватели с опытом преподавания дисциплин в полностью дистанционной форме не менее 3-х

Р =П ^ , Е Рг = 1,

(1)

г =1

г =1

лет и наличии полных методических пособий по проводимым курсам. Экспертами выступали преподаватели в должности доцента или старшего преподавателя с кафедр «Автоматизированные системы управления (далее АСУ)» и «Экономическая информатика» в Уфимском государственном авиационном техническом университете (далее УГАТУ). В анкетировании приняло участие 5 человек. Дистанционное обучение проводилось опрошенными преподавателями различными способами:

• с помощью системы Moodle;

• с помощью собственноручно разработанной системы;

• через электронную почту.

Существуют различные методы, с помощью которых можно оценить показатели, такие как: ранжирование, парное сравнение, множественное сравнение, непосредственная оценка (гиперупорядочение), последовательное сравнение и др. Данные методы рассмотрены в работах [11, 12] Рассмотренные методы, несмотря на различие, дают близкие результаты [11] Для оценивания критериев в данном случае используется метод ранжирования, который можно использовать при небольшом числе показателей. В результате использования данного метода показатели выстраиваются в упорядоченную последовательность. Каждому показателю назначается ранг. Ранг равен единице для наиболее предпочтительного показателя. Для второго по предпочтению показателя ранг равен двум и т.д. Так выставляются ранги для показателей со строгим порядком. Если между показателями присутствует отношение эквивалентности, когда показатели для эксперта одинаковы по важности, то для таких показателей назначаются одинаковые ранги. Значение ранга в данном случае рассчитывается как среднее арифметическое значений рангов для данных показателей. [11, 13].

В результате экспертной оценки формируется матрица рангов Я. Далее строится обобщенная ранжировка. Применение методики вычисления

1

медианы или средней ранжировки связано с большой сложностью расчетов. Используется более простой метод: метод суммы рангов. Данный метод заключатся в том, что показатели ранжируются по сумме рангов, которые были даны всеми экспертами. [11].

Суммы рангов рассчитываются по формуле [11]:

1 , (2)

]=1

где I - номер показателя, I = 1, 2... т, т = 5; I - количество экспертов, I = 5.

В таблице №1 представлены результаты ранжирования показателей обучения экспертами дистанционного обучения.

Таблица № 1

Ранжирование показателей процесса обучения

Эксперт, Показатель

№ П1 П2 П3 П4 П5

1 1 2 3 4 5

2 3 2 1 4 5

3 1,5 3 1,5 4 5

4 1 3 4 2 5

5 3 4 1 5 2

г, 9,5 14 10,5 19 22

Сумма рангов показывает степень предпочтения показателя. Показатель с наименьшим значением суммы рангов является самым важным, а показатель с наибольшим значением - самым последним по важности. Таким образом, коллективное предпочтение показателей имеет вид:

п ^ п3 ^ п 2 ^ п4 ^ п5

Для оценки согласованности мнений экспертов используются коэффициенты:

:

• конкордации. Используется, когда количество экспертов более 2;

• ранговой корреляции: Кендалла и Спирмена. Используется, когда количество экспертов равно 2 [11].

Для определения согласованности экспертов в данном случае используется дисперсионный коэффициент конкордации, т.к. количество экспертов равно 5. Данный коэффициент при отсутствии связанных рангов рассчитывается по формуле [13]:

• , (3)

I (т - т)

где Ж - сумма квадратов фактических отклонений сумм рангов для каждого показателя от среднего значения.

Ж рассчитывается по формуле [11]:

т I _

ж = Е (Е ^ - Г)2, (4)

¿=1 }=\

где г - среднее значение суммы рангов для одного показателя.

Среднее значение суммы рангов для одного показателя рассчитывается по формуле [11]:

Г = 21 (т +1) (5)

Коэффициент конкордации при наличии связанных рангов рассчитывается по формуле [11]:

*=-шг, (6)

12 (т3 - т) -1Е В

1=1

где В - показатель связанности рангов в ранжировке 1-го эксперта.

Показатель связанности рангов В рассчитывается по формуле [11]:

в = Е (*? - ^), (7)

г=1

:

где Sj - количество наборов одинаковых рангов в ранжировке у-м экспертом; st - количество одинаковых рангов в наборе ? при ранжировании у-м экспертом.

При К = 1 мнения экспертов совпадают, при К, близком 0, различия во мнениях очень сильны [13]. Оценка значимости коэффициента конкордации при количестве показателей от 3 до 7 и количестве экспертов от 3 до 20 определяется с помощью таблиц, представленных в работе [13]. Если количество показателей и экспертов больше, то для оценки используется хи-квадрат распределение с степенью свободы т -1. Таблицы содержат значения Ж, соответствующие 1 и 5% уровню существенности. Если рассчитанное значение более табличного, то это говорит о том, что мнения экспертов согласованы.

Далее проведем расчет коэффициента конкордации для определения согласованности мнения экспертов при ранжировании показателей эффективности обучения при наличии СОЗ. Так как в полученных ранжировках есть связанные ранги, то для расчета коэффициента конкордации используем формулу (6).

Г = 1 • 5(5 +1) = 15 2

Ж = (9,5 -15)2 + (14 -15)2 + (10,5 -15)2 + (19 -15)2 + (22 -15)2 = 116,5

В = 23 - 2 = 6

12 • 116,5

К = ---= 0,47

52(53 - 5)-6

Далее оценим значимость коэффициента конкордации. Табличное значение Ж равно 112,3 для 5% и 142,8 для 1% уровня существенности. 116,5>112,3, Следовательно, значение коэффициента конкордации существенно с 5%-м уровнем существенности. Соответственно, мнения экспертов согласованы.

Для получения весовых коэффициентов показателей необходимо нормировать полученные суммы рангов для показателей. Сначала полученные ранги преобразуются следующим образом: самый высокий ранг 1 заменяется самым низким рангом 5, ранг 2 - рангом 4 и т.д. Т.е. ранжирование представляется в обратном порядке. В таблице № 2 представлены преобразованные ранги.

Таблица № 2

Ранжирование показателей процесса обучения в обратном порядке

Эксперт, № Показатель

П1 П П3 П4 П5

1 5 4 3 2 1

2 3 4 5 2 1

3 4,5 3 4,5 2 1

4 5 3 2 4 1

5 3 2 5 1 4

* Г i 20,5 16 19,5 11 8

Нормирование проводится по формуле:

*

Г,

Рг =-т—, ЕРг = 1, А е [0;1] (8)

Е'

г,* ¿=1

г=1

Подобная методика определения весов использовалась в работе [14] при сравнении результатов метода ранжирования с другими методами оценки.

Использовав формулу (8), получаем следующие значения весовых коэффициентов показателей:

рх = 0,27, р2 = 0,21, р3 = 0,26, р4 = 0,15, р5 = 0,11

Таким образом, формула расчета интегрального показателя эффективности принимает следующий вид:

1

Р - у °.27 * у °.21 * у °.26 * у 0,15 * у 0,11 (9)

г) Определение способа нормирования фактических абсолютных значений показателей.

Нормирование используется для того, чтобы все критерии привести к одной мере и использовать для расчетов не абсолютные значения критериев, а относительные. Для нормирования используется шкала Харрингтона, приведенная в таблице № 3.

Таблица № 3

Шкала Харрингтона [15]

Качественное значение Количественное значение

Отлично 1,0 - 0,8

Хорошо 0,8 - 0,63

Средне 0,63 - 0,37

Плохо 0,37 - 0,2

Очень плохо 0,2 - 0,0

Минимальное недопустимое значение для каждого показателя соответствует верхней границе «плохо» шкалы Харрингтона и имеет количественное значение, равное 0,37. Максимальное значение показателя при нормировании получает значение 1, а минимальное - значение 0.

В таблице № 4 представлены усредненные минимальные недопустимые значения показателей.

Таблица № 4

Усредненные минимальные недопустимые значения показателей

Показатель П1, % П2 П3 П4, % П5, %

Среднее значение 45 4,4 4,6 32 26

Минимальные значения для всех показателей равны 0. Максимальное значение показателей, выражаемых в процентах равно 1 (соответствует 100%). Максимальные значения показателей, выражаемых не в процентах, определяются экспертно. В таблице № 5 приведены данные значения для показателей П2 и П3.

Таблица № 5

Максимальные значения показателей, полученные экспертно.

Эксперт, № Показатель

П2 П3

1 8 20

2 10 20

3 8 12

4 8 12

5 8 10

Максимальное значение показателей П2 и П3 определяется по формуле: Хтахг = Бир{М}, (10)

где М - множество ответов экспертов; I - номер показателя.

Нормирование значений показателей производится по формуле:

Хф

/г =

1 - 0,63-^, V < X ,

' 5 факт г доп г '

0,37(1 - ), х^> X.

Хтах г Хдоп г

, (11)

факт г ~ Лдоп г '

где £ - нормированное значение г-го показателя; Хфактг - фактическое значение г-го показателя; хдопг - минимальное недопустимое значение г-го показателя; хтахг - максимальное значение г-го показателя.

1.2 Построение модели оценки эффективности для оценки учебного

курса в целом

Частными показателями для оценки эффективности всего курса являются интегральные показатели эффективности каждого этапа курса. Используется мультипликативная свертка, т.к. все показатели важны, и низкое значение даже одного показателя должно явно отражаться в интегральной оценке, не компенсируясь высокими значениями других показателей. Все показатели имеют одинаковый вес, т.к. нет приоритета в качественном выполнении того или иного этапа.

Формула расчета интегрального показателя эффективности учебного

курса:

где 5* - количество этапов в курсе; Р - значение интегрального показателя эффективности /-го этапа.

Нормирование значений интегральных показателей эффективности этапов курса не производится, т.к. для оценки эффективности всего курса и эффективности этапа используется одинаковая шкала.

Если значение данного показателя невысокое, то из этого следует, что в курсе есть проблемные этапы, и необходим дальнейший анализ уже самих этапов.

Интегральные показатели, собранные за несколько лет, дают возможность анализировать динамику эффективности курса, наблюдать, как повлияли те или иные управляющие воздействия на учебный курс.

Пример расчета интегрального показателя эффективности обучения по учебному курсу «Высокоуровневое программирование» (курсовое проектирование), который проводился в 2012-2013 учебном году в УГАТУ, на кафедре «АСУ» у студентов 2 курса направления «Прикладная

р = (П р )5,

(12)

2. Эксперимент и результаты

информатика». Данные для расчета интегрального показателя были собраны в результате автоматизированной проверки работ [16].

Цель эксперимента - использовать методику оценки эффективности процесса обучения в учебном процессе.

По процессу обучения для этапа № 1 были получены абсолютные значения показателей Хфакт и вычислены их относительные значения /, представленные в таблице № 6.

Таблица № 6

Относительные значения показателей для этапа № 1

Показатель Повторяемость ошибок Количество попыток сдачи одной работы Количество ошибок Количество ошибок бэкграунда Количество ошибок оформления

/ 0,1 0,86 0,31 0,78 0,2

Так как в курсе только один этап, то интегральный показатель эффективности курса равен интегральному показателю эффективности этапа № 1.

¥с = ^ = 0,10,27*0,860,21*0,31°,26*0,780Д5*0,20Д1 = 0,31.

Значение 0,31 - низкое значение и соответствует оценке «плохо», а это говорит о том, что прохождение курса было неуспешным и необходимо корректировать курс.

Таким образом, подсчет интегрального показателя, позволил оценить курс и выявить необходимость его доработки для улучшения эффективности обучения.

Выводы

Разработана методика оценки эффективности обучения при наличии СОЗ с использованием экспертных и статистических методов. Для оценки эффективности обучения рассчитывается интегральный показатель эффективности для каждого этапа обучения. Данный показатель информирует преподавателя, есть ли в заданном этапе обучения проблемы.

Методика была апробирована при проведении обучения в УГАТУ. Интегральный показатель эффективности обучения был определен на основе собранной статистики по решению СОЗ: выполнению курсового проекта по дисциплине «Высокоуровневое программирование».

Литература

1. Ажмухамедов И. М. Моделирование на основе экспертных суждений процесса оценки информационной безопасности // Вестник АГТУ.Сер.: Управление, вычислительная техника и информатика. 2009. №2. С.101-109.

2. Финагин В.Г. Определение качества деятельности образовательного учреждения по охране здоровья методом экспертных оценок // Качество инновации образование. 2008. №11.С.31-36.

3. Методика многоуровневой агрегированной оценки и прогнозирования финансового состояния предприятия / А.А. Ахрамейко, Б.А. Железко, А.Н.Морозевич // Аудит и финансовый анализ. 2003. №1. URL: auditfin.eom/fin/2003/1/fin_2003_01_rus_02_04_Ahromeyko/fin_2003_01_rus_0 2_04_Ahromeyko.asp.

4. Zemlickienè V., Podvezko V., Ustinovicius L. Evaluation of the commercial potential of high technologies // Economies and Management. 2014. №4. рр. 54-71. DOI: 10.12846/j.em.2014.04.04.

5. Гибадуллин И.А. Методика оценки производственных комплексов электроэнергетики // Инженерный вестник Дона. 2014. №2. URL: ivdon.ru/ru/magazine/archive/n2y2014/2335.

6. Сибикина И. В. Процедура оценки компетентности студентов вуза, обучающихся по направлению «Информационная безопасность» // Вестник АГТУ. Сер: Управление, вычислительная техника и информатика, 2011. № 1. С. 200-205.

7. Латыпова В.А. Сложные открытые задачи в смешанном и дистанционном автоматизированном обучении // Инженерный вестник Дона. 2015. №3. URL: ivdon.ru/ru/magazine/archive/n3y2015/3211.

8. Латыпова В.А. Управление процессом обучения на основе процессного подхода при автоматизированной проверке сложных открытых задач // Интернет-журнал «Науковедение». 2015. Том 7. №6. naukovedenie.ru/PDF/147TVN615.pdf, англ. DOI: 10.15862/147TVN615.

9. Асланов М.А., Кузнецов В.В., Макаров Ю.Н., Мальчесвский А. А., Шатраков А.Ю. Системный анализ и принятие решений в деятельности учреждений реального сектора экономики, связи, транспорта /, Под ред. В.В. Кузнецова. М.: Экономика, 2010. 408 с.

10. Егорова Н.Е., Торжевский А.П. Многокритериальная оптимизация в принятии плановых решений на уровне предприятия // Модели и методы решения задач взаимодействия экономических систем. Новосибирск: Наука, 1982 . С. 114-126.

11. Евланов Л.Г., Кутузов В. А. Экспертные оценки в управлении. М.: Экономика, 1978. 133 с.

12. Литвак Б.Г. Экспертная информация: Методы получения и анализа. М.: Радио и связь, 1982. 184с.

13. Kendall M.G. Rank correlation methods. London: Charles Griffin, 1955. 202p.

14. Экенроде Р.Т. Взвешенные многомерные критерии // Статистическое измерение качественных характеристик. М.: Статистика, 1972. С. 139-154.

15. Федорец О.В. Коллективная экспертиза научных журналов: методика агрегирования экспертных оценок и построения рейтинга // Управление большими системами: сборник трудов. 2009. №27. С.12-35.

16. Латыпова В.А. Методика и инструментальное средство автоматизированной проверки работ со сложным результатом на основе использования банка ошибок // Наука и бизнес: пути развития. 2015. №7 (49). С.41-47.

References

1. Azhmukhamedov I.M. Vestnik AGTU.Ser.: Upravlenie, vychislitel'naya tekhnika i informatika. 2009. №2. pp.101-109.

2. Finagin V.G. Kachestvo innovatsii obrazovanie. 2008. №11.pp.31-36.

3. A.A. Akhrameyko, B.A. Zhelezko, A.N.Morozevich Audit i finansovyy analiz. 2003. №1. URL: auditfin.com/fin/2003/1/fin_2003_01_rus_02_04_Ahromeyko/fin_2003_01_rus_0 2_04_Ahromeyko.asp.

4. Zemlickienè V., Podvezko V., Ustinovicius L. Economics and Management. 2014. №4. pp.54-71. DOI: 10.12846/j.em.2014.04.04.

5. Gibadullin I.A. Inzenernyj vestnik Dona (Rus). 2014. №2. URL: ivdon.ru/ru/magazine/archive/n2y2014/2335.

6. Sibikina I. V. Vestnik AGTU. Ser.: Upravlenie, vychislitel'naya tekhnika i informatika, 2011. № 1. pp. 200-205.

7. Latypova V.A. Inzenernyj vestnik Dona (Rus). 2015. №3. URL: ivdon.ru/ru/magazine/archive/n3y2015/3211.

8. Latypova V.A. Internet-zhurnal «Naukovedenie». 2015. Tom 7. №6. naukovedenie.ru/PDF/147TVN615.pdf, angl. DOI: 10.15862/147TVN615.

9. Aslanov M.A., Kuznetsov V.V., Makarov Yu.N., Mal'chesvskiy A.A., Shatrakov A.Yu. Sistemnyy analiz i prinyatie resheniy v deyatel'nosti uchrezhdeniy real'nogo sektora ekonomiki, svyazi, transporta [System analysis and

decision-making in the institutions of the real sector of economy, communication, transportation activities]. Pod red. V.V. Kuznetsova. M.: Ekonomika, 2010. 408 p.

10. Egorova N.E., Torzhevskiy A.P. Modeli i metody resheniya zadach vzaimodeystviya ekonomicheskikh sistem. Novosibirsk: Nauka, 1982. pp. 114126.

11. Evlanov L.G., Kutuzov V.A. Ekspertnye otsenki v upravlenii [Expert evaluation in management]. M.: Ekonomika, 1978. 133p.

12. Litvak B.G. Ekspertnaya informatsiya: Metody polucheniya i analiza [Expert information: obtaining and analysis methods]. M.: Radio i svyaz', 1982. 184p.

13. Kendall M.G. Rank correlation methods. London: Charles Griffin, 1955. 202p.

14. Ekenrode R.T. Statisticheskoe izmerenie kachestvennykh kharakteristik [Statistical measurement of qualitative characteristics]. M.: Statistika, 1972. pp. 139-154.

15. Fedorets O.V. Upravlenie bol'shimi sistemami: sbornik trudov [Large systems nanagement: collection of scientific papers]. 2009. №27. pp.12-35.

16. Latypova V.A. Nauka i biznes: puti razvitiya. 2015. №7 (49). pp.4147.