Диагностика и управление профессиональными образовательными программами с использованием нечетких экспертных и статистических оценок Текст научной статьи по специальности «Математика»

ISSN 1560-3644 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.

TECHNICAL SCIENCE. 2O2O. No 2

УДК 004.912:004.853:519.233.6 DOI: 10.17213/1560-3644-2020-2-29-40

ДИАГНОСТИКА И УПРАВЛЕНИЕ ПРОФЕССИОНАЛЬНЫМИ ОБРАЗОВАТЕЛЬНЫМИ ПРОГРАММАМИ С ИСПОЛЬЗОВАНИЕМ НЕЧЕТКИХ ЭКСПЕРТНЫХ И СТАТИСТИЧЕСКИХ ОЦЕНОК

© 2020 г. Д.В. Гринченков1, Т.В. Лобова1, А.Н. Ткачев1, Нгуен Фук Хау12, Д.Н. Кущий1, В.Д. Гринченков1, Г.С. Цупко1

1Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия, 2Университет Шао-До, г. Чи Линь, Провинция Хай Зыонг, Вьетнам

DIAGNOSTICS AND MANAGEMENT OF PROFESSIONAL EDUCATIONAL PROGRAM USING FUZZY EXPERT AND STATISTICAL ASSESSMENTS

D.V. Grinchenkov1, T.V. Lobova1, A.N. Tkachev1, Nguyen Phuc Hau1'2,

D.N. Kushchiy1, V.D. Grinchenkov1, G.S. Tsupko1

1Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia, 2Sao Do University, Chi Linh Town, Hai Duong Province, Vietnam

Гринченков Дмитрий Валерьевич - канд. техн. наук, доцент, декан факультета информационных технологий и управления, зав. кафедрой «Программное обеспечение вычислительной техники», Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия. E-mail: grindv@yandex.ru

Лобова Татьяна Владимировна - ст. преподаватель, кафедра «Прикладная математика», Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия. E-mail: qwest64@yandex.ru

Ткачев Александр Николаевич - д-р техн. наук, профессор, академик Академии транспорта России, зав. кафедрой «Прикладная математика», Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия. E-mail: tkachev.an@mail.ru

Нгуен Фук Хау - специалист учебного отдела, ун-т Шао-До, г. Чи Линь, Провинция Хай Зыонг, Вьетнам. Аспирант, кафедра «Программное обеспечение вычислительной техники», Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия. E-mail: phuchauptit@gmail.com

Кущий Дарья Николаевна - ст. преподаватель, кафедра «Программное обеспечение вычислительной техники», Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия. E-mail: dkushchiy@rambler.ru

Гринченков Валерий Дмитриевич - инженер НовоЦНИТ, Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия. E-mail: greench161@yandex.ru

Цупко Георгий Сергеевич - аспирант, кафедра «Программное обеспечение вычислительной техники», Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия. E-mail: Skaara911 @gmail.com

Grinchenkov Dmitriy V. - Candidate of Technical Sciences, Assistant Professor, Dean of Information Technology and Control Department, Head of Department «Software Computer Engineering», Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia. E-mail: grindv@ yandex.ru

Lobova Tatyana V. - Senior Lecturer, Department «Applied Mathematics», Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia. E-mail: qwest64@yandex.ru

Tkachev Alexandr N. - Doctor of Technical Sciences, Professor, Academician of the Academy of Transport of Russia, Head of Department «Applied Mathematics», Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia. E-mail: tkachev.an@mail.ru

Nguyen Phuc Hau - Specialist of Training Department, Sao Do University, Chi Linh Town, Hai Duong Province, Vietnam. Graduate Student, Department «Software Computer Engineering», Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia. E-mail: phuchauptit@gmail. com

Kushchiy Daria N. - Senior Lecturer, Department «Software Computer Engineering», Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia. E-mail: dkushchiy@rambler.ru

Grinchenkov Valeriy D. - Engineer of NovoCNIT, Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia. E-mail: greench161@yandex.ru

Tsupko Georgiy S. - Graduate Student, Department «Software Computer Engineering», Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia. E-mail: Skaara911@gmail. com

ISSN 1560-3644 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION. TECHNICAL SCIENCE. 2020. No 2

Рассматривается задача диагностики профессиональных образовательных программ с использованием набора факторов, характеризующих эффективность их реализации, результативность и целевую направленность. Определяющие факторы оцениваются по результатам опроса обучаемых, преподавателей, работодателей, а также по отзывам, содержащимся в Интернете. Предложен новый подход к статистической обработке данных и интерпретации результатов опроса с использованием полученных оценок определяющих факторов и показателей, характеризующих их достоверность. Возможность применения разработанных методик для обработки полученных путем опроса данных подтверждена на тестовых задачах. Интегральные показатели, характеризующие образовательные программы по направлениям: административное управление, качество ППС, содержание, материально-техническое обеспечение, оцениваются путем свертки показателей, по отдельным факторам. При свертке используются весовые коэффициенты, найденные по результатам опроса методом парных сравнений. Управление образовательной программой выполняется путем нахождения приоритетов всех определяющих факторов и выбора из них тех, которые нуждаются в первоочередной корректировке. Эти факторы находятся как оптимальные по Парето решения сформулированной двухкритериальной задачи. Приводится пример применения разработанного инструментария для диагностики реализуемой в вузе образовательной программы и управления ею.

Ключевые слова: образовательная программа; диагностика; управление; определяющие факторы; наиболее вероятные оценки; статистическое усреднение; экспертные оценки; множество оптимальных решений; приоритеты управления.

In article the problem of diagnostics of professional educational programs is considered. A set of factors is used to determine the effectiveness of implementation, effectiveness and target orientation. Factors are evaluated based on the results of a survey of students, teachers, employers, as well as reviews on the Internet. A new approach to statistical data processing and interpretation of the survey results using the obtained estimates, determining factors and indicators characterizing their reliability is proposed. The possibility of using the developed methods for processing the data obtained by polling has been confirmed on test tasks. Integral indicators that characterize educational programs on administrative management, quality of teaching staff, content and material support are evaluated by combining indicators that characterize individual factors. The convolution uses the weights found from the results of the pair comparison survey. The education program is managed by prioritizing all determinants and selecting from them those that need to be adjusted first. These factors are found as Pareto optimal solutions to the formulated two-criteria problem. An example of the application of the developed tools for diagnostics of the educational program implemented in the university and its management is given.

Keywords: education program; diagnostics; management; determining factors; most likely estimates; statistical averaging; expert assessments; many optimal solutions; management priorities.

Постановка задачи

Разработке инструментальных методов диагностики, реализуемых образовательными учреждениями (ОУ), профессиональных образовательных программ (ПрОП) посвящено большое число публикаций [1 - 10]. Создаваемый инструментарий должен позволять выполнить оценку соответствия ПрОП запросам рынков труда и образовательных услуг, осуществлять их мониторинг и управление с целью достижения целевых установок работодателей и обучаемых. Он должен также учитывать мнение всех заинтересованных сторон и обеспечивать возможность анализа основных составляющих обеспечения ПрОП, связанных с планированием, организацией и реализацией учебного процесса.

Учебный процесс по каждой конкретной ПрОП характеризуется:

- административным обеспечением, организацией учебного процесса и его информационной поддержкой;

- набором дисциплин учебного плана и их содержанием;

- кадровым обеспечением, квалификацией преподавателей;

- используемым оборудованием, материально-техническим, методическим и программным обеспечением.

Перечисленные компоненты организации и реализации учебного процесса в рамках конкретной ПрОП можно рассматривать как управляемые переменные (факторы). Их планирование, корректировка, уточнение и модернизация должны выполняться с учетом мнений всех заинтересованных сторон, с использованием всех доступных информационных каналов.

Оценка (диагностика) ПрОП может быть выполнена по результатам опросов обучаемых, работодателей, профессорско-преподавательского состава (ППС), участвующего в реализации ПрОП, а также путем обработки отзывов, содержащихся в сети Интернет. Оценки, полученные с

ISSN 1560-3644 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.

TECHNICAL SCIENCE. 2020. No 2

использованием этих четырех информационных каналов, не могут быть точно определенными и поэтому их следует рассматривать как нечеткие показатели, используемые для управления ПрОП. В некоторых случаях они могут оказаться не согласованными, а часто даже противоречивыми. Поэтому управленческие решения, принимаемые на их основе, должны использовать результаты выполненных оценок агрегированно: с помощью компромиссных решающих правил, учитывающих нечеткость полученных данных и степень важности отдельных компонент, характеризующих ПрОП в целом. Решение такой задачи приводится в настоящей статье.

Предлагается оценку основных направлений обеспечения ПрОП выполнять с использованием ответов на вопросы анкет, которые дают все заинтересованные стороны. На все вопросы анкеты респондентам предлагается дать четыре ответа, позволяющих оценить степень обеспеченности указанной в вопросе составляющей ПрОП, ее важность, а также уверенность в ответах.

При обработке результатов опроса решаются следующие задачи:

1. Интерпретации ответов на каждый вопрос анкеты, при которой учитываются риски ошибок и мнения всех участников из каждой рассматриваемой группы (задача статистической обработки и интерпретации нечетких оценок).

2. Нахождение интегрированной оценки агрегированно, учитывающей мнения всех участников по каждому из рассматриваемых направлений обеспечения и реализации ПрОП (задача построения взвешенных экспертных оценок).

3. Выполнение комплексной диагностики всей образовательной программы в целом.

4. Формулировка рекомендаций по корректировке содержания, технологий, условий реализации, кадрового и материально-технического обеспечения ПрОП с указанием их приоритетов в соответствии со сделанными оценками уровня и степени важности основных факторов.

Интерпретация результатов на уровне одного вопроса анкеты

Задача статистической обработки и интерпретации имеющихся ответов по одному из вопросов анкеты решается на первом этапе их обработки для всех респондентов и подлежащих оценке направлений обеспечения ПрОП.

Рассмотрим один из вопросов анкеты, на который респондент дает четыре ответа: хк - оценка деятельности ОУ в рамках обеспече-

ния ПрОП по направлению, указанному в вопросе, в установленной шкале (от 1 до 9); Рк - степень уверенности в ответе хк (в процентах от 0 до 100 %); ук - оценка степени важности учета этого направления при общей оценке ПрОП; Qk - степень уверенности в оценке ук (в процентах от 0 до 100 %).

Заметим, что в ответах могут содержаться нулевые оценки хк = 0 и ук = 0. Последнее указывает, что респондент затрудняется ответить на вопрос. Такой результат анкетирования из рассмотрения будем исключать.

Будем рассматривать оценку, соответствующую вопросу анкеты, как случайную величину Х, которая может принимать любое из значений хг = 1, 9. С учетом оценки хк, указанной респондентом в ответе на вопрос анкеты, примем для соответствующей вероятности

X = xk } = Рк

(1)

где хк - указанный ответ; рк - вероятность, равная приведенной величине надежности по отно-

р

шению к 100 %, то есть р =——.

100

Значение хк и вероятность рк вида (1) будем интерпретировать как наиболее вероятное значение случайной величины X и соответствующую ему вероятность. В качестве итоговой оценки х на вопрос анкеты примем математическое ожидание случайной величины X, равное

9 9

x = МХ = Х x Pi =Z iPi ■

(2)

i=1

i=1

В сумме (2) в результате анкетирования окажется определенной только одна вероятность рк согласно условию (1). Для нахождения остальных вероятностей примем следующие допущения.

1. Будем считать, что при отклонении от точки хк, указанной в ответе на вопрос анкеты, влево или вправо вероятности р, (/ < к, 7 > к) убывают, т.е.

Рг < Рг+1 при / < к-1 ;

Рг+1 < Рг при г ^ к-1 .

Такое допущение представляется вполне естественным, так как наличие в анкете оценки хк = к означает, что респондент наиболее уверен в ней, т.е. считает это значение наиболее вероятным. При этом Рк = тахрг.

1<г<9

ISSN 1560-3644 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.

TECHNICAL SCIENCE. 2020. No 2

2. Изменение вероятностей при 7 < к и 7 > к опишем соответственно возрастающей и убывающей функциями аргумента х7 = 7:

Рг = /(хг ) , г < к; Л = /2(хг X г > к. (3)

3. Вероятности оценок х7 < хк и х7 > хк, равные вероятностям принятия случайной величиной X указанных значений, являются равно-возможными. С учетом того, что случайные отклонения при оценках от указанной в ответе величины хк могут быть как в сторону увеличения, так и в сторону уменьшения.

Функции /1(хг) и /2 (хг) могут быть заданы точно только в том случае, когда известен закон распределения случайной величины X, т.е. при известных вероятностях рк вида (1) для всех к = 1, 9 . Имеющиеся варианты ответов на вопросы не позволяют напрямую из анкет такую зависимость получить. Укажем два приближенных способа определения зависимостей (3).

Будем считать, что функции (3) являются линейными. Учтем, что при принятой шкале оценивания вопроса выполняется

р{Х = 0}= 0; Р{Х = 10} = 0, (4)

так как ответы с оценками хк = 0 и хк = 10 после первичной обработки анкет (при исключении анкет с оценкой хк = 0) в анкетах содержаться не могут.

Принятым допущениям и условиям (4) удовлетворяют функции, показанные на рис. 1.

Рис. 1. Линейная аппроксимация вероятностей / Fig. 1. Linear approximation of probabilities

Эти функции задаются равенствами:

Рг = fx (x )=Axi, г < k; Р, = / (x )=в (io - x), г > к,

(5)

где А, В - подлежащие определению постоянные. Для нахождения постоянных А, В воспользуемся допущением 2 и условием вероятностей

9

IРг = 1.

г =1

С учетом допущения 3 получаем

Р{X < Хк} = Р{X > Хк} = . Отсюда имеем

л 1 - Рк к-1 ^ 1 - Рк

X Ax, ; ZАг = - к

i\i< Xfc

2

i=i

2

Суммируя арифметическую прогрессию,

получаем

A =

1" Pk

(6)

к (к —1)'

Для нахождения постоянной В в формуле (5) будем действовать аналогично предыдущему случаю. С учетом допущения (3) имеем

9 1 - п

I В (10 - г )= 1 В (10 - г) = ^.

г: хг>хк г=к—1 2

Выполняя суммирование, находим

B =

1" Pk

(9 - k )(10 - k )'

(7)

Равенства (5) - (7) полностью определяют вероятности (1) закона распределения случайной величины Х. В качестве итоговой оценки, в соответствии с вопросом анкеты, усредненно учитывающей риски того, что ответ анкеты Х = хк может оказаться ошибочным, примем математическое ожидание величины Х, равное

9

х = МХ = 1 г/ (г), (8)

г=1

где функция Д7) с учетом равенств (1), (3) задается следующим образом:

f (i ) =

Pk,i = k; f1 (i),i < k; f2 (i), i > k.

(9)

Линейную аппроксимацию распределения случайной величины Х можно использовать в случае, когда оценки выполнены с невысокой надежностью, при рк < 0,7. В случае высокой надежности оценок (при рк > 0,7) следует ожидать, что при смещении от точки хк вправо или влево вероятности будут убывать быстрее, чем по линейному закону. Это можно учесть, если функции (3) описать квадратичными зависимостями вида (рис. 2):

Рг = /1 (хг ) = г < к;

Pi = f2 (x ) = в (10 - x )2, i > k.

ISSN 1560-3644 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.

TECHNICAL SCIENCE. 2020. No 2

График функции (10) показан на рис. 2.

Рк

Г

Рк-1

Рк+1

xk-2 xk-1

xk+1 xk+2

10

Рис. 2. Квадратичная аппроксимация вероятностей / Fig. 2. Quadratic approximation of probabilities

С учетом допущения 3 выполняется:

k-1 A^i2 =

i=1

1 - Pk .

1 - Pk

; В Si10 - i )2 =

2 i=k+1 2

. (11)

Обозначим через Е^) сумму

Р ( * ) = 1г2,

г=1

тогда с учетом формулы (11) получаем

A =

1 - Pk 2 F (k -1) ■

Заметим, что

9

I

i=k+1 ¿=1 Учитывая равенство (11), имеем

9 10-k -1 „ S (10 -i)2 = S j = F(10 - k -1).

В =

1 - Pk

2F (10 - k -1)'

ностью оценивать математическое ожидание случайной величины X с использованием степенной аппроксимации ее закона распределения по известному, наиболее вероятному, значению хк и соответствующей ему вероятности рк. Погрешность такой оценки не превысила 3 % при варьировании значений вероятности собы-тияр от 0,5 до 0,95.

При оценке важности каждого фактора, характеризующего ПрОП, поступим аналогичным образом. Для измерения степени важности будем использовать девятибалльную шкалу у = 1,9, рассматривая уровень важности фактора

У как случайную величину с законом распределения вида:

р{У = у } = %, % = , г = 19, (12)

где в формуле (12) вероятность дк при 7 = к определяется значением Qk, указанным в анкете. Тогда, используя линейную или квадратичную аппроксимацию для закона распределения (12), можно определить все остальные вероятности при 7 Ф к. После этого приведенная оценка у степени значимости вопроса находится по формуле

y = S if (i),

(13)

i=1

где f (i) задается равенством, аналогичным (9):

f (i ) =

qk,i = k; f1 (i),i < k; f2 (i), i > k.

После того, как функции /1(7), /2(7) определены как квадратичные (10), обобщенную оценку по вопросу анкеты с учетом риска ошибки можно выполнять по формуле (8).

Для оценки возможности описания закона распределения с использованием линейной и квадратичной функций был проведен численный эксперимент. Рассматривалась случайная величина вида X = ^ + 1, где величина ^ является биномиальной, соответствующей п = 8 испытаниям с заданной вероятностью появления события р [11]. При этом X принимает значения от 1 до 9. Решалась задача восстановления вероятностей закона распределения величины X и нахождения ее математического ожидания по одному наиболее вероятному значению X. Результаты выполненных расчетов показали, что предложенная процедура позволяет с удовлетворительной точ-

Введем в рассмотрение еще одну случайную величину Z, учитывающую одновременно при общей оценке ПрОП оценку фактора X и степень его значимости У. Положим случайную величину 2 равной:

2 = ХУ +19.

Считая пару X, У ответов на вопросы анкет независимыми случайными величинами, имеем

Ш = 2 = МХМУ +19 = ху +19. (14)

Тогда для математического ожидания 2 величины X выполняется: 20 < 2. < 100.

Заметим, что величина X имеет следующий смысл: ее значение тем больше, чем выше поставленная респондентом оценка X и чем больше важность учета рассматриваемого фактора У при организации учебного процесса в рамках ПрОП.

9

ISSN 1560-3644 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.

TECHNICAL SCIENCE. 2020. No 2

Условимся в дальнейшем обозначать операцию нахождения приведенных статистических оценок х, у, г (8), (13), (14) на нижнем уровне по результатам обработки одной анкеты по одному из вопросов через М0. При этом в соответствии с описанным алгоритмом выполнится

х = МоX; у = М0У; г = М02. (15)

Рассмотрим теперь задачу обработки всех имеющихся анкет по одному и тому же вопросу, считая, что ответы даются однородными группами респондентов (обучаемые, работодатели, III 1С ) и формируются по отзывам в Интернет. Результат анкетирования /-го респондента (ответы на вопрос) будем описывать с помощью независимых случайных величин X/, У/.

Используя операцию (15), найдем приведенные оценки /-го респондента, учитывающие риск ошибки. Используя обозначения (15), получим

X; = МоХ,; у, = МоТ1; г, = Мо2;, ; = (16)

где т - число респондентов (обработанных анкет в одной из групп); 2; = Х;У; +19.

Итоговую оценку, учитывающую мнение всех респондентов группы, определим так:

^ т ^ т \ т

х=—ЕмоХ,; у=—ЕмоГ 5=—^м02Г (17)

т у=1

т

У=1

т у=1

Операцию нахождения оценок (16), (17), соответствующих первому уровню агрегирования (уровень одного вопроса в пределах одной группы респондентов), с учетом мнения всех респондентов обозначим через М1. При этом формально получаем:

х=М1{х)- у=М1(¥); г=М1(Щ,

где X = (Х1, Х2,..., Хп ), У = (Уь У2,..., Уп), 2 = (21, 22,..., 2п) - векторы реализаций случайных оценок респондентов с компонентами Х,., У,, 2,, ; = 1, т, соответственно.

Интегрированная оценка направлений организации и обеспечения образовательной программы

При нахождении интегрированной оценки определенных выше четырех направлений организации и обеспечения ПрОП будем использовать следующие обозначения. Введем в рассмотрение

равные оценкам уровня и степени важности при реализации фактора, соответствующего 7-му вопросу анкеты, выполненному /-м респондентом (содержащемуся в /-й анкете) при условии, что оценка выполняется 5-й группой респондентов по I-му направлению обеспечения ПрОП. При этом будем считать, что I = 1,4 так что:

- I =1 соответствует оценке административного управления образовательным процессом в рамках ПрОП;

- I = 2 соответствует оценке содержания, используемых методик и технологий обучения;

- I = 3 соответствует оценке кадрового состава ППС, реализующего ПрОП;

- I = 4 соответствует оценке материально-технического обеспечения (МТО) образовательной программы.

Переменная может принимать значения 5 = 1,4, с учетом того, что имеется четыре альтернативных способа оценки ПрОП с использованием разных каналов информации. При этом значение 5 = 1 соответствует комплексной оценке ПрОП обучаемыми; 5 = 2 соответствует оценке ПрОП работодателями; 5 = 3 - оценке ПрОП, указанной участвующим в ее реализации ППС; 5 = 4 - оценке, полученной в результате обработки отзывов, собранных в сети интернет.

Будем считать, что число ответов на любой вопрос по каждому из перечисленных направлений обеспечений ПрОП (I = 1,4) может быть различным. Предположим также, что число анкет, по которым будет выполняться оценка для каждого из рассматриваемых направлений (5 = 1,4), может также отличаться. Это означает, что для каждой конкретной пары (I, 5) для переменных Х(, 5), У^1, 5) выполняется 7 = 1, щ,

; = 1, т, где при I = 1,4, 5 = 1,4 числа иг, т5 считаются заданными.

Используя введенные обозначения, перейдем к комплексной оценке ПрОП по четырем направлениям (I = 1,4), которая находится с использованием четырех информационных каналов обратной связи (5 = 1,4). Процедура диагностики ПрОП предполагает выполнение следующих этапов.

1. Нахождение оценок математического

(l,s) j :

случайные величины X(j, Y

(l,s) y(l,s)

j

соответственно

ожидания случайных величин оценок Х У(1,р для каждого фиксированного 7-го вопроса

и значений I, 5, /. С учетом введенной выше операции М0 результат операции усреднения оценок

ISSN 1560-3644 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.

TECHNICAL SCIENCE. 2020. No 2

по 7-му вопросу анкеты задается равенством

М0Х^; у^^ М0у(1' , (18)

где операция М0 применяется к 7-му оцениваемому фактору с учетом ответа у-м респондентом на 7-й вопрос.

В результате преобразований (18) выполняется переход от вероятностных (случайных) оценок, содержащихся в анкетах, к усредненным оценкам (математическим ожиданиям).

2. Находится интегрированная оценка по каждому вопросу, согласно указанной в анкете

оценке X¿У** и степени ее важности ус точки

зрения учета при реализации ПрОП мнений всех респондентов одной из рассматриваемых категорий (5 = 1,4). Для этого вводится случайная величина г^/**, равная

Kl,

z(!f = X^fldf +19.

(19)

Случайная величина (19) позволяет одновременно учесть оценку, поставленную респондентом в соответствие с вопросом анкеты и степень важности оцениваемого фактора. Усредненную оценку получаем, находя математическое ожидание случайной величины (19). В результате имеем

¿¿,'КМг^ +19 = ^)+19. (20)

3. На следующем этапе оценки (18) и (20) статически усредняются с учетом отзывов всех респондентов каждой из четырех категорий (5 = 1,4). В результате находятся оценки типа (17) вида:

т., ]=\

т,, /=1

г, - Ь2ч ' т,]=1

(21)

водил обработку отзывов, извлеченных из сети интернет (5 = 4). Обозначим через х(/), у(), 2(г) усредненные показатели, позволяющие выполнить оценку ПрОП по 7-му вопросу анкеты с учетом мнений всех респондентов, для каждого 1-го направления обеспечения ПрОП (I = 1,4).

Оценим степень влияния показателей (21), учитывающих мнения разных категорий респондентов (5 = 1, 4) на введенные усредненные показатели косвенно, с помощью метода парных сравнений [12].

При каждом фиксированном значении г

назовем рангом показателей (21) число г5:1), характеризующее значимость показателей (21) для каждого значения 5 = 1, 4 с точки зрения нахождения итоговых усредненных показателей по 1-му направлению обеспечения ПрОП. При этом ранг должен учитывать мнения всех категорий респондентов (5 = 1, 4).

Парные сравнения оценок (21) при разных значениях 5 = Р , 5 = %, учитывающих их влияние на усредненные оценки 1-го направления обеспечения ПрОП, количественно опишем отношением рангов

(i) _

^ = c(l) pq = 14

(i) cpq' p, q 14 • rq

(22)

Равенства (22) задают матрицу с d ) =

элементы которой показывают, насколько оценка, полученная с использованием р-го информационного канала является более значительной по сравнению с оценкой, выполненной с использованием д-го канала, с точки зрения их влияния на интегральный показатель, характеризующий 1-е направление в целом. Поэтому матрица (22) может быть интерпретирована как матрица парных сравнений рангов.

Заметим, что если матрица определена точно, то с учетом равенств (22) получаем:

где I = 1, 4, 5 = 1 ,4, г = 1 , ш1 .

4. Согласно найденным значениям (21), определяются усредненные оценки для каждого 7-го вопроса в целом. Для нахождения усредненных оценок используется метод парных сравнений [12]. Формируется группа экспертов, в которую включаются наиболее подготовленные, квалифицированные представители из числа респондентов, выполнявших прямую оценку (5 = 1,3) в анкетах, а также из числа тех, кто про-

~(l)..(l)-Jl), p,q = 1,4 • (23)

spqrq Г p

' РЯ' Я

Выполняя суммирование в формуле (23) по д, получаем в матричном виде равенство

Бг = пг , (24)

где г =('11г21г3*) .

Из соотношения (24) следует, что значение А,1 = п является наибольшим собственным числом матрицы

ISSN 1560-3644 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.

TECHNICAL SCIENCE. 2020. No 2

Матрица Б(/) =(5РЯ ) , являющаяся оценкой

матрицы S, находится с использованием стандартной девятибалльной шкалы Саати. Она формируется с учетом мнений экспертов согласно методике [12].

Заметим, что, вообще говоря, ¿(/)ф Б(/) , и, поэтому, число А, = п не является собственным

значением матрицы Б(/). Пусть А,0 собственное

значение матрицы Б(/), наиболее близкое к п.

~ \п -10|

1 огда величину р =J-можно интерпрети-

п

ровать как показатель качества экспертной оценки матрицы парных сравнений 51). Если величина р не велика, то &1) принимается в качестве оценок Далее определяется собственный

вектор Т матрицы , удовлетворяющий системе уравнений

S(i)w = X0w,

(25)

и условию нормировки рангов ^ Тг = 1.

г=1

Найденный в результате решения системы (25)

вектор

w

= ( w1

w, w2, w3, w4

dk+>) =.

w

( eTS(l )e )'

= (1,1,1,1)T, k = 1,2,3,... .(26)

величину с весовыми коэффициентами г5 оценок (21), полагая:

(i)

z(0 = y_(0-(W-

Zl /_! t S Zl 5 s=\

1 mi —

R = - I z(i), l = 1,4.

(27)

(28)

m

'i 1=1

(i)

При нахождении оценок 2г( ) по формуле (27) может возникнуть ситуация, когда при 5 = 4 величина Л' окажется неопределенной. Это возможно в случае, когда при рассмотрении отзывов, содержащихся в сети Интернет, величину

2(/,5) эксперт (интерпретатор отзывов) оценить не может. Тогда следует ограничиться первыми тремя слагаемыми, перераспределив весовой коэффициент г(/) между остальными тремя. Пересчитаем эти коэффициенты, полагая новые значения коэффициентов * равными:

) = (1 + а) rSi), s = 1,3,

(29)

где а находится из условия

3

используется для

Е

I r

s=1

:(i) = 1; а =

r 4i)

r (i) + r 2) + r 3i)'

оценки рангов г = (г(/*, г2*, г3*, г4*) .

Для нахождения собственного вектора

матрицы парных сравнений Б(/) применяется итерационная процедура [12]:

Найденные итерационно числа к = 1,4 согласно процедуре (26) будем использовать в качестве рангов г(), 5 = 1,4 при свертке оценок показателей для каждого из четырех информационных каналов / = 1,4 .

Полученные ранги отражают мнения экспертов о степени влияния (необходимости учета) каждого из четырех информационных каналов (мнений обучаемых, работодателей, ППС, отзывов из сети интернет) при общей оценке одного из направлений обеспечения ПрОП (/ = 1,4). Общую оценку Я1, / = 1, 4 для каждого из направлений определим как средневзвешенную

Отметим, что при выполнении условия (29) приоритеты учета каждого из первых трех направлений (5 = 1,3) будут согласованы с оценками, полученными методом парных сравнений.

Общая оценка образовательной программы

Формула (28) позволяет получить интегральную оценку каждого из четырех основных направлений обеспечения ПрОП (/ = 1,4). Общую оценку ПРОП, учитывающую все направления, выполним, используя свертку в виде геометрического среднего: 4

я = п яТ = яТ Щ2 я3Т3 <4, (30) /=1

где т1 + т2 + т3 + т4 = 1.

Весовые показатели wl в формуле (30) должны отражать степень влияния каждого из четырех направлений обеспечения ПрОП (/ = 1,4) при формировании общего рейтинга Я программы. В принципе их можно определить экспертным путем, используя метод парных

4

k

e

ISSN 1560-3644 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.

TECHNICAL SCIENCE. 2020. No 2

сравнений. Поступим иначе, определив эти коэффициенты с учетом важности отдельных факторов, характеризующих направления обеспечения ПрОП (l = 1,4), оценку которой выполняют респонденты.

Действительно, используя оценки у|/1,'?^

вида (18) последовательно выполним их усреднение, действуя, как и в предыдущем случае:

У.

Js'y)

ms j=1

s=1

(31)

l = 1,4 .

(32)

Это означает, что в первую очередь необходимо выполнить управление (корректировку) по составляющей (фактору) 1-го направления обеспечения ПрОП, соответствующей 7-му вопросу анкеты А ^, для которой с учетом найденных оценок одновременно выполняется

М) . М)

х} ' = arg min хк > = argmin

к к

l = 1,4; (33)

у)' =argmaxj4; =

1 ml _

У1 = - !у!°, l = 1,4.

ml 1=1

Величины (31) можно интерпретировать как интегрированные показатели степени важности каждого из четырех рассматриваемых направлений обеспечения ПрОП. Поэтому весовые коэффициенты, учитывающие это, положим равными

У1

wl = -

Е Уk k=1

агвгшх/г^), / = 1,4, (34)

Перейдем в первом критерии (33) к условию на максимум, полагая

Fx= 10 ■- Л = xV = z /ЛЮ - х^) max .

s=\

В результате получим двухкритериальную задачу поиска оптимальных решений на множестве из ml факторов jл!1Н 1, для которых со-v h=1

гласно условиям (33), (34) должно выполняться:

Подставляя показатели (32) в формулу (30), получаем интегральный критерий для комплексной оценки ПрОП.

Заметим, что значения показателя (30) меняются в промежутке 20< R < 100. Поэтому, если, например, в результате найденных оценок окажется, что Я > 75, то можно говорить об очень хорошем обеспечении ОП, при 50 < Я < 75 о хорошем, при Я < 50 о плохом. Таким же образом можно оценить качество каждого 1-го направления обеспечения ПрОП (I = 1,4) по найденным значениям показателей Я1 с помощью приведенной выше интервальной шкалы.

Управление образовательной программой

Перейдем к решению задачи управления ПрОП, ориентированной на повышение ее целевой направленности и качества реализации. Будем исходить из следующих соображений. Для повышения качества необходимо осуществить управляющие воздействия по тем составляющим (факторам), характеризующим направления обеспечения ПрОП, которые оцениваются низко, причем оценки определяются с высокой надежностью, а сами факторы имеют высокую важность.

FiA)) ^ max; F2 = f 2A;) ^ max, k = 1, nl .

При этом оба критерия Fj (35) удовлетворяют условию 1 < Fj < 9 .

Для решения задачи (35) на множестве факторов jA^ ищется оптимальное по Парето

[13, 14] множество Q, каждый элемент которого не обладает преимуществом с точки зрения критериев (35) по сравнению с другим. Это означает, что на этом множестве по одному из критериев соответствующий фактор является более предпочтительным по сравнению с другим, а по другому - нет.

При найденном множестве Парето факторов управляющие воздействия необходимо в первую очередь осуществлять по составляющим обеспечения ПрОП, соответствующим факторам из множества Q. Приоритетный выбор среди факторов этого множества можно выполнить, задавая решающее правило в виде произведения критериев:

Fi(Ak))f2(Ak)) ^ max; Л*} е Q. (36)

Согласно правилу (36), первыми подлежат корректировки направления, соответствующие тем факторам обеспечения ПрОП, которые с высокой надежностью оцениваются низко.

(I )>

ISSN 1560-3644 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION. Пример оценки и управления ПрОП

TECHNICAL SCIENCE. 2020. No 2

),

Разработанные модели и алгоритмы, а также информационный инструментарий и адаптивные процедуры комплексной оценки качества образовательных программ были использованы для анализа одной из ПрОП, реализуемой в ЮРГПУ(НПИ) имени М.И. Платова.

Оценки осуществлялись по четырем направлениям организации и обеспечения ПрОП. При этом оценка качества административного управления выполнялась с использованием показателей, характеризующих следующие факторы:

информационное обеспечение (фактор компетентность административного персонала (Л(')), организация дистанционного взаимодействия (), оперативность решения текущих проблем (Л(1)), выполнение условий договора

(Л")

, сравнение с работой других организаций (Д(1)), оценка графика и регламента учебного

процесса (Л(1)), стоимость обучения (Л^).

Оценка качества ППС осуществлялась с использованием следующих факторов: профес-

т-т (2)

сиональная квалификация ППС (фактор Л ), доступность (Л(2)), формирование мотивации

Л 2)'

обучаемых (A3 )), педагогическое мастерство лат

Л 2)-

(2) (2) (щ '), внимательность (A^ ') и доброжелатель-

ность (Л( )).

Для оценки содержания и используемых методик обучения использовались следующие факторы: применяемые методики и технологии

(фактор Л(3)), наличие обратной связи (Л(3)), соответствие содержания запросам времени (Лр-* ),соответствие изложенного материала программе дисциплины (Л(3)), уровень полезности приобретенных знаний (Л(3)), соответствие реальным запросам производства (Л3)), степень

полезности для профессионального роста (Л^3)).

Оценка материально-технического обеспечения (МТО) выполнялась по следующим факторам: соответствие уровня МТО ПрОП

современным требованиям (фактор Л^4)), нали-

чие комфортной среды обучения (A(4)), состояние аудиторий (A^4)), наличие необходимого

оборудования (A(4)), обеспеченность компьютерной техникой и средствами мультимедиа (A(4)), доступность Интернет ().

Исходные данные для оценки организации и обеспечения ПрОП были сформированы с учетом мнений обучаемых, работодателей, III 1С, участвующего в реализации ПрОП, а также путем обработки отзывов из Интернет. Далее была выполнена свертка показателей, отражающих мнение всех респондентов с использованием весовых коэффициентов, определенных экспертным путем методом парных сравнений. Значения векторов весовых коэффициентов для рассматриваемых четырех направлений (i = 1, 4) оказались равными:

r (1) = (0,49; 0,12; 0,3; 0,09); r(2) = (0,51; 0,18; 0,19; 0,13); r(3) = (0,56; 0,23; 0,14; 0,07); r(4) = (0,51; 0,18; 0,19; 0,13).

Результаты выполненных оценок в виде полученных после свертки показателей и найденных приоритетов факторов для четырех направлений обеспечения ПрОП сведены в табл. 1 - 4.

Таблица 1 / Table 1

Результаты оценки организации ПрОП (l = 1, n1 = 8) / Results of evaluation to Organization of professional educational programs (PEP) (l = 1, n1 = 8)

Показатель Факторы, характеризующие направление

1 2 3 4 5 6 7 8

Оценка 7,65 6,48 4,83 4,88 5,11 7,5 5,87 3,74

Важность 8,07 7,47 5,28 5,46 5,88 7,06 8,17 5,78

Приоритет 7 6 5 3 4 8 2 1

Таблица 2 / Table 2 Результаты оценки III 1С (l = 2, n2 = 6) / Results of evaluation to teaching staff (l = 2, n2 = 6)

Показатель Факторы, характеризующие направление

1 2 3 4 5 6

Оценка 7,43 4,54 5,21 5,84 5,15 5,27

Важность 8,2 6,22 5,59 5,7 6,08 6,24

Приоритет 3 1 5 6 4 2

ISSN 1560-3644 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.

TECHNICAL SCIENCE. 2020. No 2

Таблица 3 / Table 3

Результаты оценки содержания ПрОП (l = 3, n3 = 7) / Results of evaluation tocontents of PEP (l = 3, n3 = 7)

Показатель Факторы, характеризующие направление

1 2 3 4 5 6 7

Оценка 5,7 6,18 6,88 7,4 6,38 4,13 5,26

Важность 6,34 8,29 7,97 8,08 7,91 5,99 5,15

Приоритет 3 2 5 7 4 1 6

Таблица 4 / Table 4

Результаты оценки МТО ПрОП (l = 4, n4 = 6) / Results of evaluationmaterial support PEP (l = 4, n4 = 6)

Показатель Факторы, характеризующие направление

1 2 3 4 5 6

Оценка 6,99 6,31 7,74 5,55 7,14 7,68

Важность 7,66 5,39 6,05 6,22 7,93 8,53

Приоритет 2 5 6 1 3 4

Приведенные в табл. 1 - 4 показатели позволяют определить приоритеты (порядок) выполнения управляющих воздействий по отдельным направлениям обеспечения ПрОП.

Для рассматриваемой ПрОП также была выполнена оценка рейтингов для всех направлений организации и обеспечения ПрОП R (l = 1,4) и общего рейтинга программы R. Найденные значения интегральных показателей направлений приводятся в табл. 5.

Таблица 5 / Table 5

Оценка отдельных направлений обеспечения ПрОП / Evaluation of individual areas of PEP support

Направления обеспечения 1 2 3 4

Весовые коэффициенты ( щ ) 0,29 0,21 0,27 0,23

Рейтинги направлений (R ) 58,34 59,46 62,48 67,53

По данным табл. 5 был также найден интегральный рейтинг рассматриваемой программы в целом, значение которого оказалось равным Я = 61,71. Это означает, что уровень организации и обеспечения ПрОП в целом можно считать хорошим. Расчеты показали (табл. 5), что ожиданиям участников в большей степени отвечает четвертое направление (уровень МТО). Значение соответствующего для этого направления показателя Я4 оказалось равным 67,53. Наименее обеспеченным следует считать первое направление (административное управление ПрОП). Значение показателя характеризующего это направление, равно 58,34.

Приведенные в табл. 1 - 4 данные устанавливают приоритеты выполнения корректирующих воздействий, обеспечивающих рост показателей отдельных направлений обеспечения и рейтинга ПрОП в целом.

Основные результаты и выводы

1. Разработана новая методика интегральной оценки качества реализуемых профессиональных образовательных программ по результатам анкетирования четырех независимых групп респондентов, мнение которых учитываются агрегированно, согласно степени достоверности выставляемых ими оценок.

2. Построена математическая модель, описывающая закон распределения оценок при анкетировании, идентификация параметров которой выполнена по результатам опросов с использованием наиболее вероятных значений оценок респондентов.

3. Разработана методика оценки образовательной программы по отдельным направлениям ее обеспечения и в целом на основе нечетких статистических и экспертных оценок.

4. Предложена модель определения приоритетов при выборе управляющих воздействий на факторы, влияющие на качество образовательной программы, путем нахождения множества Парето оптимальных решений.

5. Применение разработанного инструментария проиллюстрировано примером диагностики и управления конкретной образовательной программы, реализуемой в вузе.

Литература

1. Об одном подходе к организации двухуровневой экспертной оценки / Д.В. Гринченков, А.Н. Ткачев, Нгуен Фук Хау, Д.Н. Кущий, В.Д. Гринченков, Нгуен Тхи Тху // Изв. вузов. Сев.-Кавк. регион. Техн. науки. 2019. № 4. С. 69 - 77.

2. Короткое Э.М. Управление качеством образования: учеб. пособие. М.: Академический проспект: Мир, 2006. 320 с.

3. Шамова Т.И., Давыденко Т.М., Шибанов Г.Н. Управление образовательными системами: учеб. пособие. М.: «Академия», 2006. 384 с.

4. Байденко В.И., Зантворт Ван Дж. Модернизация профессионального образования: современный этап: 2-е изд., перераб. и доп. М.: Исследовательский центр проблем качества подготовки специалистов, 2003. 674 с.

5. Букалова А.Ю., Харитонов В.А. Интеллектуальные инструментальные средства поддержки принятия решений в задачах управления уровнем профессиональной подготовки студентов // Современные проблемы науки и образования. 2013. № 1. 193 с.

6. Похолков Ю.П., Чучалин А.И., Могильницкий С.Б., Боев О.В. Обеспечение и оценка качества высшего образования // Высшее образование в России. 2004. № 2. С. 12 - 27.

ISSN 1560-3644 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION. TECHNICAL SCIENCE. 2020. No 2

7. Поташник М.М., Ямбург Е.А., Матрос Д.Ш. Управление качеством образования: практико-ориентированная монография и метод. пособие / под ред. М.М. Поташника. М.: Педагогическое общество России, 2004. 448 с.

8. Amaral A. Higher educational in the Process of integration, Globalizing economies and mobility of students and staff // Higher education and the nation state. The international dimension of higher education / Ed. By J. Huisman, P. Maassen, G. Neave. Pergamon, 2001. P. 121 - 148.

9. Bloom B. Handbook on formative and summative evaluation of student learning. New York, Mc Graw-Hill Book Go., 1971. 120 р.

10. Standards and Guidelines for Quality Assurance in the European Higher Education Area. Bergen: ENQA, 2005. 48 р.

11. Феллер В. Введение в теорию вероятностей и ее приложения. М.: Мир, 1984. Т. 1. 528 с.

12. Саати Т. Принятие решений. Методы анализа иерархий. М.: Радио и связь, 1993. 278 с.

13. Дегтярев ЮИ. Системный анализ и исследование операций. М.: Высш. школа, 1996. 335 с.

14. Ткачев А.Н. Методы оптимальных решений: учеб. пособие / Юж.-Рос. гос. политехн. ун-т имени М.И. Платова. Новочеркасск: ЮРГПУ(НПИ), 2014. 200 с.

15. Гринченков Д.В., Кущий Д.Н. Решение задачи построения запросов в системе тематического поиска на основе распознавания частично структурированных текстов // Изв. вузов. Сев.-Кавк. регион. Техн. науки. 2019. № 1. С. 10 - 16.

16. Гринченков Д.В., Кущий Д.Н. Принципы построения программного продукта для поддержки процесса принятия решений на основе интегрированных экспертных оценок // Изв. вузов. Электромеханика. 2012. № 5. С. 69 - 73.

17. Grinchenkov D.V. Kushchiy D.N., Shchurov A.N. One approach to the design of digital educational resources for the training of personnel in power industry / Proceedings of the International Science and Technology Conference "EastConf', 1-2 March 2019 Vladivostok, INSPEC 18724518. DOI: 10.1109/EastConf.2019.8725355.

References

1. One approach to the organization of two-level expert assessment / D.V. Grinchenkov, A.N. Tkachev, PhucHau Nguyen, D.N. Kushchiy, V.D. Grinchenkov,Thi Thu Nguyen // University News. North-Caucasian Region. Technical Sciences Series. 2019. No. 4. Pp. 69 - 77.

2. Korotkov E.M. Educational Quality Management. Moscow: Academic project; Mir Publishing, 2006. 320 p.

3. Shamova T.I., Davydenko T.M., Shibanov G.N. Management of educational systems. Moscow: Publishing House "Academia", 2006. 384 p.

4. Baidenko V.I., Zantworth J. Wang. Modernization of professional education: a modern stage: 2nd ed., re-work and add. Moscow: Research Center for Quality Problems of Training of Specialists, 2003. 674 p.

5. Bukalova A.Yu. , Kharitonov V.A. Intellectual instrumental means of decision - making support in the tasks of managing the level of professional training of students // Modern problems of science and education. 2013. No. 1. 193 р.

6. PokholkovYu.P., Chuchalin A.I., Mogilnitsky S.B., Boev O.V. Ensuring and evaluating the quality of higher education // Higher education in Russia. 2004. No 2. Pp. 12 - 27.

7. Potashnik M.M., Yamburg E.A., Matros D.S. Education Quality Management: Practical-Oriented Monograph and Methodical Manual/Under Ed. M.M. Potashnik. Moscow: Pedagogical Society of Russia, 2004. 448 p.

8. Amaral A. Higher educational in the Process of integration, Clobalizing economies and mobility of students and staff // Higher education and the nation state. The international dimension of higher education / Ed. By J. Huisman, P. Maassen, G. Neave. Pergamon, 2001. P. 121 - 148.

9. Bloom B. Handbook on formative and summative evaluation of student learning. New York, Mc Graw-Hill Book Co., 1971. 120 р.

10. Standards and Guidelines for Quality Assurance in the European Higher Education Area. Bergen: ENQA, 2005. 48 p.

11. Feller V. Introduction to probability theory and its applications. Vol. 1. Moscow: Mir Publishing, 1984. 528 p.

12. Saati T. Decision-making.Methods of the analysis of hierarchies. Moscow: RadioandCommunications, 1993. 278 p.

13. Degtyarev Y.I. Systems analysis and operations research. Moscow: Higher school, 1996. 335 p.

14. Tkachev A.N. Methods of Optimal Solutions: Tutorial/South Russian State Polytechnic University named after M.I. Platov. Novocherkassk: SRSPU(NPI), 2014. 200 p.

15. Grinchenkov D.V., Kushchiy D.N. Solution to problem of constructing inquiries in a thematic search based on recognition of partial structured texts // University News. North-Caucasian Region. Technical Sciences Series. 2019. No 1. Pp. 10 - 16.

16. Grinchenkov D.V., Kushchiy D.N. Principles of software development for support of decision-making based on integreted expert estimates // J. University News. Electromechanics. 2012. No 5. Pp. 69 - 73.

17. Grinchenkov D.V., Kushchiy D.N., Shchurov A.N. One approach to the design of digital educational resources for the training of personnel in power industry // Proceedings of the International Science and Technology Conference "EastConf', 1-2 March 2019 Vladivostok, INSPEC 18724518. DOI: 10.1109/EastConf.

Поступила в редакцию /Received 26 марта 2020 г. /March 26, 2020