Научная статья на тему 'Методика оценки качества обучения в высших учебных заведениях'

Методика оценки качества обучения в высших учебных заведениях Текст научной статьи по специальности «Науки об образовании»

CC BY
949
187
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
МОДЕЛЬ ОЦЕНКИ КАЧЕСТВА / ПИРАМИДА КАЧЕСТВА / КРИТЕРИЙ КАЧЕСТВА / МОНИТОРИНГ КАЧЕСТВА ОБУЧЕНИЯ / THE QUALITY ASSESSMENT MODEL / THE PYRAMID OF QUALITY / QUALITY CRITERION / MONITORING THE QUALITY OF TRAINING

Аннотация научной статьи по наукам об образовании, автор научной работы — Баранникова И.В., Шафоростова Е.Н.

Цель исследования. В статье рассмотрен подход к оценке качества обучения в университете. Инновационные процессы в высшей школе повышают требования к системе обеспечения качества подготовки бакалавров, магистров, специалистов и аспирантов. Такая система включает не только обучающие процессы, но и результаты качества образования. Данная проблема является актуальной, поскольку на формирование профессиональных компетенций и спрос на рынке труда качество подготовки обучающихся влияет напрямую. Целью исследования является разработка методики оценки качества обучения для различных групп экспертов.Материалы и методы. Методика оценки качества и полученные результаты исследования, основанные на предложенной в виде пирамиды модели оценки качества, с детализацией компонент, входящих в ее состав, и обозначением их значений для оценки рассматриваются в статье. Предложена методика оценки качества обучения в вузе, базирующаяся на критериях качества обучения, методе экспертных оценок, формализации и алгоритмизации данного процесса. Обобщенная оценка группы экспертов формируется на основе средних величин. Формализация оценки начинается с того, что в построенной пирамиде качества обучения каждому критерию назначается переменная, отражающая его оценку. Показатель, характеризующийся средними значениями оценок экспертов, является оценкой качества обучения. Установка связи между количественным и качественным значением осуществляется с помощью установленной шкалы качества, которая основывается на шкале Лайкерта. Для четкого понимания, как формируется вывод о степени согласованности экспертов методом Кендалла, рассмотрена ситуация, когда экспертам предлагается ранжировать критерии по значимости, то есть назначить место в рейтинге для каждого критерия. Общая оценка качества обучения может быть получена на основе анкетирования, которое следует проводить на определенную тему и для всех участников образовательного процесса с последующим анализом результатов опроса. Для каждой группы экспертов предлагается свой перечень вопросов на конкретную тему. Для решения поставленной задачи следует использовать метод экспертных оценок, который является частью теории принятия решений, а экспертное оценивание – процедурой получения оценки поставленной задачи на основе мнения экспертов с последующим принятием решения.Результаты. Интерес работодателя в проведении данного исследования заключается в увеличении эффективности качества обучения, формирования профессиональных компетенций, а также в объективной всесторонней оценке качества обучения. В результате проведенного исследования сформированная пирамида критериев и модель оценки качества обучения позволяют определить величину, отражающую качественную характеристику процесса обучения в высшем учебном заведенииЗаключение. Внедрение данной модели позволит повысить качество образовательного процесса в вузе, подготовить высококвалифицированных специалистов, востребованных на рынке труда, отвечающих запросам социально-экономического развития современного общества.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Methods of evaluation the quality of teaching in higher education institutions

Purpose of research. The article describes an approach to assessing the quality of education at universities. Innovative processes in higher education increase the requirements to the quality assurance system for bachelors, masters, specialists and postgraduates. Such a system includes not only educational processes, but also the results of the quality of education. This problem is relevant because the quality of students’ training influences the formation of professional competencies and the demand on the labor market directly. The aim of the study is to develop a methodology for assessing the quality of training for different groups of experts.Materials and methods. The method of quality assessment and the results of the study, based on the proposed pyramid model of quality assessment with the details of the components, included in its composition, and the designation of their values for evaluation are considered in the paper. A method of assessing the quality of education at universities, based on the criteria of quality of education, the method of expert evaluation, formalization and algorithmization of the process is proposed. The generalized assessment of the group of experts is formed on the basis of average values. Formalization of assessment begins with the fact that in the built pyramid of quality of training each criterion is assigned a variable that reflects its assessment. The indicator, which is characterized by the average values of experts' assessments, is an assessment of the quality of training. Setting the relationship between quantitative and qualitative value is carried out using the established quality scale, which is based on the Likert scale. For a clear understanding of how the conclusion about the degree of consistency of experts by Kendall method is formed, the situation is considered when experts are asked to rank the criteria by significance, that is, to assign a place in the rating for each criterion. The overall assessment of the quality of education can be obtained based on a questionnaire that should be conducted on a specific topic and for all participants in the educational process, followed by an analysis of the survey results. Each expert group is offered a list of questions on a specific topic. To solve this problem, we should use the method of expert assessments, which is part of the theory of decision-making and expert evaluation the procedure for obtaining an assessment of the task based on the opinion of experts, followed by decision-making.Results. The interest of the employer in carrying out this study is to increase the effectiveness of the quality of training, the formation of professional competencies, as well as an objective comprehensive assessment of the quality of training. As a result of the study, the pyramid of criteria and the model of evaluation of the quality of education allow to determine the value that reflects the qualitative characteristics of the learning process in higher education.Conclusion. The introduction of this model will improve the quality of the educational process in the University, to prepare highly qualified specialists in demand in the labor market, meet the needs of socio-economic development of modern society.

Текст научной работы на тему «Методика оценки качества обучения в высших учебных заведениях»

УДК 378

DOI: http://dx.doi.org/10.21686/2500-3925-2018-6-36-45

И.В. Баранникова, Е.Н. Шафоростова

НИТУ «МИСиС», Москва, Россия

Методика оценки качества обучения в высших учебных заведениях

Цель исследования. В статье рассмотрен подход к оценке качества обучения в университете. Инновационные процессы в высшей школе повышают требования к системе обеспечения качества подготовки бакалавров, магистров, специалистов и аспирантов. Такая система включает не только обучающие процессы, но и результаты качества образования. Данная проблема является актуальной, поскольку на формирование профессиональных компетенций и спрос на рынке труда качество подготовки обучающихся влияет напрямую. Целью исследования является разработка методики оценки качества обучения для различных групп экспертов.

Материалы и методы. Методика оценки качества и полученные результаты исследования, основанные на предложенной в виде пирамиды модели оценки качества, с детализацией компонент, входящих в ее состав, и обозначением их значений для оценки рассматриваются в статье. Предложена методика оценки качества обучения в вузе, базирующаяся на критериях качества обучения, методе экспертных оценок, формализации и алгоритмизации данного процесса. Обобщенная оценка группы экспертов формируется на основе средних величин. Формализация оценки начинается с того, что в построенной пирамиде качества обучения каждому критерию назначается переменная, отражающая его оценку. Показатель, характеризующийся средними значениями оценок экспертов, является оценкой качества обучения. Установка связи между количественным и качественным значением осуществляется с помощью установленной шкалы качества, которая основывается на шкале Лайкерта. Для четкого понимания, как формируется вывод о степени согласованности экспертов методом Кендалла, рассмо-

трена ситуация, когда экспертам предлагается ранжировать критерии по значимости, то есть назначить место в рейтинге для каждого критерия.

Общая оценка качества обучения может быть получена на основе анкетирования, которое следует проводить на определенную тему и для всех участников образовательного процесса с последующим анализом результатов опроса. Для каждой группы экспертов предлагается свой перечень вопросов на конкретную тему. Для решения поставленной задачи следует использовать метод экспертных оценок, который является частью теории принятия решений, а экспертное оценивание — процедурой получения оценки поставленной задачи на основе мнения экспертов с последующим принятием решения.

Результаты. Интерес работодателя в проведении данного исследования заключается в увеличении эффективности качества обучения, формирования профессиональных компетенций, а также в объективной всесторонней оценке качества обучения. В результате проведенного исследования сформированная пирамида критериев и модель оценки качества обучения позволяют определить величину, отражающую качественную характеристику процесса обучения в высшем учебном заведении Заключение. Внедрение данной модели позволит повысить качество образовательного процесса в вузе, подготовить высококвалифицированных специалистов, востребованных на рынке труда, отвечающих запросам социально-экономического развития современного общества.

Ключевые слова: модель оценки качества, пирамида качества, критерий качества, мониторинг качества обучения

Irina V. Barannikova, Elena N. Shaforostova

NITU «MISIS», Moscow, Russia

Methods of evaluation the quality of teaching in higher education institutions

Purpose of research. The article describes an approach to assessing the quality of education at universities. Innovative processes in higher education increase the requirements to the quality assurance system for bachelors, masters, specialists and postgraduates. Such a system includes not only educational processes, but also the results of the quality of education. This problem is relevant because the quality of students' training influences the formation ofprofessional competencies and the demand on the labor market directly. The aim of the study is to develop a methodology for assessing the quality of training for different groups of experts.

Materials and methods. The method of quality assessment and the results of the study, based on the proposed pyramid model of quality assessment with the details of the components, included in its composition, and the designation of their values for evaluation are considered in the paper. A method of assessing the quality of education at universities, based on the criteria of quality of education, the method of expert evaluation, formalization and algorithmization of the process is proposed. The generalized assessment of the group of experts is formed on the basis of average values. Formalization of assessment begins with the fact that in the built pyramid of quality of training each criterion is assigned a variable that reflects its assessment. The indicator, which is characterized by the average values of experts' assessments, is an assessment of the quality of training. Setting the relationship between quantitative and qualitative value is carried out using the established quality scale, which is based on the Likert scale. For a clear understanding of how the conclusion about

the degree of consistency of experts by Kendall method is formed, the situation is considered when experts are asked to rank the criteria by significance, that is, to assign a place in the rating for each criterion. The overall assessment of the quality of education can be obtained based on a questionnaire that should be conducted on a specific topic and for all participants in the educational process, followed by an analysis of the survey results. Each expert group is offered a list of questions on a specific topic. To solve this problem, we should use the method of expert assessments, which is part of the theory of decision-making and expert evaluation - the procedure for obtaining an assessment of the task based on the opinion of experts, followed by decision-making.

Results. The interest of the employer in carrying out this study is to increase the effectiveness of the quality of training, the formation of professional competencies, as well as an objective comprehensive assessment of the quality of training. As a result of the study, the pyramid of criteria and the model of evaluation of the quality of education allow to determine the value that reflects the qualitative characteristics of the learning process in higher education. Conclusion. The introduction of this model will improve the quality of the educational process in the University, to prepare highly qualified specialists in demand in the labor market, meet the needs of socio-economic development of modern society.

Keywords: the quality assessment model, the pyramid of quality, quality criterion, monitoring the quality of training

Введение

Профессиональная деятельность будущих специалистов в настоящее время предполагает не только профессиональную мобильность, самореализацию, но и владение квалифицированными знаниями, умение применять современные технологии, брать на себя ответственность за решение сложных профессиональных задач.

Вопросы повышения качества профессиональной подготовки будущих специалистов отражены в научных трудах таких ученых, как О.А. Аб-дулиной, В.П. Беспалько, И.А. Зимней, А.А. Грекова, В.А. Крутецкого, Н.В. Кузьминой, А.А. Колядиной, B.C. Лед-нева, В.В. Серикова, В.А. Сла-стенина, Н.Ф. Талызиной, В.Д. Шадрикова, Ю.А. Якуба и др., которые неоднозначно трактуют требования к качеству образования.

Так, например, по мнению Л.А. Колядиной педагогический аспект повышения качества профессиональной подготовки обучающихся в вузе направлен на рассмотрение его как результата эффективно -го образовательного процесса, отвечающего разнообразным запросам личности обучающегося и социального заказа [20]. В настоящее время инновационные процессы в высшей школе значительно повышают требования к системе качества подготовки обучающихся, которая включает как процессы, так и результаты образования.

Согласно [6] качество можно рассматривать как «степень превосходства» или как «степень соответствия». Поэтому для каждого понятия следует давать свои конкретные уточнения. «Для Минобрнауки РФ качество образования в вузе до последнего времени считалось тем выше, чем больше зачисленных студентов успешно заканчивали образовательную программу. В настоящее время работодатели качество

образования оценивают применительно к своему производству по конкретным знаниям, практическим навыкам и умению, приобретёнными выпускниками за время их обучения в вузе» [8].

Современному работодателю необходимы такие сотрудники, которые способны не только своевременно выявить возникшие проблемы, но и оперативно, а главное качественно их решить. Инновационные процессы в высшей школе повышают требования к системе обеспечения качества подготовки обучающихся, которая включает все аспекты, связанные с качеством образования. Поэтому данная проблема является актуальной, поскольку высшим учебным заведениям необходимо готовить выпускников, способных решать высокопрофессиональные задачи, готовых к продуктивной трудовой деятельности, к процессу непрерывного профессионального самообразования [16]. Это свидетельствует о новых требованиях к существующей профессиональной подготовке обучающихся, переходе от существующего процесса усвоения знаний, умений и навыков, к более глубокому и сложному процессу — формирования у обучающихся необходимых работодателю профессиональных компетенций, обеспечивающих необходимое качественное выполнение поставленных задач, связанных с будущей профессией [1]. «Качество образования есть такая подготовка работников образовательной организации, которые способны к эффективной профессиональной деятельности, к быстрой адаптации в современных условиях, владеющих технологиями в своем направлении, умением использовать полученные им знания при решении профессиональных задач» [2].

Целью данного исследования является разработка методики оценки качества обуче-

ния. Предлагаемый подход к определению оценки качества обучения включает себя ряд задач: определение критериев оценки и подбор экспертов; анкетирование и анализ полученных данных; формализация модели; вывод результирующей величины, отражающей качество обучения, алгоритмизация процесса.

Основная часть

В настоящее время высшие учебные заведения предлагают различные образовательные услуги, целью которых является подготовка специалистов высокой квалификации, соответствующих требованиям работодателей и запросам рынка труда. Эффективная всесторонняя оценка качества обучения является необходимым условием образовательного процесса вуза, поскольку отражает ожидания работодателей и способствует повышению имиджа вуза в целом.

В работе [11] отмечается, что активное развитие в системе высшего образования России получила внешняя оценка качества, которая ориентирована на действующие стандарты и показатели эффективности. Процедуры стандартизации, лицензирования, аттестации, аккредитации, комплексного оценивания организаций, оказывающих образовательные услуги, поэлементно входят в состав системы оценки и включены в проведение внутренней проверки.

Методики оценки. Для решения поставленной задачи необходимо провести экспер-тно-моделирующие процедуры, позволяющие определить критерии оценивания; отобрать экспертов для участия в анкетировании; проанализировать полученные данные; получить однозначную величину, которая будет объективно отражать уровень качества обучения в вузе; формализовать разрабатываемую модель

оценки качества обучения и разработать алгоритм проведения оценки.

В зависимости от поставленной цели при проведении оценки качества обучения участником экспертного опроса (оценивания) может быть либо представитель потенциального работодателя, либо профессорско-преподавательский состав, либо обучающиеся. В рамках разрабатываемой методики экспертам необходимо оценить качество обучения в соответствии с предложенными критериями, выявить их значимость, оказывающую влияние на формирование необходимых компетенций. Для каждой группы экспертов значимыми являются свои компетенции.

Оценку качества обучения отражает показатель, который характеризуется средними значениями оценок экспертов. С помощью шкалы качества (или шкалы назначения уровня степени качества), которая основывается на особенностях шкалы Лайкерта, осуществляется однозначное установление связей между качественным и количественным значением. Принципы формирования данной шкалы заключаются в использовании понятий для определения значений шкалы, например, от «очень плохо» до «отлично» [3]:

1. Применение «однополяр-ной» шкалы с чередованием ответов от «очень» до «совершенно не».

2. Расположение на одинаковом расстоянии друг от друга вариантов ответов на шкале.

3. Охват всего спектра возможных ответов экспертов на вопрос из анкеты [14].

Сформировать подход к оценке качества обучения, соблюдающий логику и понятную структуру, позволит пирамида качества обучения. Представление знаний в виде пирамиды позволяет наглядно показать критерии качества, где в верхнем уровне отражена

основная идея исследования — качество обучения. Ниже располагаются уровни, содержащие критерии, которые в совокупности образуют оценку качества существующего образовательного процесса.

Исследование предметной области позволил выявить следующие значимые критерии, которые и легли в основу формирования пирамиды качества обучения (рис. 1), а также разработки модели оценки качества обучения [14]:

1. Материально-техническая база, которая включает современную оснащенность образовательного процесса, наличие необходимого и достаточного оборудования, укомплектованность аудиторий и лабораторий для проведения учебных занятий, инструментария для проведения исследований.

2. Профессорско-преподавательский состав включает такие понятия, как уровень профессионализма преподавателя, прогрессивные (в том числе уникальные) методики обучения, формы и методы организации занятий, глубина владения своим предметом, логичность и доступность его изложения.

3. Учебно-методическая база включает имеющиеся в

наличии для образовательной деятельности обучающихся современных библиотечных ресурсов, методических указаний, рекомендаций, утвержденных положений по учебно-методической деятельности; актуальные основные образовательные программы.

4. Учебные практики отражают выполнение научно-исследовательских заданий; решение производственных задач; качественная и неформальная организация учебных практик и их влияние на формирование компетенций обучающихся.

5. Самостоятельная работа обучающихся показывает роль самоподготовки в формировании их компетенций; более глубокое изучение дисциплин, закрепленных в учебном плане.

6. Контроль результатов обучения позволяет оценить значимость и уровень организации полу-семестровых и семестровых аттестаций, результаты оценивания остаточных знаний, контрольных и самостоятельных работ, как инструментов мотивации обучения и мониторинга процесса качества обучения.

Общая оценка качества обучения формируется на основе анкетирования, которое следует проводить на конкретную

Рис. 1. Пирамида качества обучения

Рис. 2. Критерии оценки качества обучения

тему и для всех участников образовательного процесса с последующим анализом результатов опроса. Для каждой группы экспертов предлагается свой перечень вопросов на конкретную тему.

Для решения поставленной задачи следует использовать метод экспертных оценок, который является частью теории принятия решений, где экспертное оценивание является процедурой получения необходимой оценки имеющейся проблемы, основанной на мнениях экспертов с целью принятия решения [15].

В предлагаемой методике для получения итоговой оценки используется группа (набор) индивидуальных экспертных оценок, основанных на использовании объективного и независимого друг от друга мнения экспертов.

В ходе разработки методики были использованы следующие способы измерения качества обучения: ранжирование и непосредственная оценка.

Ранжирование позволяет не только расположить объекты (критерии) в порядке убывания или возрастания некоторых присущих им свойств, но и выделить из исследуемой совокупности факторов наиболее значимые.

Способ измерения качества обучения «непосредственная оценка» позволяет имеющийся диапазон изменения характеристик рассматриваемого объекта разбить на интервалы, в соответствие которым ставится определенный балл (в нашем исследовании — от 0 до 5).

В процессе формирования общей совокупной оценки группы экспертов был использован метод средних величин [14].

Для того чтобы сделать подход к оценке универсальным, необходимо, чтобы каждый критерий был универсальным для каждого вуза, что позволит применить разрабатываемый метод не привязывая систему оценки к определенной предметной области или профилю вуза.

Полученное среднее суммы всех значений оценок, присвоенных экспертами каждому критерию, является оценкой критерия. Следует отметить, что с назначения переменных по каждому критерию в представленной пирамиде качества

начинается процесс формализации итоговой оценки качества.

Оценка качества обучения — интегрированный показатель, характеризующийся полученными средними значениями оценок критериев эксперта (работодатель, преподаватель, обучающийся), поэтому каждый критерий обозначим переменной, которая будет отражать его полученные значения (рис. 2).

Среднее значение оценки критерия р определяется как сумма всех его оценок, деленная на число экспертов, таким образом, получаем формулу (1):

е :

'pk

(1)

где qp — среднее значение оценки критерия р; оценка критерия р экспертом ^ k — число экспертов.

^pk

Обозначим показатель качества обучения — Q, который определяется как сумма средних значений оценок всех критериев, деленная на величину максимально возможной оценки, и рассчитывается по формуле (2):

Q =

Уp q

qmax

(2)

где qn

максимальное значение суммы оценок.

В соответствии с единой шкалой назначений можно сформировать шкалу оценки качества (рис. 3), состоящую из 5 степеней качества в диапазоне от 0 до 5, где значению 0 назначается позиция шкалы «очень плохо», 1 — «плохо», 2 — «средне», 3 — «нормально», 4 — «хорошо», 5 — «отлично».

Рис. 3. Шкала оценки качества обучения

В рамках разрабатываемой методики оценки качества обучения в вузе поиск величины шага шкалы назначений следует вести по зависимости (3):

'=1-

(3)

где ^ — шаг шкалы;

d — число степеней сравнения.

Предложенная шкала оценки качества обучения позволяет сопоставить полученную в ходе оценки количественную величину с качественной характеристикой [14].

Проведенные экспер-

тно-моделирующие процедуры не будут полными без определения степени согласованности мнений экспертов, поэтому используем ранговый коэффициент конкордации Кендалла [4].

Коэффициент конкордации Кендалла представляет собой число из диапазона от 0 до 1, который характеризует степень согласованности мнений экспертов (в виде рангов) при проведении ранжирования совокупности выделенных критериев и рассчитывается по (4):

W =

12S

k2 (p3 - p);

(4)

где W — коэффициент кон-кордации Кендалла; £ — сумма квадратов разностей рангов (от-

клонений от среднего);

к — число экспертов в группе;

р — число критериев.

При использовании рангового коэффициента согласованности мнений экспертов Кендалла следует учитывать следующие ограничения:

1. По каждой переменной в отдельности невозможно рассчитать согласованность мнений экспертов.

2. Ранговый коэффициент определяет степень согласованности мнений по их коррели-рованности, но не совпадению.

Сумму квадратов разностей рангов, входящую в формулу (4) следует вычислять по формуле (5):

* = I I

Х2Х

V'=1 )=1

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

(5)

j=1

где Су — оценка эксперта.

Данный коэффициент использован в оценке степени согласованности экспертов при ранжировании критериев и оценке каждого критерия по шкале от 0 до 5.

В основу предлагаемой методики положена модель представления знаний в виде пирамиды. Участниками образовательного процесса являются три стороны: обучающийся, профессорско-преподавательский состав, работодатель. Для

каждого из участников возникает необходимость в оценке качества обучения в вузе.

После проведения опроса (в качестве экспертов выступали обучающиеся старших курсов бакалавриата) с помощью приложения MS Excel был сформирован вывод о степени согласованности экспертов методом Кендалла (эксперты проводили ранжирование критериев по значимости: назначали место в рейтинге для каждого критерия).

На рис. 4 представлена экранная форма результатов оценки степени согласованности экспертов, равная 1 — идеальные заранее заданные условия.

При достаточно большом объеме выборки (более 100) для проверки предложенной гипотезы о соответствии эмпирического распределения предполагаемому теоретическому распределению для оценки значимости коэффициента согласованности экспертов следует воспользоваться критерием Пирсона [19].

Представим формулу согласия Пирсона в виде (6):

x2 _ 12S (6)

kp (p +1)' где S — сумма квадратов разностей рангов; k — число экспертов; p — число критериев.

Полученный результат x2 сравнивается с табличными значениями.

Ранжирование 1

№ Эксперта 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Среднее Ранжирование Сумма Квадрат суммы

Промежуточный и итоговый контроль 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 5 15 225

Самостоятельная работа 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 30 900

Учебные практики 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 45 2025

Учебно-методические материалы 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 2 60 3600

Подготовка преподавателей 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 4 75 5625

Материальная база 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 90 8100

Общее 315 20475

Число экспертов 15

Число критериев 6

Сумма квадратов разностей ранге 3937,5

1 1 1 1

Коэф.Конкордации 1,00

Степень согласованности 1

Слабая степень согласованности 0

Сильная степень согласованности 1

Рис. 4. Результаты оценки степени согласованности экспертов

Рис. 5. Блок-схема алгоритма оценки качества обучения

Если результат критерия Пирсона получается больше табличного, то величина коэффициента конкордации является не случайной, следовательно, полученные результаты по оценке критериев пирамиды качества будем учитывать при формировании итоговой оценки качества обучения в вузе [5].

Неотъемлемой частью разрабатываемой методики оценки качества обучения в вузе является алгоритмическое обеспечение. «Алгоритмическое обеспечение — это совокупность математических методов, моделей и алгоритмов, используемых в системе для решения задач и обработки информации» [17]. Разработка алгоритмического обеспечения необходима для повышения надежности и качества работы разрабатываемой методики (которая может быть положена в основу системы оценки качества), что позволит осуществить безошибочную работу разработанных алгоритмов и программ преобразования информации, а также реализацию функции контроля достоверности полученной информации. Разработанный алгоритм оценки качества обучения в вузе представлен на рис. 5 в виде блок-схемы.

На начальном этапе (блок 1) в систему вводятся исходные данные, т.е. критерии качества обучения, на основании которых будут осуществляться оценки. Затем (блок 2) проводится опрос экспертов, в ходе которого они каждому критерию назначают оценку [14].

Далее на основе введенных результатов опроса (блок 3) осуществляется вычисление средних значений по каждому критерию для получения общей оценки качества обучения (блок 4); после чего проводится проверка согласованности мнений экспертов. Осуществляется проверка условий значимости (блок 5): если коэффициент согласо-

Ранжирование

№ Эксперта 1 2 3 4 5 6 7 8 Э 10 11 12 13 14 15 Среднее Ранжирование

Промежуточный и итоговый контроль 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 5

Самостоятельная работа 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1

Учебные практики 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3

Учебно-методические материалы 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 2

Подготовка преподавателей 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 4

Материальная база 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6

Общее

Число экспертов 15

Число критериев 6

Сумма квадратов разностей ранге 3937,5

Рис. 6. Пример вычисления оценки качества обучения в вузе

Очень плохо Плохо Средне Хорошо Отлично

1 0 1 0,2 1 0,4 1 0,6 0,67 1 0,8 1

Рис. 7. Шкала оценки качества обучения

ванности экспертов значим, то оценка качества обучения является объективной (вывод результатов — блок 6а). Переход к следующему шагу: если значение коэффициента согласованности экспертов мало, то проводится дополнительное экспертное исследование (блок 6Ь) [14].

На основании итогов обработки введенных данных делается вывод о качестве обучения, при этом учитываются причины несогласованности мнений экспертов (блок 7).

Программную реализацию разработанного алгоритма рассмотрим на примере расчета оценки качества обучения в вузе (рис. 6), где оценки экспертов смоделированы мето-

дом случайного распределения, где было выбрано число критериев — 6, число экспертов — 15, максимальное значение — 30, сумма средних = 20,13.

В результате проведенного экспертами анкетирования было получено следующее значение величины Q = 0,67, что соответствует значению «хорошо» на установленной шкале качества (рис. 7).

Далее, для определения степени согласованности мнений экспертов и достоверности полученных результатов был вычислен коэффициент конкордации Кендалла с помощью программного пакета STATISTICA (рис. 8).

Полученный коэффициент

конкордации равен 0,44021. Следовательно, согласно условию степени согласованности, полученный коэффициент соответствует введенному диапазону и удовлетворяет неравенству 0,4 < W < 0,6, что означает среднюю степень согласованности экспертов. Не согласованность мнений экспертов в данном примере незначительна, так как р = 0, следовательно, уровень качества обучения в вузе согласно предложенным критериям и полученным оценкам экспертов соответствует оценке «хорошо», откуда следует, что обучающиеся в значительной степени удовлетворены уровнем реализации образовательного процесса [18].

Для дальнейшего анализа определим наиболее значимый критерий для обучающихся (рис. 9).

Таким образом, предлагаемая методика оценки качества, базирующаяся на сформированной пирамиде критериев и модели оценки качества

Variable Friedman ANOVA and Kendall Coeff. of Concordance (Конкардация) ANOVA Chi Sqr. (N = 15, df = 5) = 33,01606 p = ,00000 Coeff. of Concordance = ,44021 Aver, rank r = ,40023|

Average Sum of Rank Ranks Mean Std.Dev.

Промежуточный и итоговый контроль 4,933333 74,00000 4,133333 0,639940

Самостоятельная работа 3,366667 50,50000 3,333333 0,723747

Учебные практики 3,300000 49,50000 3,266667 0,703732

: Уч ебно-методиче ские матери ал ы 4,700000 70,50000 4,066667 0,703732

Профессорско-преподавательский состав 2,033333 30,50000 2,400000 0,910259

Материальная база 2,666667 40,00000 2,933333 0,703732

Рис. 8. Пример расчета согласованности оценок критериев экспертами в пакете STATISTICA

Ранжирование

N° Эксперта 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Среднее Ранжирование Сумма Квадрат суммы

Промежуточный и итоговый контроль 6 1 3 2 3 2 1 6 4 5 6 6 4 6 6 4,066667 5 61 3721

Самостоятельная работа 3 5 4 1 2 3 2 1 3 2 1 5 3 2 3 2,666667 1 40 1600

Учебные практики 5 3 1 5 5 1 5 2 1 3 3 1 5 4 4 3,2 3 48 2304

Учебно-методические материалы 2 4 2 6 1 5 3 5 2 1 2 3 2 3 5 3,066667 2 46 2116

Подготовка преподавателей 1 2 6 3 4 4 4 3 5 6 4 2 б 5 2 3,8 4 57 3249

Материальная база 4 6 5 4 6 6 6 4 6 4 5 4 1 1 1 4,2 6 63 3969

315 16959

Число экспертов 15

Число критериев 6

Сумма квадратов разностей рангов 421,5

1 1 1

Коэф.Конкордации 0,11

Степень согласованности 0

Слабая степень согласованности 0

Сильная степень согласованности 1

Рис. 9. Пример поиска наиболее важного критерия

обучения, позволяет определить величину, отражающую качественную характеристику процесса обучения в высшем учебном заведении.

Заключение

Предложенную модель оценки качества обучения можно расширить в более

сложную, которая позволит учитывать: большее количество критериев, характеризующих качество обучения; вес ранжирования важности критериев; большее количество участников образовательного процесса и тех, кто заинтересован в качественном обучении студентов: преподавателей, выпускников, работодателей.

Внедрение данной методики позволит повысить качество образовательного процесса в вузе, подготовить высококвалифицированных специалистов, востребованных на рынке труда, отвечающих новым запросам социально-экономического развития современного общества.

Литература

1. Иванченко И.В. Проблема повышения качества образования в вузе // Молодой ученый. 2016. №5. 1. С. 18—21. [Электрон. ресурс] Режим доступа: https://moluch.ru/archive/109/26315/

2. Есенбаева Г.А., Какенов К.С. Оценка факторов, влияющих на качество образования в вузе // Международный журнал экспериментального образования. 2016. № 2—2. С. 241—244.

3. Терентьева Т.В., Кулакова М.Н. Факторы, влияющие на эффективность образовательных услуг вуза в современном обществе // Современные проблемы науки и образования. 2012. № 5.

4. Рёнц Б., Фёрстер Э. Методы корреляционного и регрессионного анализа. Руководство для экономистов. Перевод с немецкого и предисловие В.М. Ивановой. М.: Финансы и статистика, 1983. С. 175.

5. Templin J., Bradshaw L. The Use and Misuse of Psychometric Models // Psychometrika. 2014. №79 (2). С. 347-354.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

6. Баранникова И.В., Ландер А.В. Метрология, стандартизация, сертификация в АСУ: Учебное пособие для вузов. М.: Издательство Московского государственного горного университета, 2004. 91 с.

7. Черная Ю.А. Оценка эффективности вуза в связи с внедрением критериев оценки качества образовательных услуг // Фундаментальные исследования. 2014. № 12-9. С. 1999-2002.

8. Руденко С.С. Оценка качества образования в вузе // Вестник ЧитГУ. 2008. №2 (47). С. 21-34.

9. Заборова Е. Н. Оценка качества обучения: мнение педагогов экономического университета // XX Международная конференция памяти профессора Л. Н. Когана «Культура, личность, общество в современном мире: Методология, опыт эмпирического исследования» (16-18 марта 2017 г., Екатеринбург). Екатеринбург: УрФУ, 2017. С. 1027-1038.

10. Звонников В.И., Челышкова М.Б. Контроль качества обучения при аттестации: Ком-петентностный подход. М.: Университетская книга; Логос, 2009. 272 с.

11. Маслова Л.Д. О системах оценки качества высшего образования // Международный научно-исследовательский журнал. 2012. № 3 (3). С. 64-69.

12. Мусихин И.А. Современные подходы в проведении мониторинга качества результатов образования в вузе // Вестник Сибирского государственного университета геосистем и технологий. 2013. №1 (21).

13. Малхорта Нэреш К. Маркетинговые исследования. Практическое руководство, 3-е издание. Пер. с англ. М.: Издательский дом «Ви-льямс», 2002. 960 с. ISBN 5-8459-0357-2

14. Киценко М.М., Баранникова И.В. Научная работа «Разработка методики оценки качества обучения в высших учебных заведениях». М.: НИТУ «МИСиС», 2018.

15. Степанов М. Н., Шаврин А. В. Статистические методы обработки результатов механических испытаний: справочник. 2-е изд., испр. и доп. М.: Машиностроение, 2005. 399 с. ISBN 5-217-03272-3

16. Зайцева И.А. Педагогические проблемы формирования познавательных интересов учащихся. М.: Педагогика, 1988. 200 с.

17. Бройдо В.Л., Ильина О.П. Вычислительные системы, сети и телекоммуникации: Учебник для вузов. СПб.: Питер, 2011. 560 с.

18. Седых И.Ю. Оценка качества обучения в современном вузе. Современная математика и концепции инновационного математического образования. М.: Издательский дом МФО, 2016. ISSN: 2412-9895.

19. Яркова С.А., Залуцкий М.А. Методика

References

1. Ivanchenko I.V. The problem of improving the quality of education in high school. Molodoy uchenyy = Young scientist. 2016; 5. 1: 18-21. [Internet] Available from: https://moluch.ru/ archive/109/26315/(In Russ.)

2. Esenbayeva G.A., Kakenov K.S. Evaluation of factors affecting the quality of education in high school. Mezhdunarodnyy zhurnal eksperimental'nogo obrazovaniya = International Journal of Experimental Education. 2016; 2-2: 241-244. (In Russ.)

3. Terent'yeva T.V., Kulakova M.N. Factors affecting the effectiveness of educational services of the university in modern society. Sovremennyye problemy nauki i obrazovaniya = Modern problems of science and education. 2012; 5. (In Russ.)

4. Rents B., Ferster E. Metody korrelyatsionnogo i regressionnogo analiza. Rukovodstvo dlya ekonomistov. Perevod s nemetskogo i predisloviye V.M. Ivanovoy = Methods of correlation and regression analysis. A guide for economists. Translation from German and preface by V.M. Ivanova. Moscow: Finance and Statistics, 1983: 175. (In Russ.)

5. Templin J., Bradshaw L. The Use and Misuse of Psychometric Models. Psychometrika. 2014; 79 (2): 347-354.

6. Barannikova I.V., Lander A.V. Metrologiya, standartizatsiya, sertifikatsiya v ASU: Uchebnoye posobiye dlya vuzov = Metrology, standardization, certification in ACS: Textbook for universities. Moscow: Publishing House of the Moscow State Mining University; 2004. 91 p. (In Russ.)

7. Chernaya YU.A. Evaluation of the effectiveness of the university in connection with the introduction of criteria for assessing the quality of educational services. Fundamental Research. 2014; 12-9: 1999-2002. (In Russ.)

8. Rudenko S.S. Evaluation of the quality of education in high school. Vestnik CHitGU = Bulletin of ChitU. 2008; 2 (47): 21-34. (In Russ.)

внедрения профессиональных стандартов // Экономика и управление: анализ тенденций и перспектив развития: сборник материалов XXXVI Международной научно-практической конференции (г. Новосибирск, 21 июля, 17 августа 2017 г.) / Центр развития научного сотрудничества (ЦРНС) ; под общей редакцией кандидата экономических наук С. С. Чернова. Новосибирск : Изд-во ЦРНС, 2017. 143 с. ISBN 978-5-00068-889-2.

20. Пузанков Д., Федоров И., Шадриков В. Взгляд на развитие системы высшего профессионального образования // Высшее образование в России. 2004. № 9. С. 14-18.

21. Иванченко И. В. Проблема повышения качества образования в вузе // Молодой ученый. 2016. №5.1. С. 18-21. [Электрон. ресурс] Режим доступа: https://moluch.ru/archive/109/26315

9. Zaborova E. N. Evaluation of the quality of education: the opinion of teachers of the economic university. XX Mezhdunarodnaya konferentsiya pamyati professora L. N. Kogana «Kul'tura, lichnost', obshchestvo v sovremennom mire: Metodologiya, opyt empiricheskogo issledovaniya» = XX International Conference in memory of Professor L. N. Kogan "Culture, personality, society in the modern world: Methodology, experience of empirical research" (March 16-18, 2017, Yekaterinburg). Yekaterinburg: UrFU; 2017: 10271038. (In Russ.)

10. Zvonnikov V.I., CHelyshkova M.B. Kontrol' kachestva obucheniya pri attestatsii: Kompetentnostnyy podkhod = Control of the quality of training in certification: Competence-based approach. Moscow: University book; Logos, 2009. 272 p. (In Russ.)

11. Maslova L.D. On the systems of quality assessment of higher education. Mezhdunarodnyy nauchno-issledovatel'skiy zhurnal = International Research Journal. 2012; 3 (3): 64-69. (In Russ.)

12. Musikhin I.A. Modern approaches to the monitoring of the quality of educational results at the university. Vestnik Sibirskogo gosudarstvennogo universiteta geosistem i tekhnologiy = Bulletin of the Siberian State University of Geosystems and Technologies. 2013; 1 (21). (In Russ.)

13. Malkhorta Neresh K. Marketingovyye issledovaniya. Prakticheskoye rukovodstvo, 3-e izdaniye. Per. s angl. = Marketing research. A practical guide, 3rd edition. Per. from English Moscow: Williams Publishing House; 2002. 960 p. ISBN 5-8459-0357-2 (In Russ.)

14. Kitsenko M.M., Barannikova I.V. Nauchnaya rabota «Razrabotka metodiki otsenki kachestva obucheniya v vysshikh uchebnykh zavedeniyakh» = Scientific work "Development of methods for assessing the quality of education in higher education." Moscow: NITU «MISiS», 2018. (In Russ.)

15. Stepanov M. N., SHavrin A. V. Statisticheskiye metody obrabotki rezul'tatov mekhanicheskikh ispytaniy: spravochnik. 2-e izd., ispr. i dop. = Statistical methods for processing the results of mechanical tests: a handbook. 2nd ed., Corr. and add. Moscow: Mechanical Engineering; 2005. 399 p. ISBN 5-217-03272-3 (In Russ.)

16. Zaytseva I.A. Pedagogicheskiye problemy formirovaniya poznavatel'nykh interesov uchashchikhsya = Pedagogical problems of formation of cognitive interests of students. Moscow: Pedagogy, 1988. 200 p. (In Russ.)

17. Broydo V.L., Il'ina O.P. Vychislitel'nyye sistemy, seti i telekommunikatsii: Uchebnik dlya vuzov = Computing systems, networks and telecommunications: A textbook for universities. Saint Petersburg: Piter; 2011. 560 p. (In Russ.)

18. Sedykh I.YU. Otsenka kachestva obucheniya v sovremennom vuze. Sovremennaya matematika i kontseptsii innovatsionnogo matematicheskogo obrazovaniya = Evaluation of the quality of education in the modern university. Modern mathematics and concepts of innovative mathematics education. Moscow: MFO Publishing House, 2016. ISSN: 2412-9895. (In Russ.)

Сведения об авторах

Ирина Владимировна Баранникова

К.т.н, доцент

НИТУ МИСиС, Москва, Россия Эл. почта: alpair@mail.ru

Елена Николаевна Шафоростова

К.пед.н, доцент

НИТУ МИСиС, Москва, Россия

Эл. почта: shaf-elena@yandex.ru

19. YArkova S.A., Zalutskiy M.A. Metodika vnedreniya professional'nykh standartov. Ekonomika i upravleniye: analiz tendentsiy i perspektiv razvitiya: sbornik materialov XXXVI Mezhdunarodnoy nauchno-prakticheskoy konferentsii = Economics and Management: analysis of trends and development prospects: collection of materials of the XXXVI International Scientific and Practical Conference (Novosibirsk, July 21, August 17, 2017) Center for the Development of Scientific Cooperation (CRNS); under the general editorship of Candidate of Economic Sciences S. Chernova. Novosibirsk: CRNS Publishing House; 2017. 143 p. ISBN 9785-00068-889-2. (In Russ.)

20. Puzankov D., Fedorov I., SHadrikov V. A look at the development of the system of higher professional education. Vyssheye obrazovaniye v Rossii = Higher education in Russia. 2004; 9: 14— 18. (In Russ.)

21. Ivanchenko I. V. The problem of improving the quality of education in high school. Molodoy uchenyy = Young scientist. 2016; 5.1: 18-21. [Internet] Available from: https://moluch.ru/ archive/109/26315. (In Russ.)

Information about the authors

Irina V. Barannikova

Cand. Sci. (Engineering), Associate Professor NITU MISIS, Moscow, Russia E-mail: alpair@mail.ru

Elena N. Shaforostova

Cand. Sci. (Pedagogy), Associate Professor NITU MISIS, Moscow, Russia E-mail: shaf-elena@yandex.ru

i Надоели баннеры? Вы всегда можете отключить рекламу.