CC BY
26Мониторинг образовательных процессов дополнительного профессионального образования
Рассматривается мониторинг образовательных процессов. Идентифицируются параметры, влияющие на его результативность, анализируются проблемы разработки и реализации тестовых материалов, определяются параметры, характеризующие качество оценочного инструмента. УДК статьи 568.562
О.Н. Федонин1
ФГБОУ ВО «Брянский государственный технический университет» (ФГБОУ ВО БГТУ), д-р техн. наук, профессор, [email protected]
А.З. Симкин2
ФГБОУ ВО БГТУ, канд. техн. наук, доцент, [email protected]
Т.П. Можаева3
ФГБОУ ВО БГТУ, канд. техн. наук, доцент, [email protected]
А.С. Проскурин4
ФГБОУ ВО БГТУ, [email protected]
1 ректор, г. Брянск, Россия. ORCID: 0000-0002-3511-699X
2 проректор по молодежной политике и воспитательной работе, г. Брянск, Россия. ORCID: 0000-0003-1343-9621
3 начальник отдела ДПО, г. Брянск, Россия. ORCID: 0000-0001-8461-3442
4 ведущий инженер отдела ДПО, доцент кафедры «Управление качеством, стандартизация
и метрология», г. Брянск, Россия. ORCID: 0000-0001-8186-7375
Для цитирования: Федонин ОН., Симкин А.З., Можаева Т.П., Проскурин А.С. Мониторинг образовательных процессов дополнительного профессионального образования // Компетентность / Competency (Russia). — 2022. — № 5. DOI: 10.24412/1993-8780-2022-5-03-07
ключевые слова
образовательный процесс, оценочный инструмент (тест), параметры качества, валидность, надежность, статистическое обоснование качества теста
беспечение качества подготовки слушателей дополнительных профессиональных образовательных программ является ключевым условием конкурентоспособности образовательных организаций, осуществляющих деятельность в рамках дополнительного профессионального образования (ДПО). Образовательная организация должна постоянно проводить мониторинг, выявлять и удовлетворять требования заинтересованных сторон к результату своей деятельности — подготовке специалистов, освоивших профессиональные компетенции [1].
Мониторинг образовательных процессов ДПО предусматривает оценивание таких параметров, как:
► подготовка слушателей дополнительных профессиональных образовательных программ;
► ресурсное обеспечение образовательной деятельности;
► используемые оценочные инструменты и технологии и пр.
Практический интерес к оцениванию подготовки слушателей предполагает необходимость идентификации процедуры мониторинга качества применяемого в ДПО оценочного инструмента в виде тестового контрольного материала (иные параметры качества образовательных процессов ДПО в статье не рассматриваются).
Изучение научных подходов к разработке и применению тестового материала в качестве оценочного инструмента при проведении мониторинга образовательных процессов в системе ДПО позволило выявить следующие недостатки [2-8]:
► наличие ограничений в использовании готовых тестовых материалов, связанных с трудоемкостью их адаптации к конкретной профессиональной образовательной программе;
► отсутствие объективных подтверждений, базирующихся на применении статистических методов, валидности тестового материала;
► применение дескриптивных (качественных) процедур разработки оценочного инструмента, влияющих на уровень его надежности и соответствия объекту исследования при оценке результатов обучения слушателей ДПО.
Опыт применения тестов при проведении мониторинга образовательных процессов продемонстрировал наличие проблем, связанных с получением образовательной организацией некорректной информации (невалидной и ненадежной) об уровне подготовки слушателей ДПО [2, 3, 6]. Данный факт объясняется в том числе недостаточным применением на практике статистических методов обоснования качества оценочного инструмента (тестов), используемого при проведении мониторинга образовательных процессов ДПО.
Устранение выявленных недостатков представляется возможным при решении следующих задач:
► идентификация процедуры обоснования качества оценочного инструмента (тестового материала), базирующейся на применении статистических методов;
► адаптация процедуры обоснования качества оценочного инструмента (тестового материала) к мониторингу образовательных процессов в системе ДПО.
Решение поставленных в данном исследовании задач возможно на основе идентификации процедуры обоснования качества оценочного инструмента (теста), базирующейся на использовании статистических методов, и интегрировании ее в процесс мониторинга образовательной деятельности в ДПО вуза.
Предпосылками к разработке процедуры обоснования качества оценочного инструмента (тестового материала) служат следующие положения: ► параметрами качества оценочного инструмента являются, в частности, такие характеристики, как валидность тестового материала (его целевое соответствие), надежность по критерию
устойчивости (повторяемость, близость получаемых данных), надежность по критерию согласованности (гомогенность заданий тестового материала); ► подтверждение возможности применения тестового материала в оценке уровня подготовленности слушателей ДПО принимается на основе его статистического обоснования.
Процедура обоснования качества оценочного инструмента (теста) [The procedure for substantiating the quality of the assessment tool (test)]
Обоснование надежности — устойчивости результатов, полученных с использованием инструмента
^^^^СтатистическаЯ^^^^ значимость Да Нет
^^^^на основе f-критерия ^^^^Стьюдента^^^^
Подтверждение качества оценочного инструмента
~ Г "
( Конец
Алгоритм оценки качества тестового материала состоит из следующих этапов (см. рисунок):
1. Разработка тестового материала, направленного на выявление уровня сформированности профессиональных компетенций слушателей дополнительной образовательной программы.
2. Определение валидности разработанного тестового материала. Данный параметр рассчитывается путем нахождения ранговой корреляции Спирмена (р) между разработанным и применяемым на практике тестовым материалом [2, 8]. Статистическая значимость полученного коэффициента ранговой корреляции оценивается на основе £-критерия Стьюдента £ > t1_a. п2 [8].
3. Оценивание надежности — устойчивости тестового материала. Состоятельность параметра подтверждается соблюдением следующих условий [8]: нахождение и статистическое обоснование на основе £-критерия Стьюдента (£ > £1-а. п 2) коэффициента корреляции г' между данными последовательных и отсроченных по времени тестирований слушателей программы ДПО; статистическое обоснование (£ < £1-а/2; п1+п2-2)
незначимых различий в средних значениях результатов слушателей программы ДПО, полученных при проведении последовательных и отсроченных по времени тестирований.
4. Оценивание надежности — согласованности тестового материала. Состоятельность параметра подтверждается соблюдением следующих условий [2, 8]: нахождение и статистическое обоснование на основе £-критерия Стью-дента (£ > £1-а; т/2-2) коэффициента корреляции гху между данными двух разделенных частей теста; вычисление коэффициента надежности Спирме-на — Брауна г£, для нахождения которого используется коэффициент корреляции между данными частей теста.
5. Анализ параметров качества оценочного инструмента (валидность, надежность — устойчивость, надежность — согласованность) с целью принятия решения о его использовании (или разработке нового инструмента) в мониторинге образовательного процесса
Таблица 1
Оценивание валидности тестового материала (фрагмент таблицы) [Evaluation of the test material validity (table fragment)]
Тест [Test] Число тестируемых слушателей, п [Number of test listeners, n] I
1 2 3 11 12
Оценка уровня знаний в баллах (при максимальном количестве баллов — 20)
разработанный 19 16 20 20 19 -
эталонный 19 18 20 19 17 -
Ранговая оценка уровня знаний, r,, s.
разработанный, r, 6,5 12 2,5 2,5 6,5 Jjr = 34
эталонный, s 5 8,5 2 5 8,5 lTs = 22,5
r i - s, 1,5 3,5 0,5 2,5 2 -
(r, - s,)2 2,25 12,5 0,25 6,25 4 45,75
p = 0,76; t = 4,0046 > t095; 10 = 2,23
и его результатов — качества подготовки слушателей ДПО.
Апробация предлагаемой процедуры обоснования качества оценочного инструмента реализуется в рамках повышения квалификации слушателей дополнительной профессиональной образовательной программы «Документирование управленческой деятельности: ГОСТ Р 7.0.97-2016». Проверке на возможность применения в мониторинге образовательного процесса подвергается разработанный оценочный инструмент (тест).
Исследуемый тестовый материал можно считать валидным, так как выполняются принятые условия (табл. 1): коэффициент корреляции Спирмена р = 0,76; статистическая значимость коэффициента корреляции £ = 4,0046 > £0 95; 10 = 2,23.
Значение надежности по критерию устойчивости тестового материала на основе нахождения корреляции между показателями слушателей по результатам проведения первичного и повторного тестирования продемонстрировало наличие статистически значимой (£ = 3,7608 > £095; ю = 2,23) тесной связи г' = 0,75 и незначимых различий в средних значениях (£ = 0,5251 >
> t
1-0,05/2; 12+12-2
= 2,53) (табл. 2).
Исследуемый тестовый материал можно считать надежным по критерию согласованности, так как выполняются
справка
Дескриптивный метод принятия решений — это оценочно-описательный метод исследования, направленный на эмпирическое исследование и описание поведения отдельных лиц и групп людей в процессе принятия решений. Он носит ярко выраженный объясняющий, а не предписывающий характер
Таблица 2
Оценивание надежности тестового материала (фрагмент таблицы) [Evaluation of the test material reliability (table fragment)]
№ слушателя, Надежность - устойчивость [Reliability - stability] Надежность - согласованность [Reliability - consistency]
n [Listener N, n,] Баллы, набранные слушателями [Points scored by listeners]
Тестирование № 1(x,) [Testing N 1 (x,)] Тестирование № 2 (y) [Testing N 2 (y)] 1-я часть теста (x,) [1st part of the test (x,)] 2-я часть теста (y) [2nd part of the test (y)]
1 19 17 9 10
2 15 13 8 9
11 18 17 10 9
12 17 16 8 9
I 238 233 117 122
x; y - = 18,32 y- = 18 - = 11,9 - = 12,3
s2; s2 s2x = 2,8544 sy= 3,6 s2x = 12,54 s2y = 12,66
rXy = 0,75 rXy = 0,8
t = 3,7608 > t0,95; 10 = 2,23 rt = 0,88
t = 0,5251 > t1_0,05/2; 12+12-2 = 2,53 t = 4,0520 > t1-a; m/2-2 = t0,95; 8 = 2,31
Статья поступила в редакцию 1.04.2022
следующие условия (табл. 2): коэффициент корреляции статистически значим ^ = 4,0520 > 8 = 2,31^ = 0,8); коэффициент надежности Спирмена — Брауна г■ = 0,88.
Выявленные параметры оценочного инструмента (эмпирическая ва-лидность, надежность по критерию устойчивости и согласованности) и их статистическое обоснование позволяют судить о целесообразности использования разработанного теста в мониторинге качества образовательного процесса, в частности в идентификации уровня подготовки слушателей ДПО.
Развитие системы ДПО в структуре вуза, соответствующей запросам и ожиданиям заинтересованных сторон, обу-
словливает необходимость проведения систематического мониторинга качества образовательных процессов, в том числе обеспечения качества применяемых для этого оценочных инструментов (тестов). Использование инструментов, не соответствующих целевому предназначению мониторинга образовательного процесса, приводит к получению искаженной (несостоятельной) информации об уровне подготовки слушателей ДПО.
Предлагаемая процедура статистического обоснования качества оценочного инструмента позволяет не только корректно реализовать мониторинг образовательного процесса, но и получить релевантные данные о его состоянии. ■
Список литературы
1. Simkin A., Mozhaeva T., Proskurin A. The quality management system of additional professional education in higher educational institution on the basis of a standard quality system / MATEC Web of Conferences: The conf. proceedings ISPCIME-2019.
2. Аванесов В.С. Проблема педагогических измерений качества образования // Педагогические измерения. — 2015. — № 3.
3. Balta N., Eryilmaz A. Development of modern physics achievement test: validity and reliability study // The European Educational Researcher. — 2020. — № 3(1).
4. Домницкий В.Г., Купайлов О.П., Ярмыш В.А. Оценка качества практической подготовки обучающегося с использованием экспертной системы / Инновационные технологии в образовательном процессе: Сб. трудов Хх Всероссийской заочной науч.-практ. конф. — Краснодар: КВВАУЛ, 2019.
5. Effenberger T., Pelanek R. Validity and reliability of student models for problem-solving activities / 11th International learning analytics and knowledge conference, 2021.
6. Higgins L., Caze T., Maerlender A. Validity and reliability of baseline testing in a standardized environment // Archives of Clinical Neuropsychology. — 2018. — Т. 33.
7. Карлина А.А., Савинова В.В. Организация мониторинга качества образования // Вестник международного института рынка. — 2019. — № 1.
8. Круглов В.И., Горленко О.А., Борбаць Н.М., Можаева Т.П. и др. Статистические методы в оценивании качества образования. — СПб: ЛЭТИ, 2018.
Kompetentnost / Competency (Russia) 5/2022
ISSN 1993-8780. DOI: 10.24412/1993-8780-2022-5-03-07
Further Vocational Training Educational Processes Monitoring
O.N. Fedonin1, FSBEI HE Bryansk State Technical University (FSBEI HE BSTU), Prof. Dr., [email protected] A.Z. Simkin2, FSBEI HE BSTU, Assoc. Prof. PhD, [email protected] T.P. Mozhaeva3, FSBEI HE BSTU, Assoc. Prof. PhD, [email protected] A.S. Proskurin4, FSBEI HE BSTU, [email protected]
1 Rector, Bryansk, Russia. ORCID: 0000-0002-3511-699X
2 Vice-Rector for Youth Policy and Educational Work, Bryansk, Russia. ORCID: 0000-0003-1343-9621
3 Head of Department, Bryansk, Russia. ORCID: 0000-0001-8461-3442
4 Lead Engineer of Department, Associate Professor of Quality Management, Standardization and Metrology Department, Bryansk, Russia. ORCID: 0000-0001-8186-7375
Citation: Fedonin O.N., Simkin A.Z., Mozhaeva T.P., Proskurin A.S. Further Vocational Training Educational Processes Monitoring, Kompetentnost / Competency (Russia), 2022, no. 5, pp. 3-7. DOI: 10.24412/1993-8780-2022-5-03-07
1. Simkin A., Mozhaeva T., Proskurin A. The quality management system of additional professional education in higher educational institution on the basis of a standard quality system, MATEC Web of Conferences: The conf. proceedings ISPCIME-2019, 06010 P.
2. Avanesov V.S. Problema pedagogicheskikh izmereniy kachestva obrazovaniya [The problem of pedagogical measurements of the education quality], Pedagogicheskie izmereniya, 2015, no. 3, pp. 3-14.
3. Balta N., Eryilmaz A. Development of modern physics achievement test: validity and reliability study, The European Educational Researcher, 2020, no. 3(1), pp. 29-38.
4. Domnitskiy V.G., Kupaylov O.P., Yarmysh V.A. Otsenka kachestva prakticheskoy podgotovki obuchayushchegosya s ispol'zovaniem ekspertnoy sistemy [Assessment of the quality of practical training of a student using an expert system], Innovatsionnye tekhnologii
v obrazovatel'nom protsesse: Sb. materialov Vserossiyskoy zaochnoy nauch.-prakt. konf., Krasnodar, KVVAUL, 2019, pp. 79-84.
5. Effenberger T., Pelanek R. Validity and reliability of student models for problem-solving activities, 11-th International learning analytics and knowledge conference, 2021, pp. 1-11.
6. Higgins L., Caze T., Maerlender A. Validity and reliability of baseline testing in a standardized environment, Archives of Clinical Neuropsychology, 2018, vol. 33, pp. 437-443.
7. Karlina A.A., Savinova V.V. Organizatsiya monitoringa kachestva obrazovaniya [Organization of education quality monitoring], Vestnik mezhdunarodnogo instituta rynka, 2019, no. 1, pp. 43-49.
8. Kruglov V.I., Gorlenko O.A., Borbats' N.M., Mozhaeva T.P., Proskurin A.S., Yashchenko V.V. Statisticheskie metody v otsenivanii kachestva obrazovaniya [Statistical methods in assessing the quality of education], St. Petersburg, LETI, 2018, 112 P.
educational process, evaluation tool (test), quality parameters, validity, reliability, statistical substantiation of test quality
We have considered one of the conditions for ensuring the quality of training for students of educational programs of further vocational training — monitoring of educational processes. We have identified the parameters of monitoring the educational process that affect the effectiveness of this activity, including the consistency of the assessment tools (tests) used and the validity of their application in specific conditions. We have analyzed the problems associated with the development and implementation of test materials in the educational process of further vocational training. There are difficulties caused by obtaining incorrect (unreliable) information about the level of formation of the student's competencies as a result of monitoring the FVT program development. The necessity of studying the consistency of evaluation tools used in monitoring the educational process and guaranteeing the receipt of correct information about the object of study was substantiated. We have determined the parameters that characterize the quality of the assessment tool, in particular, the validity, reliability in terms of stability and consistency of the test material. The relevance of developing a procedure for assessing the quality of test materials used in monitoring was substantiated. We argued the feasibility of using statistical methods to confirm the quality of the assessment tool. The proposed procedure for statistical substantiation of the quality of the test material used in monitoring the processes of educational activities provides the leaders of the further professional program with objective and reliable information about the level of students' training.
References
