CC BY
25Бюллетень науки и практики /Bulletin of Science and Practice Т. 5. №5. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/42
ПЕДАГОГИЧЕСКИЕ НАУКИ/PEDAGOGICAL SCIENCES
УДК 378.14.015.62 https://doi.org/10.33619/2414-2948/42/73
АНАЛИЗ РЕЗУЛЬТАТОВ ФОРМИРОВАНИЯ ПРОФЕССИОНАЛЬНОЙ КОМПЕТЕНЦИИ СТАТИСТИЧЕСКИМИ МЕТОДАМИ
©Еремина И. И., канд. пед. наук, Казанский федеральный университет, г. Набережные
Челны, Россия, ereminaii@yandex.ru ©Макусева Т. Г., ORCID: 0000-0001-5070-598X; канд. пед. наук, Казанский национальный исследовательский технологический университет, г. Нижнекамск, Россия, makuseva2008@yandex.ru
OUTCOME ANALYSIS OF COMPETENCE FORMATION CARRIED OUT BY STATISTICAL TECHNIQUES
©Eryemina I., Ph.D., Kazan Federal University, Naberezhnye Chelny, Russia,
ereminaii@yandex.ru
©Makuseva T., ORCID: 0000-0001-5070-598X; Ph.D., Kazan National Research University of Technology, Nizhnekamsk, Russia, makuseva2008@yandex.ru
Аннотация. Переход России к инновационной рыночной экономике потребовал соответствующих изменений в системе высшего образования. Возросли требования работодателей, общества к уровню профессионализма выпускников, однако фактический уровень их профессиональной компетентности не всегда соответствует требованиям. В этой связи актуален поиск путей совершенствования анализа результатов сформированности профессиональных компетенций. В статье предложены статистические методы анализа формирования профессиональных компетенций, в частности S-критерия тенденций Джонкира и T-критерия Вилкоксона, позволяющие оценить достигнутый уровень сформированности профессиональной компетенции для ИТ-специалистов. Приведена обработка статистических данных, интерпретация полученных результатов, а также сравнение результатов, полученных разными статистическими методами.
Abstract. The process of establishing a free market economy in Russia required certain changes in the system of higher education. Currently, employers, as well as society, expect graduates to have expertise which sometimes doesn't meet all those requirements. Consequently, to find ways to improve outcome analysis of competence formation is getting extremely important. The article suggests using the following statistical techniques for analysis of competence formation: the Jonkir's S-criterion of tendencies and the Wilcoxon T-test. These techniques make it possible to evaluate the achieved level of competence for IT specialists. Statistical data processing, interpretation of findings and cross-trial comparison has been carried out.
Ключевые слова: профессиональные компетенции, анализ, статистические методы и критерии.
Keywords: expertise, competence, analysis, statistical techniques and criteria.
Бюллетень науки и практики /Bulletin of Science and Practice Т. 5. №5. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/42
Сведения, необходимые человеку для жизни и профессиональной деятельности, не могут быть просто переданы и переписаны с какого-либо носителя (например, книги или лазерного диска) сразу в его мозг, как это происходит в технических устройствах. В силу особенностей человека, как биологической информационной системы, получение информации сопровождается ее обработкой: структурированием, соотнесением и установлением связей с имеющимися знаниями, включением новых знаний в тезаурус.
Проблема измерения и оценивания результатов обучения, определения их качественных показателей, соотнесение с требованиями федеральных государственных образовательных стандартов и учебных программ, является одной из самых важных в педагогической теории и практике. Особенно актуальна эта проблема сейчас, в условиях перехода к рыночной экономике. Возросли требования работодателей и общества к уровню профессионализма выпускников, однако фактический уровень их профессиональной компетентности не всегда соответствует требованиям. Конечно, и Государственный экзамен по окончанию учебного процесса и оценка, полученная на защите дипломного проекта, являются качественными показателями обучения. Но все-таки, мы считаем, основным показателем обучения для ИТ-специалистов, ключевым результатом является владение ими вычислительной техникой, прикладными программами и т. д., т. е. сформированность профессиональных компетенций.
Данные, полученные при анализе результатов формирования профессиональных компетенции, часто называют «нестрогими», подразумевая неоднозначность интерпретации полученных результатов. Это не совсем верно. Ведь нестрогими оказываются результаты, не получившие достаточного обоснования и должной статистической обработки. Правильное и корректное применение статистических методов позволяет построить однозначные заключения о сформированности профессиональной компетенции у ИТ-специалистов. Важную роль играют статистические методы при получении анализа результатов формирования профессиональной компетенции. Никакая инновация в области прикладной информатики не должна приниматься без строгого научного обоснования, в основе которого лежат методы статистической обработки данных. Поэтому мы должны иметь представление об этих методах и уметь их применять [1].
Основная сложность обращения к статистическим методам не математическая, основа многих их них вполне прозрачна и очевидна. Проблемой является обработка больших массивов информации, (как правило, числовой), так как абсолютно немыслимо осуществлять их «вручную». Острота ситуации резко снижается, если будем использовать компьютеры [23]. Для анализа оценивания результатов формирования профессиональной компетенции в качестве данных нами были использованы оценки студентов за семестр, сгруппированные в отдельные профессиональные компетенции в соответствии с учебным планом 09.03.03 «Прикладная информатика в экономике».
Мы выделили ряд особенностей, связанных с анализом результатов формирования профессиональной компетентности. К ним относятся: измерение результатов обучения, определение их качественных показателей и соотнесение с требованиями федеральных государственных образовательных стандартов и учебных программ; «нестрогие» данные, подразумевающие неоднозначность интерпретации полученных результатов; применение специализированных пакетов, предназначенных для обработки статистической информации; оценки, сгруппированные в отдельные профессиональные компетенции в соответствии с учебным планом 09.03.03 «Прикладная информатика в экономике».
Исходя из перечисленных особенностей, нами были определены математические методы и инструментальные средства исследования. Основные из них: S-критерий тенденций Джонкира; Т-критерий Вилкоксона; Критерий Пирсона х2; ф-критерий (угловое
Бюллетень науки и практики / Bulletin of Science and Practice Т. 5. №5. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/42
преобразование) Фишера; коэффициент ранговой корреляции Спирмена В рамках данной статьи исследуем существование тенденции изменения количественного признака при переходе от одной независимой выборки к другой с помощью S-критерия тенденций Джонкира. S-критерий выявляет существование согласованного изменения качественного или количественного, или двух количественных показателей, характеризующих независимые выборки. В качестве независимых выборок были использованы курсы студентов. Для использования S-критерия сначала нами сформированы независимые выборки с одинаковым числом испытуемых, это является первым условием применимости метода. Так как в зависимости от курса число студентов в группах по направлению «Прикладная информатика в экономике» изменяется, то для каждого курса в группах методом случайного выбора отброшены лишние данные, оставлено столько испытуемых, сколько содержит меньшая из имеющихся выборок. Проведено упорядочивание выборок по возрастанию среднего по выборке значения количественного признака. Составлена таблица, строками которой являются номера испытуемых, а столбцами — индивидуальные значения признака. Метод отвечает на вопрос: достоверен ли фиксируемый рост признака или он не превышает случайного разброса значений в пределах выборок. Суть метода состоит в подсчете для каждого индивидуального показателя количества показателей, расположенных в столбцах правее его и превышающих его по величине. Если тенденция возрастания признака при переходе от выборки к выборке слева направо существенна, то большая часть значений справа должна быть выше. S-критерий позволяет выявить существование (или отсутствие) преобладания более высоких значений справа; чем выше Sэксп, тем более достоверной оказывается тенденция роста признака. Экспериментальная гипотеза принимается, если Sэксп превысит Skp, определяемое по таблице для данного числа выборок и количества наблюдений.
Ограничения применимости S-критерия:
1. Во всех сопоставляемых выборках должно быть одинаковое количество наблюдений (испытуемых).
2. По объемам выборок: нижний порог применимости — 3 выборки по 2 наблюдения в каждой; верхний порог — 6 выборок по 10 наблюдений в каждой (последнее условие, как и ранее, является следствием ограниченности таблиц критических значений).
Собраны данные о средней успеваемости студентов со второго по четвертый курс. В каждую выборку случайным образом отобраны по 6 человек; данные об их успеваемости по итогам двух сессий за учебный год приведены в таблице. Можно ли утверждать, что существует тенденция роста средней успеваемости при переходе студентов с курса на курс?
Таблица 1.
СРЕДНЯЯ УСПЕВАЕМОСТЬ СТУДЕНТОВ
№_Курс 2_Курс 2_Курс 3_Курс 4
1 4,80 3,60 4,20 4,00
2 4,50 5,00 4,50 3,80
3 3,20 4,50 5,00 5,00
4 4,00 3,00 4,00 5,00
5 3,50 4,80 5,00 4,80
6 4,60 4,20 3,60 5,00
Среднее значение 4,10 4,18 4,38 4,60
Выдвинем гипотезы:
Но: Тенденция изменения значений признака при переходе от выборки к выборке
Бюллетень науки и практики / Bulletin of Science and Practice Т. 5. №5. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/42
является случайной.
Щ: Тенденция изменения значений признака при переходе от выборки к выборке не является случайной.
Комментарий: судя по средним для выборок значениям, наблюдается тенденция роста средней успеваемости при переходе от младших курсов к старшим — это дает основание для выдвижения гипотезы Н1. S-критерий позволяет ее проверить, поскольку условия применимости метода выполнены.
Таблица 2.
СРЕДНЯЯ УСПЕВАЕМОСТЬ СТУДЕНТОВ
2 курс_3 курс_4 курс
№ Балл S2 Балл S3 Балл
1 3,00 12,00 3,60 6,00 3,80
2 3,60 11,00 4,00 4,00 4,00
3 4,20 7,00 4,20 4,00 4,80
4 4,50 6,00 4,50 4,00 5,00
5 4,80 5,00 5,00 0,00 5,00
6 5,00 0,00 5,00 0,00 5,00
41,00 18,00
Упорядочив данные по возрастанию, заполнили значения Si, подсчитав количество значений, строго превышающих значения балла во всех колонках, расположенных правее данной. Каждый индивидуальный показатель 2-го курса сравниваем с данными 3 и 4 курсов, а данные 3-го курса только с данными 4, так как данные правее колонки 4-го курса отсутствуют, то для него S4 не определяются. Находим значения А и В по формулам: „ с *(с -1) * 2
А = ^ ^ , В =---* п , где с — количество рассматриваемых выборок, а п — число
наблюдений в выборке. Получили А=59 и В =108. Далее находим 8экс = 2*А-В. Получили ^экс = 10. По таблице критических значений S-критерия Джонкира находим 8кр, (8кр=42). Поскольку 8экс < 8кр, то Н1 отклоняется, принимается Н0 — достоверная тенденция роста отсутствует.
Рассмотрим еще один критерий: мощный и универсальный метод — ^Критерий Вилкоксона. Метод применяется при сопоставлении показателей, полученных на одной и той же группе испытуемых в двух разных условиях. Доказательство достоверности их изменения в среднем по группе производится по интенсивности индивидуальных сдвигов (а не только по их направлению, как в критерии знаков). Как было сказано выше, он является мощным, универсальным методом, поскольку применим как для качественных признаков, измеренных по шкале порядка, так и для количественных.
Суть метода состоит в сопоставлении выраженности сдвигов в том и ином направлениях по абсолютной величине. Если сдвиги в положительную и в отрицательную сторону происходят случайно, то суммы рангов абсолютных значений их будут примерно равны. Если же интенсивность сдвига в одном из направлений перевешивает, то сумма рангов абсолютных значений сдвигов в противоположную сторону будет значительно ниже, чем это могло бы быть при случайных изменениях. Итак, по сумме рангов выявляется направление типичного сдвига, после этого Тэксп определяется как сумма рангов нетипичных сдвигов и сопоставляется с табличным значением Ткр, определимым по количеству
Бюллетень науки и практики /Bulletin of Science and Practice Т. 5. №5. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/42
ненулевых сдвигов и выбранной значимости. Чем выше интенсивность сдвигов в типичном
направлении, тем меньше сдвигов нетипичных и, следовательно, меньше Тэксп. При Тэксп <
Ткр экспериментальная гипотеза считается подтвержденной. Если показатель измерен по
качественной порядковой шкале, то каждому значению уровня приписывается число, равное его порядковому номеру на шкале, после чего определение индивидуальных сдвигов производится по этим числам.
Проверяемые гипотезы:
Но: Интенсивность сдвигов в типичном направлении не превышает интенсивности сдвигов в нетипичном.
Н1: Интенсивность сдвигов в типичном направлении достоверно превышает интенсивность сдвигов в нетипичном.
Ограничения применимости Т-критерия: объем выборки — от 5 до 50 испытуемых с ненулевыми индивидуальными сдвигами.
Рассмотрим этот метод на примере направления «Прикладная информатика в экономике» [1]. Данные в таблице взяты за разные годы по дисциплине «Вычислительные системы, сети и телекоммуникации», которая входит в профессиональный цикл.
Таблица 3.
ИНДИВИДУАЛЬНЫЕ СДВИГИ
Год
2017 2018 Сдвиг Модуль сдвига Ранг
Студент 1 4 4 0 0
Студент 2 3 4 1 1 5,5
Студент 3 4 5 1 1 5,5
Студент 4 4 4 0 0
Студент 5 3 5 2 2 11,5
Студент 6 3 5 2 2 11,5
Студент 7 4 4 0 0
Студент 8 4 4 0 0
Студент 9 4 3 -1 1 5,5
Студент 10 3 4 1 1 5,5
Студент 11 4 4 0
Студент 12 4 3 -1 1 5,5
Студент 13 3 4 1 1 5,5
Студент 14 4 5 1 1 5,5
Студент 15 3 4 1 1 5,5
Студент 16 4 5 1 1 5,5
Студент 17 5 4 -1 1 5,5
Ср. по группе 3,705882 4,176471 Сумма рангов 78
При п=17 получим SR=78.
С помочью метода мы можем узнать, проявляется ли значимый сдвиг в сторону роста успеваемости.
Но: Достоверный рост успеваемости отсутствует. Н1: Успеваемость достоверно возросла.
Из Таблицы критических значении G-критерия знаков находим Ткр=17. Поскольку Тэксп < Ткр, (где ТЭксп=16,5), принимается Н1 — рост успеваемости достоверен. Т-критерий Вилкоксона подтвердил справедливость экспериментальной гипотезы. Метод хорош тем, что
Бюллетень науки и практики / Bulletin of Science and Practice Т. 5. №5. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/42
он оперирует не только направленностью сдвигов, но и их интенсивностью — по этой причине Т-критерий более точно отражает характер изменения показателя.
Использование статистических методов для оценивания результатов формирования профессиональных компетенций и их анализа позволило выявить однородные группы студентов. Были определены случайные тенденции изменения значений индивидуальных показателей при переходе от выборки к выборке, возрастание уровня успеваемости студентов, нормальное распределение предпочтений учебных дисциплин у студентов, высокая корреляционная связь между оценкой государственного экзамена и оценкой защиты дипломной работы.
Проведение исследования в течение нескольких лет позволило создать информационную базу для прогнозирования результатов формирования профессиональных компетенций статистическими методами, разработать комплексную имитационную модель формирования профессиональных компетенций с учетом взаимодействия основных технологических процессов на основе технологии IDEFO.
Список литературы:
1. Еремина И. И., Макусева Т. Г. Статистические методы анализа формирования профессиональной компетенции студентов (на примере направления подготовки бакалавров «Прикладная информатика в экономике»). СПб.: Свое издательство, 2017. 117 с.
2. Козьмина М. А. Педагогическая технология квалиметрического оценивания выпускной квалификационной работы в вузе: автореф. дисс ... канд. пед. наук. Ижевск, 2012. 21 с.
3. Дубцова М. М. О реализации квалиметрического подхода в решении проблемы оценивания учебных достижений студентов вуза // Перспективы науки. 2011. №5 (20). С. 911.
References:
1. Eremina, I. I., & Makuseva, T. G. (2017). Statisticheskie metody analiza formirovaniya professiona'noi kompetentsii studentov (na primere napravleniya podgotovki bakalavrov Prikladnaya informatika v ekonomike). St. Peterburg, Svoe izdatel'stvo, 117 s.
2. Kozmina, M. A. (2012). Pedagogicheskaya tekhnologiya kvalimetricheskogo otsenivaniya vypusknoi kvalifikatsionnoi raboty v vuze: autoref. Ph.D. diss. Izhevsk, 2012, 21 s.
3. Dubtsova, M. M. (2011). O realizatsii kvalimetricheskogo podkhoda v reshenii problemy otsenivaniya uchebnykh dostizhenii studentov vuza. Perspektivy nauki, (5), 9-11.
Работа поступила Принята к публикации
в редакцию 07.04.2019 г. 11.04.2019 г.
Ссылка для цитирования:
Еремина И. И., Макусева Т. Г. Анализ результатов формирования профессиональной компетенции статистическими методами // Бюллетень науки и практики. 2019. Т. 5. №5. С. 493 -498. https://doi .org/10.33619/2414-2948/42/73.
Cite as (APA):
Eryemina, I., & Makuseva, T. (2019). Outcome Analysis of Competence Formation Carried out by Statistical Techniques. Bulletin of Science and Practice, 5(5), 493-498. https://doi.org/10.33619/2414-2948/42/73. (in Russian).
