CC BY
55
Дидактическая инженерия: метрическая оценка академической компетентности по технологии обучение-
тест
Нуриев Наиль Кашапович профессор, д.п.н., заведующий кафедрой информатики и прикладной математики, Казанский национальный исследовательский технологический университет, ул. К.Маркса, 68, г. Казань, 420015, (843)2314119 nurievnk@mail. ru
Старыгина Светлана Дмитриевна доцент, к.п.н., доцент кафедры информатики и прикладной математики, Казанский национальный исследовательский технологический университет, ул. К.Маркса, 68, г. Казань, 420015, (843)2314119 svetacd_kazan@mail.ru
Крылов Дмитрий Александрович доцент, к.п.н., доцент кафедры теории и методики технологии и профессионального
образования, Марийский государственный университет ул. Кремлевская, 44, г. Йошкар-Ола, 424000, (8362) 687900 krilda@mail.ru
Аннотация
В работе показано, чтобы оценить качество владения какой-то компетенцией в метриках, т.е. с высокой надежностью необходимо провести пятистороннее тестирования по технологии обучение-тест. На практике часто возникает задача, когда качество владения компетенцией с допустимой надежностью необходимо оценить исходя только из показателей качества усвоенных знаний, т.е. возникает ситуация, когда требуется надежно оценить «целое» по его части. Приводится статистически обоснованный метод решения этой задачи. Метод можно реализовать с использованием традиционных оболочек тестирования.
The paper shows to assess the quality of ownership of some competence in metrics, ie, with high reliability is necessary to conduct five-sided test technology training - test. In practice, often the problem arises when the quality of ownership competence with acceptable reliability necessary to estimate based only on the quality indicators of acquired knowledge, ie, a situation arises when you want to reliably estimate the "whole" of its parts. We give a statistically sound method solution of this task. The method may be implemented using conventional sheaths testing.
Ключевые слова
компетенция, компетентность, технологии подготовки, полнота знаний, целостность знаний, глубина знаний, проектно-конструктивные способности, шкала качества владения компетенцией
competence, technology training, the fullness of knowledge, the integrity of knowledge, depth of knowledge, engineering and design ability, scale quality possession competence
Инвариантная методика решения проблем
Человек за свою жизнь решает множество (поток) бытовых и профессиональных проблем, и все проблемы он решает по одному и тому же основному сценарию (укрупненному маршруту операций 1, 2, 3).
Операция 1. На основе своих знаний и способностей он формализует (представляет) проблему какой - то сложности в когнитивной сфере как ментальную ее модель. Затем, в меру развития своих способностей и наличия знаний, он эту проблему преобразует в известную для него задачу (и).
Операция 2. Строит план (алгоритм) решения, полученной на первой операции задачи. Причем, оптимальность плана решения задачи зависит от ее сложности, показателей качества усвоенных им знаний в области решаемой проблемы, а также от показателей качества развития его способностей.
Операция 3. Исполняет (реализует) свой план с привлечением дополнительных ресурсов (денежных, материальных, инструментальных средств), опираясь на знания и проявляя при этом свои способности как умения и навыки.
Из сказанного следует, что успех или неудача в решении любой проблемы конкретным человеком, в основном, зависит от качества его знаний в области решаемой проблемы, качества развития его способностей, которые на практике проявляются как умения и навыки, а также от сложности самой решаемой проблемы. Очевидно, для успешного решения проблемы в целом, необходимо успешно реализовать все три операции друг за другом, при этом, как правило, операция 1 и 2 многократно критически перерабатываются в когнитивной сфере человека во избежание ошибок. Разумеется, что для успешной реализации по отдельности первой, второй и третьей операций необходимы определенные уровни развития формализационных, конструктивных и исполнительских способностей, а также усвоенные соответствующие знания не ниже определенного качества.
Функциональная модель решения проблем
В рамках методологии структурного анализа и проектирования SADT (Structured Analysis and Design Technique), разработанного Дугласом Россом, построим функциональную модель деятельности человека по решению проблемы определенной сложности. Через переменные А, В, С обозначим соответствующие формализационные, конструктивные и исполнительские способности человека, через POL, CHL, - параметры характеризующие качество (полноту и их целостность) его знаний Z из какой - то компетенции, S - сложность решаемой им проблемы, R -другие (кроме его знаний) ресурсы, P - вероятность его успеха (рис. 1).
УПРАВЛЕНИЕ: способности как способы реализации
МЕХАНИЗМ: знания
Другие ресурсы
Рис.1. Функциональная модель деятельности человека по решению проблемы
Модель функционирует следующим образом: ВХОД (проблема сложности S из какой - то компетенции ) преобразуется в ВЫХОД (в успешный результат с вероятностью P) под УПРАВЛЕНИМ (A, B, C - способностей человека) с помощью МЕХАНИЗМА (Z - знания из какой - то компетенции, R -другие ресурсы).
Таким образом, вероятность Р успеха конкретного человека с данными A=a, B=b, C=c, POL=pol, CHL=chl при решении проблемы сложности S можно записать:
Р(успех)=Р(А<а, B<b, C<c, POL<pol, CHL<chl, S<s).
Величины A, B, C, POL, CHL в комплексе назовем характеристическими параметрами качества развития человека в рамках какой -то компетенции.
Из модели можно сделать два качественных вывода: 1) в рамках любой компетенции, чем больше у решающего проблему человека значения величин, A=a, B=b, C=c, POL=pol, CHL=chl, тем больше значение вероятности Р того, что он эту проблему сложности S=s успешно разрешит; 2) можно утверждать, что чем меньше сложность проблемы S=s, тем больше значение вероятности Р того, что человек с данными a, b, c, pol, chl эту проблему успешно разрешит.
Очевидно, что в рамках любой компетенции у каждого человека значения параметров A, B, C, POL, CHL в течение жизни меняются, т.е. он развивается и для этого целенаправленно учится разрешать все более сложные проблемы.
Владение компетенцией и компетентность
На практике, владеть какой - то компетенцией означает быть способным (уметь и иметь навыки) используя знания как механизм разрешать проблемы до определенной сложности в рамках этой компетенции [1]. Можно сказать по-другому, т.е. в рамках любой компетенции рассматривается множество однородных проблем разной сложности, которые человек владеющей этой компетенцией должен уметь (быть способным) разрешать. Таким образом, в совокупности проблемы, умения и навыки их разрешать формируют само понятие компетенция с каким - то названием и содержанием, т.е. в понятии компетенция соединены в единое целое множество
однородных проблем и способности (умения, навыки) человека, пользуясь знаниями разрешать их. Понятие компетентность нами рассматривается как качество владение компетенцией, т.е. когда качество развития способностей человека и качество усвоенных им знаний (количественно характеризуется значениями параметров А, В, С, POL, CHL) позволяют с высокой вероятностью разрешать проблемы до требуемого (например, на производстве), уровня сложности. Исходя из этого, человек относительно какой - компетенции может находиться в двух состояниях: быть компетентным или некомпетентным, например, на своем рабочем месте. В связи со сказанным, понятие компетенция является сложным (сложенным понятием) и поэтому с нашей точки зрения попытки дать однозначное определении компетенции является бесперспективным.
Аспекты методологии подготовки в метрическом компетентностном формате
Как было сказано ранее, владения определенной компетенцией предполагает быть способным (уметь и иметь навыки) решать проблемы из разных тем, т.е. множество проблем в рамках одной компетенции можно всегда разбить на темы разной направленности. Например, рассматривается компетенция: способность использовать численные методы для решения инженерных задач. В рамках этой компетенции могут быть рассмотрены следующие темы [2, 3]:
Тема 1. Приближенные числа и действия над ними.
Тема 2. Решение алгебраических и трансцендентных уравнений.
Тема 3. Интерполяционные полиномы.
Тема 4. Аппроксимация.
Тема 5. Численное интегрирование.
Тема 6. Решение обыкновенных дифференциальных уравнений.
Тема 7. Решение дифференциальных уравнений математической физики.
Тема 8. Численное решение задач оптимизации.
В рамках каждой темы рассматривается множество проблем (задач) разной сложности.
Для обобщения сказанного, поострим следующую модель (рис. 2). Множество проблем из разных тем разной направленности расположим на пучке векторов. Направления тем задаются векторами, а проблемы изображены точками. При этом все проблемы расположены по возрастанию сложности от центра (точки 0) к периферии, которые в целом организуют некоторое метрическое пространство проблем в рамках одной компетенции со своей шкалой сложности.
Рис. 2. Шкала сложности проблем в рамках компетенции
Очевидно, что каждый человек, который владеет компетенцией, имеет определенный уровень развития проектно-конструктивных или АВС-способностей, в соответствии с которым он умеет (способен) решать «круг» проблем до определенной сложности. Например, рассмотрим трех инженеров И1, И2, И3. Допустим, И1 на актуальный момент развития АВС-способностей и наличия знаний самостоятельно может разрешить только проблемы первого круга сложности (см. рис. 2, круг проблем это сложности обозначен цифрой 1), И2 - первого и второго кругов сложности, И3 - первого, второго, третьего кругов сложности. Из сказанного следует важный вывод, что качество владения компетенцией человека можно оценивать сложностью проблем, которые он способен разрешать. На практике, уровни развития АВС-способностей и наличие усвоенных знаний человека в рамках какой-то компетенции можно отобразить на специальной шкале качества владения компетенцией (КВК). Шкала КВК [1] представляет собой единую пятимерную шкалу (рис.3).
Рис.3. Шкала качества владения компетенцией
На этой шкале на векторах А, В, С откладываются соответственно уровни развития формализационных, конструктивных и исполнительских способностей человека. На векторах POL и CHL откладываются значения метрик параметров качества усвоенных им знаний, т.е. полнота и целостность усвоенных им знаний. Следует особо отметить, для того, чтобы человек практически в своей деятельности мог использовать свои знания как механизм (см. рис. 1, в функциональной модели знания Z используются как механизм) при решении проблем в рамках компетенции, необходимо, чтобы он владел соответствующими знаниями обязательно и в полноте и в целостности в интеграции. Это утверждение, справедливо исходя из системности построения всей окружающей среды, т.е. любая полноценно функционирующая система (в том числе знания) должна обязательно обладать свойствами полноты и целостности, иначе механизм системы полноценно действовать не может. Владеть знаниями в полноте в рамках компетенции, означает владение знаниями в полном объеме (в механизме все элементы должны присутствовать), т.е. в объеме достаточном для решения всех практически возникающих проблем в рамках этой компетенции. Владения знаниями в целостности в рамках компетенции, означает владение знаниями всех связей между элементами в механизме (в системе знаний) необходимых и достаточных для решения проблем в этой компетенции. Таким образом, использования человеком знаний в качестве механизма для успешного решения проблем предполагает обязательное владение этими знаниями, в рамках компетенции, в полноте и целостности одновременно и в неразрывной связи.
Из всего сказанного следует, что существует корреляционная связь между значениями метрик качества владения компетенцией (параметры А, В, С, POL, CHL) и значениями метрик сложности проблем (параметр S).. На рис. 4 приводятся две шкалы, между которыми можно установить корреляционную связь (коэффициент корреляции в среднем 0,92, выборка более 500). На первой шкале (качества владения компетенцией - КВК) отражены уровни развития АВС-способностей человека, полнота (POL) и целостность (CHL) владения им знаниями в рамках компетенции. На второй шкале - соответствующий круг проблем до определенной сложности, которые он с высокой вероятностью (надежностью) способен разрешить.
JL Тема(1)
Проблемы из
'зоны актуального развития"
Проблемы из
'зоны ближайшего развития"
Рис. 4. Модель соответствия (зависимости) «зоны актуального развития» и сложности решаемых проблем
На этом рисунке также изображен круг проблем из «зоны ближайшего развития» [4, 5], т.е. те проблемы которые «решатель» сможет самостоятельно разрешить, как правило, только при дальнейшем развитии своих АВС-способностей и приобретении знаний.
В целом, из результатов анализа можно сделать следующий вывод: чтобы оценить качество владения определенной компетенцией какого-то человека, необходимо провести пятистороннее тестирование и отразить их на шкале КВК, т.е. провести соответствующие тестирование на установление уровней развития АВС-способностей и оценки полноты (POL) и целостности (CHL) усвоенных им знаний. Очевидно, что для почти 100% надежности результата необходимо эту процедуру повторить и убедиться в статистической устойчивости результата.
Организации банка заданий для пятистороннего теста
Очевидно, для проведения пятистороннего тестирования необходим специально разработанный банк вопросов, задач, учебных проблем, который имеет структуру, показанную на рис. 5.
1 Вопросы на полноту ( POL) усвоенных знаний по возрастанию сложности
2 Вопросы на целостность ( CHL) усвоенных знаний по возрастанию сложности
3 Вопросы и задачи по возрастанию сложности для оценки формализационных (А) способностей
4 Вопросы и задачи по возрастанию сложности для оценки конструктивных (В) способностей
5 Вопросы и задачи по возрастанию сложности для оценки исполнительских (С) способностей
ТЕСТИРОВАНИЕ
POL
CHL
Рис. 5. Модель процедуры тестирования для оценки качества владения
компетенцией
Приведем пример эпизода организации банка заданий в рамках компетенции: умение использовать математические методы для решения экономических проблем. Конкретно рассмотрим тему «Линейное программирование».
1. Примеры вопросов по возрастанию сложности для проверки полноты усвоенных знаний. Вопросы должны иметь формат типа «Я знаю что ...», т.е. в рамках компетенции будут проверяться знания фактов, понятий, определений, правил, утверждений и т.д. Сложность (трудность [6]) вопроса оценивается экспертом в минутах/работы (ТТ (мин/раб)), т.е. эксперту для ответа на этот вопрос требуется R минут его непрерывной работы.
№ Вопросы и варианты ответов Трудность (мин/раб)
1 Когда впервые была сформулирована задача линейного программирования ■ в середине 20-го века ■ в конце 19-го века ■ в конце 20-го века 0,08
2 Как называется правило, применяемое для отыскания компонент нового опорного плана при реализации табличного варианта симплекс метода: ■ правило прямоугольника ■ правило Крамера ■ правило Канторовича 0,16
3 Опорным планом задачи линейного программирования (ЗЛП) называется: ■ любая крайняя точка множества допустимых планов 0,5
■ любая граничная точка множества допустимых планов
■ любая точка множества допустимых планов, вблизи которой целевая функция
__неограниченно возрастает__
Количественные оценки качества ответов студента на полноту знаний материала в рамках компетенции подсчитывается по следующим правилам. Допустим, студент из трех вопросов ответил правильно только на два вопроса (2 и 3), тогда его результат R теста с суммарной трудностью
TT = 0,08 + 0,16 + 0,5 = 0,74 равняется
POL = (0,16 + 0,5) / (0,08 + 0,16 + 0,5) = 0,66 / 0,74 = 0,89. Таким образом, студент на тест с трудностью ТТ=0,74 (0,74 минут работы эксперта) показал качество ответа POL=0,89. Очевидно, что только по величине POL без установления требуемого порога трудности теста ТТ невозможно судить о полноте усвоенных знаний студента. Разумеется, этот порог трудности TT также должен быть установлен экспертом. Также по результатам теста может быть установлен коэффициент Н - показатель навыков студента по сравнению с экспертом. Коэффициент Н устанавливается следующим образом. Допустим, студент для ответа на тест в целом затратил t1=1,5 мин/раб, а эксперт (по данным трудностей вопросов теста) затратил на ту же работу t = 0,16 + 0,5 = 0,66. В результате сравнения получаем
Н = 0,66 / 1,5=0,44. И так, в целом, по результатам теста имеем:
■ P0L=0,89 - показатель качества полноты усвоенных знаний при трудности теста ТТ=0,74 мин/раб эксперта;
■ Н=0,44 - показатель навыков студента по сравнению с экспертом при трудности ТТ=0,74 мин/раб.
2. Примеры вопросов по возрастанию сложности для проверки качества целостности усвоенных знаний. Вопросы должны иметь формат типа «Я знаю как ...», т.е. в рамках компетенции проверяются знания студента целей, связей, способов, методов, технологий используемых в деятельности для решения проблем.
№ Вопросы и варианты ответов Трудность (мин/раб)
1 Наискорейший рост линейной функции 2 + 5х 2-ЗХ3 происходит в направлении вектора с компонентами: ■ (2; 5; -3) ■ (-2; -5; 3) ■ (2; 5; 3) 0,5
2 С какой целью в состав задач линейного программирования (ЗЛП) вводятся фиктивные переменные: ■ для приведения ЗЛП к канонической форме ■ для увеличения числа базисных переменных ■ для увеличения числа свободных переменных 0,7
3 Если целевая функция неограниченна на множестве допустимых планов задач линейного программирования (ЗЛП), то: ■ множество допустимых планов ЗЛП не замкнуто ■ множество допустимых планов ЗЛП не выпукло ■ множество допустимых планов ЗЛП пусто 1
Допустим, студент в результате тестирования положительно ответил на два первых вопроса (1 и 2). Качество ответов студента на целостность усвоенного материала оценивается аналогично пункту 1 (на полноту), т.е.
CHL = (0,5 + 0,7) / (1 + 0,5 + 0,7) = 1,2 / 2,2 = 0,54, при трудности теста ТТ = 2,2 (мин/раб) эксперта.
В этом примере, допустим, студент для ответа на вопросы теста затратил t1=3,5 мин/раб, тогда Н = (1,2 + 3,5) = 0,34 - показатель навыков студента по сравнению с экспертом при трудности теста ТТ= 2,2 (мин/раб) эксперта.
Таким образом, в рамках компетенции можно оценить (в метрических единицах) качество полноты и целостности, усвоенных студентом знаний, но как следует из модели (см. рис. 1) этого недостаточно, чтобы оценить качество владения им рассматриваемой компетенции на шкале КВК. Далее необходимо оценить состояние качества развития проектно - конструктивных способностей студента, т.е. оценить уровни развития АВС способностей студента.
Допустим, в рамках рассматриваемой нами компетенции (умение использовать математические методы для решения экономических проблем) с целью оценки уровней развития АВС-способностей студенту предлагается разрешить две учебные проблемы, обозначим их через УП1 и УП2.
УП1: предприятие имеет в своем распоряжении три вида ресурсов, каждое из которых имеется в определенном количестве. При этом предприятие выпускает два вида товаров, причем известно, сколько единиц каждого ресурса требуется для производства одной единицы товара. Известен доход, получаемых предприятием от каждой единицы товара первого и второго видов. Требуется при данных ресурсах выпустить такую комбинацию товаров (разработать план выпуска товаров первого и второго видов) при которых доход предприятия оказался бы максимальным.
Рассмотрим первый этап решения проблемы (см. рис. 1 - операцию по формализации проблемы). Для того, чтобы было понятно содержание этой операции, приведем ее полностью.
Обозначим через X 1, х2 соответственно товаров видов Т1, Т2. Доход, получаемый предприятием от единицы каждого вида товаров обозначим через С1, С2. Через fljj обозначим соответственно число единиц ресурса Ri (i=1,2,3) необходимое для производства единицы товара Tj (j=1,2). Причем ресурсы R1, R2, R3 имеются в количестве b1, b2, b3. В этой ситуации, очевидно доход предприятия представим как
S = Ci *Xi + C2 *Х2 . Общее количество ресурса R1, используемого при выпуске обоих товаров равно a^Xi + 012X2 и оно не превышает b1, т.е. a^Xi + X2 < bi. Аналогично можно записать a^iXi + 022X2 < b2 и 031X1 + 032X2 < Ьз.
Итак, в итоге формализации проблемы студент приходит к задаче (математической модели) о распределении ресурсов. Постановка задачи состоит в отыскании неизвестных X 1 , X 2 (нахождение оптимального плана) при которых линейная функция
S = Ci *Xi + C2 *X2 (1)
достигает наибольшего (максимального) значения S и удовлетворяет условиям ' х1 > 0 Х2 > 0
•ouXi + OI2X2 < bi (2)
a21X1 + a22 X2 < b2 a31X1 + a32X2 < b3
Таким образом, первый этап решения проблемы, т.е. операция формализации проблемы, завершена. Эксперт оценил трудоемкость TT 1 (А) этой операции в 10 минут своей работы, т.е. TT i(A)=10 (мин/раб).
Рассмотрим второй этап учебной работы студента (см. рис. 1 - операцию по конструированию решения задачи, полученной на этапе формализации). Для этого, студент должен построить алгоритм решения задачи (1), (2). В зависимости от уровня развития своих конструктивных (В) способностей и наличия усвоенные знаний он может решить конкретную задачу многими способами (геометрическим, перебором планом, симплекс методом и т.д.).
Не вдаваясь в подробности, допустим, эксперт оценил трудоемкость операции В (конструирования решения) в 15 минут своей работы, т.е. TT 1(В)= 15 (мин/раб).
Далее студент приступает к третьему этапу работы (см. рис. 1) - к операции исполнения или к реализации, полученного им плана , т.е. исполняет (реализует) алгоритм построенный им на втором этапе в меру развития своих способностей типа С и наличия знаний. Например, в конкретном случае он это делает на компьютере, т.е. для этого составляет программу для компьютера и находит конкретные значения X1 и x2.
Пусть, трудоемкость операции по исполнению плана (алгоритма решения) эксперт оценил на 12 минут своей работы, т.е. TT1(C)=12 (мин/раб).
УП2: Tрудоемкости учебной проблемы УП2 экспертом оценены так TT 2(А) = 20, TT 2(В) = 15, TT 2(С) = 18.
Итак, в целом, трудоемкости решения задания (учебных проблем УП1 и УП2) экспертом оценены следующим образом:
УП1: TT 1(А) = 15, TT 1 (В) = 10, TT 1(С) = 12,
УП2: TT 2(А) = 20, TT 2 (В) = 15, TT 2(С) = 18.
Общая ^ДАВС) трудоемкость решения задания ( УП1 и УП2) находится как сумма трудоемкостей этих двух проблем, т.е.
ГЦАВС) =T1(A) + T1 (В) + T 1(С) + T 2 (А) + T 2(В) + T 2(С) = 15+10+12+20+15+18 = 90 (мин/раб).
Допустим студент, рассматриваемый в рамках темы (линейное программирование) прошел, тесты на оценку качества полноты и целостности усвоенных знаний и решил только первую предложенную ему учебную проблему УП1 (проблему УП2 он не решил) со следующими значениями показателей.
УП1: TT 1 (А)=20; TT 1 (В)=23; TT1 (С)=18 TT 1(АВС)=20+23+18=61.
УП2 - студент не решил.
В рассматриваемом случае (в рамках темы) актуальное состояние качества развития АВС способностей студента, которые он продемонстрировал на фоне своих знаний, можно отразить на шкале КВК (рис. 6). При этом конкретные значения А, В, С считаются следующим способом: А = а = 15/35 = 0.42; В = в = 10/25 = 0.4; С = с = 18/30 = 0.6. Tрудность задания считается по сумме трудностей проблем УП1 и УП2, т.е. TT (А) = 35; ГГ(В) =25; ГГ(С) = 30. Значения параметров POL = pol = 0.89; CHL = chl = 0.54 получены ранее при трудности тестов TT(POL) = 0.74; TT(CHL) = 2.2.
Ab
Т^Ы^ 2,2 ТT(pol)=0,74
Рис. 6. Оценка состояния качества владения компетенцией студентом на шкале
КВК
При этом студент продемонстрировал свои навыки в формализации, конструировании и исполнении подобного рода проблем со следующими значениями показателей Н1(А)=15/20=0,75; Н1( В)=10/23=0,43; Н1(С)=12/20=0,6.
Организация подготовки по технологии обучение-тест (ТОТ)
С целью быстрого развития АВС-способностей студента разработана специальная автоматизированная технологий подготовки, которая называется технология обучение - тест (ТОТ). По этой технологии студент во время учебной деятельности находится одновременно в двух процессах: обучения и тестирования, т.е. его лучшие достижения (в рамках компетенции) по АВС способностям и усвоенным знаниям (показатели POL, CHL) фиксируются на шкале КВК, и процесс подготовки (самоподготовки) не прекращается до тех пор, пока студент на этой шкале не достигнет критического профиля уровня развития, заданного экспертом. На рис. 7 демонстрируется актуальное состояние уровня развития студента (сплошная линия) и критический (пунктирная линия) профиль уровня развития в рамках компетенции.
Рис. 7. Профили уровней развития студента
Разумеется, подготовка проходит согласно рабочей программе (ФГОС ВПО) и регламенту занятий. Процесс организован следующим образом. Через автоматизированную систему студенту поступает поток заданий (учебных проблем определенных трудностей), которые он должен выполнить согласно регламенту. Результаты его работы фиксируются на шкале. При этом, качество усвоенных знаний и результаты работы по разрешению проблем студентом оценивается системой и преподавателем в шкале КВК. Следует особо подчеркнуть, что чем выше уровень развития искусственного интеллекта системы, тем больше функций преподавателя возлагается на эту систему. В перспективе в своем развитии, система должна стать БшаЛ-системой, которая способна гарантированно (на основе метрических критериев оценки качества) реализовать подготовку студентов к профессиональной деятельности [7, 8].
На рис. 8 приводится структура организации системы, на которой реализуется подготовка студентов по технологии ТОТ.
Рис. 8. Схема структуры организации дидактической системы с Web
поддержкой
Основными элементами системы являются: S - специально спроектированная на поле компетенций база учебных проблем с оценкой сложности этих проблем; Z - база знаний (соответствующая S) специальной конструкции; D -диагностическая система, которая позволяет оценить актуальный профессиональный потенциал (академическую компетентность), который характеризуется законом распределения F, т.е. позволяет оценить вероятности разрешения проблем разной сложности обучаемым. Величины al, b1, c1, z1 (см. рис 7) являются критическими значениями сложности проблем и качества владения знаниями, при которых, например, инженер является значимым для индустриальной инженерии, т.е. студент в рамках рассматриваемых компетенций и с требуемой надежностью готов к профессиональной деятельности. Разумеется, в технологии обучение-тест для организации потока учебных проблем по возрастанию сложности используется специально разработанная база, где учебные проблемы сортируются по формализационной (А), конструктивной (В), исполнительской (С) сложности [9], т.е. условно классифицируются на проблемы типов А, В, С (рис. 9). Программный
комплекс Web-R с элементами искусственного интеллекта (smart) системы осуществляет информационную поддержку управления развитием АВС способностей и качеством усвоенных знаний по шкале КВК, которую использует как навигационную систему для развития студента [9]. Таким образом, процесс профессионального развития студента проходит с использованием дистанционных технологий.
Рис. 9. Структура организации базы учебных проблем в технологии ТОТ
Организация подготовки по упрощенной технологии обучение-тест (ТОТ1)
На практике по некотором дисциплинам бывает затруднительно создание баз учебных проблем с разделением проблем по А, В, С типам сложности, поэтому подготовку можно осуществить по упрощенной технологии обучение-тест (ТОТ1). В отличии от ТОТ в ТОТ1 экспертом оцениваются только общие ТТ(АВС) сложности учебных проблем. На рис. 10 приводится структура организации базы учебных проблем, используемые при подготовке ТОТ1.
Рис. 10. Структура организации базы учебных проблем в технологии ТОТ1
Качество владения компетенцией в рамках технологии ТОТ1 происходит в
Рис. 11. Трехмерная шкала КВК
Пример организации базы учебных проблем методом прототипирования в технологии ТОТ1
Прототипирование это многовариантная реализация функциональности некоторой базовой системы. Причем, при проектировании варианты реализации базовой системы выполняются от простого варианта к сложному варианту.
На поле компетенций для каждой проблемы ПР можно разработать множество прототипов разной сложности. Это множество можно представить как последовательность ПРТ(1), ПРТ(2), ..., ПРТ(п), ... прототипов проблемы, расположенных по возрастанию сложности (АВС трудности). Причем, очевидно, каждый последующий прототип проблемы для своего разрешения требует от
студента наличия качественно нового уровня знаний и развитых АВС способностей (умений).
На рис. 12 приведена ситуация, в которой студент шаг за шагом, как по ступенькам, преодолевая АВС трудность разрешения прототипов проблемы ПРТ(1), ПРТ(2), ... расширяет свою «зону актуального развития» [10].
с
а =
с =
£
а
н ■
U
сс
<
качество усвоенных знаний
Рис. 12. Модель развития студента через решение проблем разной сложности
Демонстрацию прототипирования учебных проблем, проведем в рамках дисциплины «Проектирование информационных систем», которое реализуется для подготовки студентов специальности «Информационные системы и технологии».
В качестве базовой системы для прототипирования рассматривается учебная проблема: П(*) - проектирование системы «Тест». Для решения этой проблемы студенту необходимо:
1. Спроектировать программное обеспечение (ПО) для автоматизированной системы тестового контроля качества усвоенных знаний. При этом: 1) прототип 0 -повторить пример проекта, 2) прототип 1 - сделать самостоятельно, 3) прототип 2 -сделать самостоятельно, 4) прототип 3 - сделать самостоятельно, 5) прототип 4 -сделать самостоятельно.
2. Составить отчет (не менее 20 страниц машинописи) на последний сделанный прототип с выделенными четырьмя фазами работы: исследование, уточнение, построение, развертывание.
Комментарий. Самый примитивный (простой) прототип (прототип 0) учебной проблемы разрабатывается преподавателем в качестве примера. Этим действием преподаватель приводит всех студентов к единому « старту», т. е. к единой «зоне ближайшего развития». Рассмотрим развернутый пример (только вариант 1) содержания задания (учебной проблемы), сделанной методом прототипирования.
ПРОТОТИП 0. Вариант 1. Экспертная оценка трудоемкости (сложности) прототипа проблемы Т(АВС) = 3(час/раб).
Постановка проблемы. Требуется спроектировать информационный объект (ПО) «ТЕСТ», обладающий следующими свойствами:
Требуемая спецификация свойств:
1. Случайным образом формируется билет из двух вопросов.
2. Поддерживается ввод ответов тестируемого студента.
3. Идентифицируется правильность ответа и организуется запись в протокол. Требуемая среда разработки: EXCEL (VBA).
Краткое описание деятельности по созданию информационной системы в среде EXCEL(вариант преподавателя).
Переименовать листы EXCEL. «Лист 1» переименовать на «Вопросы». «Лист 2» - «Билет». «Лист 3» - «Протокол».
На лист «Вопросы»: В столбец «А» внести 20 вопросов. В столбец «В» - 20 ответов на поставленные вопросы. Сделать ширины столбца «В» таким, чтобы правильные ответы не были видны, и защитить лист «Вопросы».
На листе «Билет» формируются вопросы, и помешается 3 кнопки «ПУСК», «ПРОВЕРКА», «ВЫХОД». Ответы на вопросы помещаются в столбец «В». На листе «Билет» в ячейку «А1» записать: Вопрос, в ячейку «В1» - Введите ответ.
На листе «Протокол» в ячейку «А1» записать: Правильный ответ», в ячейку «В1» -Ответ тестируемого, в ячейку «С1» - Балл за ответ
ПРИМЕР СОДЕРЖАНИЯ МАКРОСА Private Sub CommandButton1_Click() ' (кнопка ПУСК) 'Очистка содержимого окна "Билет " и "Протокол " Sheets('^raeT").Select 'Активациялиста "Билет" Range("A2:B3").Select 'Активация ячеек "А2-В3" на листе "Билет" Selection.ClearContents 'Очистка ячеек "А2-В3" Sheets("npoTOKorf').Select Range("A2:B3").Select Selection.ClearContents
'Генерация первого вопроса и соответствующего ответа
Sheets("Вопросы").Select 1: i = Int(Rnd * 10) If i <= 0 Then GoTo 1 Range("A" & i).Select Selection.Copy Sheets("Билет").Select
'Активация листа "Вопросы" 'Генерация номера вопроса 'Проверка номера 'Выбор ячейки
'Копирование содержимого ячейки 'Активация листа "Билет "
Range(" A2").Select ActiveSheet.Paste
'Выбор ячейки
'Вставка содержимого ячейки
'Вставка правильного ответа в Протокол
Sheets("Bonpocbi").Select 'Активация листа "Вопросы"
Range("B" & i).Select 'Выбор ячейки
Selection.Copy 'Копирование содержимого ячейки
Sheets("Протокол").Select 'Активациялиста "Протокол"
Range("A2").Select 'Выбор ячейки
ActiveSheet.Paste 'Вставка содержимого ячейки
'Генерация второго вопроса и соответствующего ответа
Sheets("Bonpocbi").Select 2: i = Int(Rnd * 20) If i <= 10 Then GoTo 2 Range("A" & i).Select Selection.Copy Sheets("Билет").Select Range("A3").Select ActiveSheet.Paste 'Вставка правильного ответа в Протокол Sheets("Bonpocbi").Select Range("B" & i).Select Selection.Copy Sheets("Протокол").Select Range("A3").Select ActiveSheet.Paste Sheets("Билет").Select End Sub
Private Sub CommandButton2_Click() ' (кнопка ПРОВЕРКА)
'Выборка ответа проставленного экзаменующемуся
Sheets('^raeT"). Select
Range("B2").Select
Selection.Copy
Sheets("Протокол").Select
Range("B2").Select
ActiveSheet.Paste
Sheets('^er").Select
Range("B3").Select
Selection.Copy
Sheets("Протокол").Select
Range("B3").Select
ActiveSheet.Paste
'Сравнивание правильного ответа с ответом тестируемого и установка количество баллов
If Range("A2") = Range("B2") Then
Range("C2") = 2.5 Else Range("C2") = 0
End If
If Range("A3") = Range("B3") Then
Range("C3") = 2.5 Else
Range("C3") = 0
End If
Sum = Range("C2") + Range("C3") Sheets("Билет" ).Select MsgBox "Наша оценка равна=" & Sum End Sub
Private Sub CommandButton3_Click()
Me.Application.ActiveWorkbook.Save 'Сохраняет файл (кнопка ВЫХОД) Me.Application.Quit 'Закрывает EXCEL
End Sub
ПРИМЕЧАНИЕ. Допускается вариации кода.
ПРОТОТИП 1. Вариант 1. Экспертная оценка трудоемкости прототипа проблемы Т(АВС) = 4(час/раб). Постановка проблемы. Требуется спроектировать информационный объект
«ТЕСТ1», обладающий следующими свойствами:
Требуемая спецификация свойств:
1. Идентифицируется фамилия (производится вывод фамилии).
2. Случайным образом формируется билет из трех вопросов.
3. Поддерживается ввод ответов тестируемого.
4. Идентифицируется правильность ответа и организуется запись в протокол.
5. Сохраняется архив тестируемых с указанием дат тестирования.
Требуемая среда разработки: EXCEL(VBA)
Краткое описание деятельности по созданию информационной системы.
Переименовать листы EXCEL.
«Лист 1» переименовать на «Вопросы».
«Лист2» - «Билет».
«ЛистЗ» - «Протокол».
«Лист4» - «Архив»
На лист «Вопросы»: В столбец «А» внести 30 вопросов. В столбец «В» - 30 ответов на поставленные вопросы. Сделать ширины столбца «В» таким, чтобы правильные ответы не были видны, и защитить лист «Вопросы».
На листе «Билет» формируются вопросы и помещаются 3 кнопки «ПУСК», «ПРОВЕРКА», «ВЫХОД». Ответы на вопросы помещать в столбец «В».
На лист «Протокол» в ячейку «А1» записать: Фамилия тестируемого, а в ячейку «В1» - Количество баллов за ответы.
На листе «Архив» должен храниться весь список тестируемых по датам прохождения теста.
ПРОТОТИП 2. Вариант 1. Экспертная оценка трудоемкости прототипа проблемы Т(АВС) = 5(час/раб).
Постановка проблемы. Требуется спроектировать информационный объект «ТЕСТ», обладающий следующими свойствами:
Требуемая спецификация свойств:
1. Идентифицируется фамилия.(производится вывод фамилии)
2. Случайным образом формировать билет, состоящий не менее чем из 5 вопросов.
3. Поддерживается ввод ответов тестируемого.
4. Идентификация правильного ответа.
5. Сохранение архива тестируемых.
6. Наличие интерфейса, размещенного на форме.
7. Графическое представление архива в виде таблицы с датами и лепестковой диаграммы среднего состояния «успехов» в группе.
Требуемая среда разработки: EXCEL(VBA)
ПРОТОТИП 3. Вариант 1. Экспертная оценка трудоемкости прототипа проблемы Т(АВС) = 6(час/раб).
Постановка проблемы. Требуется спроектировать информационный объект «ТЕСТЗ», обладающий следующими свойствами:
Требуемая спецификация свойств:
1. Идентифицируется фамилия.(производится вывод фамилии)
2. Случайным образом формировать билет, состоящий не менее чем из 5 вопросов.
3. Поддерживается ввод ответов тестируемого.
4. Идентификация правильного ответа.
5. Сохранение архива тестируемых.
6. Наличие интерфейса, размещенного на форме.
7. Графическое представление архива в виде таблицы с датами и лепестковой диаграммы среднего состояния «успехов» в группе.
8. Содержится обработчик статистических данных (средний балл, дисперсия, гистограмма распределения)
Требуемая среда разработки: EXCEL(VBA)
ПРОТОТИП 4. Вариант 1. Экспертная оценка трудоемкости прототипа проблемы Т(АВС) = 8(час/раб). Постановка проблемы. Требуется спроектировать информационный объект «ТЕСТ4», обладающий следующими свойствами:
Требуемая спецификация свойств:
1. Идентифицируется фамилия (производится вывод фамилии)
2. Случайным образом формировать билет, состоящий не менее чем из 5 вопросов.
3. Поддерживается ввод ответов тестируемого.
4. Идентификация правильного ответа.
5. Сохранение архива тестируемых.
6. Наличие интерфейса, размещенного на форме.
7. Графическое представление архива в виде таблицы с датами и лепестковой диаграммы среднего состояния «успехов» в группе.
8. Содержится обработчик статистических данных (средний балл, дисперсия, гистограмма распределения)
9. Поддерживается в сети.
Требуемая среда разработки: среда разработки любая, позволяющая спроектировать ПО для работы в сети.
Рассмотрим ситуацию. Допустим, к сроку (по регламенту две недели) два студента (студент1 и студент2) сделали следующие работы. Студент 1: сделал прототип 0 - повторил работу преподавателя, также сделал прототипы 1, 2, 3 самостоятельно, а прототип 4 - не сделал, составил отчет по прототипу 3 на 25 страницах машинописи. Студент2 - выполнил задание полностью.
Уровни развития АВС способностей в ситуации 1 оценивается следующим образом. Эксперту чтобы спроектировать программное обеспечение для всех
прототипов (с номерами 0 по 4 включительно) требуется Т(АВС) = 3+4+5+6+8=26 (час/раб).
В ситуации, студент1 сделал с 0 по 3 прототипы к сроку, написал отчет и затратил на это 26 (час/раб) по регламенту. У студента1 уровень развития АВС-способностей характеризует как АВС = (3+4+5+6)/26=18/26 = 0,69 при сложности проблемы ТТ(АВС) = 26
Студент2 за это же время (две недели по регламенту) сделал с 0 по 4 прототип включительно и написал отсчет. У студента2 уровень развития АВС-способностей характеризует ABC = (3+4+5+6+8)/26 = 26/26 = 1 при сложности проблемы ТТ(АВС) = 26.
Допустим, студент1 и студент2 прошли тестирование требуемой трудности на оценку качества полноты, целостности своих знаний в рамках компетенции и имеют соответственно результаты: студент1 (poll = 0.77; chl = 0.67); студент2 (poll = 0.79; chl = 0.87).
На рис. 13 приводятся диаграммы развития АВС способностей рассмотренных студентов.
Рис. 13. Диаграммы состояний развития АВС способностей студента в рамках
компетенции
Следует особо подчеркнуть, что все показатели академической компетентности могут быть масштабированы [11], например, в рамках темы, компетенции, дисциплины, курса и т.д.
На рис. 14 приводится структура организации системы на которой реализуется подготовка инженеров по технологии ТОТ1.
Web-R
УПРАВЛЕНИЕ (ГОС 3+)
ЗНАНИЯ
Рис. 14. Структура организации дидактической системы с подготовкой по
технологии Т1
Учебная деятельность по этой технологии организована следующим образом: студент последовательно занимается решением проблем из поля компетенций по возрастанию их сложности, синхронно усваивая и повышая показатели качества этих знаний. При этом обучение, в основном, происходит в его «зонах ближайшего развития». Переходам из «зоны в зону» способствует приращения ds и dz, где ds - прирост сложности решаемых проблем, dz - прирост значения показателей качества усвоенных знаний, необходимый для решения этих проблем. Через si и z1 обозначены пороговые значения по сложности и качеству усвоенных знаний, предъявляемых экспертом к академически компетентному студенту. Программный комплекс Web - R осуществляет информационную поддержку управления процессом профессионального развития с использованием дистанционных технологий.
Оценка качества владения компетенцией, исходя из показателей качества владения знаниями
Очевидно, что если подготовка студента происходит по технологиям ТОТ, ТОТ1 в рамках специально разработанной автоматизированной дидактической системы [11], то оценка качества состояния владения компетенцией не представляет большого труда. В случае, когда обучение происходит в традиционной системе подготовки, то тестирование на качество владения компетенцией можно организовать, опираясь на идею, не опровергнутую данными статистики. Дело в том, что уровни развития АВС-способностей и показатели качества усвоенных знаний (полноты (POL) и целостности (CHL)) студента попарно коррелированны (в среднем коэффициент корреляции Kxy = 0,53 при выборки более 500). На рис. 15 приводятся коэффициенты парных корреляций между величинами X и Y.
X Y Kxy
A POL 0,48
B POL 0,52
C POL 0,45
A CHL 0,53
B CHL 0,61
C CHL 0,64
Рис. 15. Коэффициенты парных корреляций
Рассмотрим ситуацию, допустим, студент осваивал какие - то компетенции в рамках учебной дисциплины. Его подготовку вели в традиционной дидактической системе обучения. Перед экзаменами ему дали пять дней на подготовку. Экзамены проходят методом тестирования, т.е. отвечают на вопросы по теоретическому материалу. В результате тестовой проверки знаний, допустим, студент набрал 89 % баллов из 100 % возможных. Что можно сказать о качестве владения им компетенциями? Эксперт скажет, что результат отличный, но не надежный, т.к. если за надежность взять коэффициент корреляции, то студент показал результат 0.89 баллов (из 1) с надежностью (примерно) P = 0.53 (в традиционной системе надежность может быт гораздо ниже). Разумеется, результат с этой надежностью педагогов не устроит. Из этой ситуации можно предложить следующий выход. Вычислим коэффициент корреляции К^.У), где за Х возьмем значения уровней развития АВС способностей студентов, а за Y соответствующие им значения показателей глубины усвоенных ими знаний GLB [11]. На рис.16 приводится эпизод расположение статистических данных в декартовой системе координат.
Рис. 16. Коррелированность глубины усвоенных знаний и уровней развития
АВС способностей
Значение глубины усвоенных знаний считается по формуле GLB = POL*CHL. Поясним метод оценки на примере. Пусть для диагностики имеется две базы вопросов: 1) множество вопросов для установления оценки качества полноты (параметр POL) усвоенных знаний в рамках компетенции [12]; 2) множество вопросов для установления оценки целостности усвоенных знаний (параметр CHL). Задания для студента формируются случайным образом из этих двух баз. Допустим, студент из 15 вопросов одной сложности на полноту знаний ответил правильно на 11, а из 15 вопросов на целостность - правильно ответил на 13. В этом случае, мера глубины усвоенных знаний студента считается следующим образом: GLB=(11/15)*(13/15)=0,73*0,86=0,63.
Таким образом, качество усвоенных знаний студента в рамках компетенции составляет 63% из 100.
Из результатов статистического анализа (выборка более 500 студентов) следует, что значения величины метрики GLB «почти линейно» коррелируют [11] со значениями уровней развития АВС-способностей студента (коэффициент корреляции в среднем 0,87). Исходя из этого, для рассматриваемого студента можно утверждать, что качество усвоения им компетенции составляет 63% (0.63) с надежность 87% (0.87). Очевидно, что этот метод оценки можно реализовать на традиционной оболочке тестирования различные модификаций [13-16].
Следует отметить, что эксперименты проводились на студентах Казанского национального исследовательского технологического университета (КНИТУ) и Марийского государственного университета (МарГУ). Из обработанных данных следует, что значимого отличия в результатах установить не удалось.
Работа выполнена при поддержке гранта РФФИ (проект № 15-07-05761)
Литература
1. Нуриев Н.К., Журбенко Л.Н., Шакиров Р.Ф., Хайруллина Э.Р., Старыгина С.Д., Абуталипов А.Р. Методология проектирования дидактических систем нового поколения. - Казань, Центр инновационных технологий, 2009. - 456 с.
2. Барон Л.А., Нуриев Н.К, Старыгина С.Д. Численные методы для IT инженеров: учебное пособие для вузов. - Казань: Центр инновационных технологий, 2012. -176 с.
3. Нуриев Н.К., Старыгина С.Д., Пашукова Е.В. Вычислительная математика в задачах химии и химической технологии: учебное пособие. - Казань: Центр инновационных технологий, 2011. - 200 с.
4. Дьяконов Г.С., Жураковский В.М., Иванов В.Г., Кондратьев В.В., Кузнецов А.М., Нуриев Н.К. Подготовка инженера в реально-виртуальной среде опережающего обучения. - Казань: КГТУ, 2009. - 404 с.
5. Старыгина С.Д., Нуриев Н.К. Дидактическая инженерия как метрико-ориентированная методология инженерного образования // Международный электронный журнал "Образовательные технологии и общество (Education Technology & Society)". - 2014. - V.17. - N 3. - С. 569-582. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html.
6. Нуриев Н.К., Старыгина С.Д., Ильмушкин Г.М., Шайдуллина Н.К. Проектирование дидактических систем нового поколения с использованием облачных технологий // Международный электронный журнал "Образовательные технологии и общество (Education Technology & Society)" (http://ifets.ieee.org/russian/periodical/journal.html). - 2013. - V.16. - N 4. - С. 412429. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html.
7. Нуриев Н.К., Старыгина С.Д., Печеный Е.А., Гайфутдинов А.А. Технология подготовки инженера в метрическом компетентностном формате в реально-виртуальной среде развития // Международный электронный журнал "Образовательные технологии и общество (Education Technology & Society)".-2012 - V.15. - N 4. - С. 569-590 c. - ISSN 1436-4522. URL:
http ://ifets.ieee.org/russian/periodical/j ournal. html.
8. Нуриев Н.К., Ахметшин Д.А. Старыгина С.Д. Организация техногенной образовательной среды на базе технологии wi-fi: управление учебной деятельностью и информационными потоками различных форматов // Международный электронный журнал "Образовательные технологии и общество (Education Technology & Society)". - 2014. - V.17. - N 4. - С. 625-635.
- ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html.
9. Нуриев Н.К., Старыгина С.Д. Проектирование smart -системы для поддержки обучения «двойной диплом» // Вестник Казанского государственного технологического университета. - 2012. - № 19. - С.253-257.
10. Старыгина С.Д., Нуриев Н.К., Титов А.Н., Тазиева Р.Ф. Разработка базы учебных проблем для подготовки инженеров в метрическом компетентностном формате с использованием метода прототипирования // Международный электронный журнал "Образовательные технологии и общество (Education Technology & Society)". - 2013- V.16. - N 4. - С. 430-444. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html.
11. Нуриев Н.К., Старыгина С.Д., Ахметшин Д.А. Дидактическая инженерия: логистика профессионального развития на основе обучения // Международный электронный журнал "Образовательные технологии и общество (Education Technology & Society)". - 2015. - V.18. - N 2. - С. 576-589. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html.
12. Нуриев Н.К., Старыгина С.Д., Гибадуллина Э.А. Оценка компетентности через качества владения компетенцией // Международный научный журнал «Символ науки». - 2015. - Т.1. - № 7. - С. 145-147.
13. Галеев И.Х., Храмов Д.Л., Светлаков А.П., Колосов О.В.. Адаптивное обучение и тестирование // Материалы Всероссийской научно-методической конференции «Развитие методов и средств компьютерного адаптивного тестирования» - 2003.
- С. 33-35.
14. Галеев И.Х., Колосов О.В., Филяев А.И.. Сравнительный анализ систем компьютерного контроля знаний // Материалы Международной научно -практической конференции «Информационные технологии в многоуровневой системе образования» - 2005.- Казань: ЗАО "Новое знание" - С. 101-105.
15. Галеев И.Х. Компьютерный контроль знаний (локально и дистанционно) / И.Х. Галеев, В.Г. Иванов, Д.Л. Храмов, О.В. Колосов; Под ред. И.Х. Галеева. -Казань: Казанский государственный технологический университет, 2005. - 126с.
16. Галеев И.Х., Иванов В.Г., Аристова Н.В., Урядов В.Г. Сравнительный анализ программных комплексов TestMaker и ACT-Test // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" - 2007 - V. 10 -N 3. - С.336-360. - ISSN 1436-4522. URL: http ://ifets.ieee.org/russian/periodical/j ournal. html.
