CC BY
207
Наука к Образование
МГТУ им. Н.Э. Баумана
Сетевое научное издание
ISSN 1994-0408
УДК 519.6
Количественная оценка метакомпетенций учащихся на основе методов машинного обучения
доцент, К.ф.Н. Гаврилина Е. А.1, 'аркафепко^тшШ
Захаров М. А.1,
профессор, д.ф.-м.н. Карпенко А. П.1*
1МГТУ им. Н.Э. Баумана, Москва, Россия
Различают предметные, креативные и когнитивные метакомпетенции учащегося или, другими словами, его метапредметные, метакреативные и метакогнитивные компетенции. В работе предложен ряд методов количественной оценки метакомпетенций учащихся, основанных на применении следующих типов машинного обучения: обучение с учителем, обучение без учителя, обучение с частичным привлечением учителя, обучение с подкреплением, активное обучение, многоуровневое обучение, многозадачное обучение. Большое число этих методов делает актуальной задачу исследования их эффективности и формирования рекомендаций по выбору тех или иных методов на основе особенностей конкретной задачи оценки метакомпетенций. Работа выполнена при поддержке Минобрнауки России (проект 2014-14579-0144).
Ключевые слова: метапредметность, метакреативность, метакогнитивность, оценка метакомпетенций учащихся, машинное обучение
Введение
Различаем предметные, креативные и когнитивные метакомпетенции учащегося или, другими словами, его метапредметные, метакреативные и метакогнитивные компетенции. Под метапредметными понимаем регулятивные, коммуникативные и познавательные компетенции. Метакогнитивные компетенции проявляются в абстрактном, пространственном и техническом мышлении, в вербальных и математических способностях, а также в перцептивных возможностях. Свидетельствами наличия метакреативных компетенций являются гибкость, продуктивность, беглость и оригинальность мышления. Каждый из указанных типов метакомпетенций определяется большим числом индикаторов. Например, для оценки регулятивной метапредметной компетенции учащегося могут быть использованы индикаторы, формализующие его способности к целеполаганию, планированию, организации, контролю, оценке,
Наука и Образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2015. № 04. С. 228-253.
Б01: 10.7463/0415.0764221
Представлена в редакцию: 05.04.2015
© МГТУ им. Н.Э. Баумана
коррекции. Коммуникативную составляющую метапредметной компетенции определяют способности к сотрудничеству, выполнению определенных ролевых функций, представлению результатов своей деятельностию. Познавательную компетенцию характеризуют внимание, память, восприятие, мышление.
Известно относительно небольшое число работ, посвященных различным аспектам формирования и оценки метакомпетенций учащихся. Так в работах [1 -3] рассматриваются общие проблемы формирования мета-компетенций и развития навыков учащихся. Наиболее широко, особенно в отечественной литературе, обсуждается проблематика метапредметных компетенций: в публикациях [4 - 6] отражены вопросы содержания и формирования метапредметных знаний учащихся; в публикациях [7 - 10] обсуждаются технологии оценки достижения метапредметных результатов, общие принципы, особенности и опыт оценки этих результатов. Проблематика оценки метакогнитивных компетенций представлена в литературе значительно в меньшей степени [11 - 14]. Публикации в области оценки метакреативных компетенций неизвестны. Во всех случаях, в работах, посвященных метакомпетенциям учащихся, не обсуждаются алгоритмические аспекты оценок этих компетенций, так что данная работа в этом смысле является пионерской.
Мыслимы два следующих режима эксплуатации программной системы, реализующей оценки метакомпетенций учащихся. Во-первых, возможен режим однократного обучения алгоритмов, производящих оценки этих компетенций. Во-вторых, возможна эксплуатация системы в режиме постоянного либо эпизодического дообучения указанных алгоритмов, называемых далее стратегиями.
Полагаем, что в первом режиме эксплуатации программной системы тем или иным образом получены численные значения всех индикаторов, определяющих данный тип метакомпетенций, для некоторой выборки учащихся достаточно большего объема. Для каждого или некоторой части учащихся этой выборки (обучающей выборки) экспертом (учителем) назначены интегральные оценки уровня владения ими метакомпетенциями рассматриваемого типа. Задача состоит в том, чтобы с использованием этой выборки «научить» стратегию правильно оценивать метакомпетенции данного типа тех учащихся, которые принадлежат всей выборке.
Во втором режиме эксплуатации программной системы численные значения индикаторов метакомпетентности для выборок учащихся формируются в процессе ее эксплуатации многократно. Задача в данном случае заключается в том, чтобы с использованием этих выборок постоянно «доучивать» стратегию правильно оценивать метакомпетенции рассматриваемого типа.
Заметим, что наученную тем или другим способом стратегию можно интерпретировать как интеллектуальную модель учителя, которая позволяет автоматически формировать оценки учащихся, как принадлежащих, так и не принадлежащих обучающей выборке
Обозначенные задачи относятся к классу задач машинного обучения (machine learning) - одному из разделов искусственного интеллекта, который изучает методы построения моделей, способных обучаться, а также алгоритмов для построения и обучения этих моделей [15]. Как это принято в машинном обучении, будем называть множеством объектов рассматриваемый набор учащихся вместе с ассоциированными с ними значениями индикаторов составляющих метакомпетентности; откликами - соответствующие интегральные оценки метакомпетентности; прецедентами - элементы обучающей выборки, представляющие собой пары «объект - отклик».
В этих терминах первую из указанных задач можно поставить следующим образом. Имеется множество объектов и множество возможных откликов. Существует неизвестная зависимость между откликами и объектами. Известна конечная совокупность прецедентов (обучающая выборка). На основе этих данных требуется построить стратегию, способную для любого объекта выдать достаточно точный отклик. Вторая задача может быть сформулирована аналогично с тем отличием, что имеется не одна, но некоторое число обучающих выборок, которые появляются в процессе функционирования программной системы.
Работу можно считать развитием работы [16], в которой предполагалось, что индикаторы составляющих мекомпетенций (частные критерии оптимальности) с помощью той или иной скалярной свертки сведены к одному индикатору (критерию оптимальности).
Различают следующие основные типы машинного обучения: обучение с учителем; обучение без учителя; обучение с частичным привлечением учителя; обучение с подкреплением; активное обучение; многозадачное обучение; многовариантное обучение. Из этих типов обучения только активное обучение ориентировано на второй режим эксплуатации программной системы, реализующей оценки метакомпетенций учащихся.
В первом разделе работы вводим основные обозначения. Разделы 2 - 9 посвящены перечисленным выше типам машинного обучения. В заключении формулируем основные результаты работы и обрисовываем перспективы ее развития.
Полагаем далее, что |A| - число элементов (мощность) счётного множества (набора) элементов A = (al5 a^,...,a^|}, где ai - i-й элемент этого множества (набора).
1. Основные обозначения
Рассматриваемую выборку учащихся обозначаем U и полагаем, что эта выборка может быть разделена на непересекающиеся обучающую UL и тестовую UT выборки, так что справедливы соотношения
UL\UT = U, UL pUT = Null.
Пусть значения индикаторов составляющих данной метакомпетентности тем или иным образом оценены для всех или некоторой части учащихся выборки U с помощью
нормализованной целочисленной шкалы Q = [q^, qj,---,qq}, где q^, qigi - нижняя
и
верхняя границы оценок соответственно. Набор оценок учащегося и у еУ, У е [1:Ц ] по шкале Q образует р-мерный вектор Fj = (/ к е Q, к е [1: |р|]) . Полагаем, что для учащихся и у еи известна интегральная оценка учителя (отклик) в у = е(иу) = е(р), определенная на основе соответствующих значений индикаторов (/ к е [1: |р|]) на аналогичной Q целочисленной шкале Р = {р , Р2,...,Р|р|} .
Введем в рассмотрение |р| -мерное индикаторное пространство Ф, оси координат которого соответствуют индикаторам /, к е [1: |р|]. Каждому набору р оценок учащегося и у ставим в соответствие точку в этом пространстве с координатами / к; У е [1: |и|]. Легко видеть, что мощность множества {р} всех возможных точек р
равна . Отсюда следует, что если, например, число используемых индикаторов
|р| = 7, а шкала Q является десятизначной (|Q| = 10), то мощность этого множества равна
107 . Таким образом, получение откликов в для всех точек указанного множества
практически невозможно.
Определим меру Р(рх, р2) близости точек р , р в пространстве Ф;
у, у2 е [1: |Ц|], 7ч Ф у2. В качестве этой меры может быть использована евклидова векторная норма:
F , F ■
J1 ' J 2
f J J =
Могут использоваться и другие меры.
|FI/ ъ
- fh,k Г (!)
J\,k J J2,к к=1
2. Обучение с учителем (задача классификации)
Обучение с учителем (supervised learning) предполагает, что для каждого объекта выборки U известен соответствующий отклик (такая выборка называется размеченной). Обучение с учителем адекватно задаче классификации, то есть стратегия в данном случае представляет собой алгоритм классификации [18].
Задачу классификации, как правило, решают на обучающей выборке UL, а тестовую
T
выборку U используют для проверки эффективности обучения и, возможно, для дополнительного обучения. Задача заключается в построении отображения
а : F ^ {1, 2,..., |P|}, которое ставит в соответствие каждому учащемуся Uj выборки U прогнозную оценку в некотором смысле близкую к учительской оценке e. этого
учащегося. Известно большое число алгоритмов классификации и их открытых программных реализаций (см. например, [18]).
Принимаем, что если задача классификации выборки U тем или иным образом
решена, то множество U оказывается разбитым на |P| классов U, u2 ,..U^ . Поставим в
соответствие классу U метку el , равную откликам большинства объектов этого класса; l G [1:|P| ]. Будем полагать, что так назначенные метки классов U , ^,...^р| различны.
Оценка уровня метакомпетенций данного учащегося u сводится в результате к отысканию класса, которому принадлежит его вектор индикаторов F : если учащиеся u относится к
классу U , то его оценка равна el .
Для отыскания кластера, которому принадлежит данный учащийся, в простейшем случае можно использовать метод ближайшего соседа, суть которого заключается в
следующем: объект u относят к тому классу U , которому принадлежит ближайший
объект выборки U . Для повышения надёжности классификации может быть использован метод n ближайших соседей. В этом случае объект u относят к тому классу, которому принадлежит большинство из его соседей, то есть n ближайших к u объектов выборки U. Здесь n - свободный параметр метода. Могут быть использованы и другие методы повышения надежности классификации [18].
3. Обучение без учителя (задача кластеризации)
Обучение без учителя (unsupervised learning) исходит из того, что объекты не размеченной выборки U требуется сгруппировать в кластеры на основе их близости в индикаторном пространстве Ф. Обучение без учителя адекватно задаче кластеризации, то есть стратегия в данном случае есть ни что иное, как алгоритм кластеризации [19].
Задача кластеризации набора значений индикаторов {F } заключается в разбиении
этого набора на непересекающиеся множества (кластеры) так, чтобы каждый кластер Nl состоял из векторов F^, близких друг к другу в метрике р(-, •) . Другими словами, задача
кластеризации состоит в отыскании отображения ß : F ^ N, где N = {N/} -совокупность кластеров. Исходя из специфики оценки уровня метакомпетенций учащихся, полагаем, что число кластеров |N удовлетворяет неравенству 1 < |N| < |P|. То обстоятельство, что в данном случае заранее известно максимально допустимое число кластеров (равное P ), значительно упрощает решение задачи кластеризации.
Для кластеризации выборки и может быть использован широкий набор классических и новых методов кластеризации, начиная с эвристических графовых алгоритмов и заканчивая алгоритмом ¥ОВЕЬ и агломеративной процедурой Ланса-Вильямса [19].
Рассмотрим в качестве примера алгоритм выделения связных компонентов, относящийся к классу эвристических графовых методов. Идея алгоритмов этого класса основана на представлении выборки и в виде графа, в котором вершинам соответствуют объекты выборки, а ребрам - расстояния между объектами р. Схема алгоритма имеет следующий вид [19].
1) В наборе {^, У е [1: |и|]} находим пару точек ^, ^ с наименьшим
расстоянием р(^ , ) и соединяем их ребром.
2) Пока в выборке остаются изолированные точки повторяем следующие действия:
2.1) находим для данной изолированной точки ближайшую к ней неизолированную;
2.2) соединяем эти две точки ребром.
3) Удаляем в полученном графе (не содержащем изолированных точек) ребра, длина которых превышает заданную величину р .
Величина р должна быть такой, чтобы указанный граф распался на не более чем
|-Р| подграфов, которым соответствуют искомые кластеры. Основная сложность
алгоритма заключается в подборе величины р. В задачах кластеризации с четко
выраженной кластерной структурой гистограмма распределения расстояний р(^\, ^^ )
имеет два четких пика, первый из которых соответствует небольшим внутриклассовым расстояниям, а второй - большим межклассовым расстояниям. Параметр р следует выбирать соответствующим точке минимума между этими пиками.
Рассматриваемый тип машинного обучения предполагает, что разметку найденных кластеров, выполняет учитель после завершения решения задачи кластеризации. Достоинством метода является то, что в этом случае во время принятии своих решений учителю может быть доступна информация о структуре индикаторного множества }.
Кроме того, в данном методе в процессе формирования откликов учитель может ограничиться анализом не всех, но лишь небольшого числа объектов.
Рассматриваем две схемы разметки полученных кластеров и формирования прогнозных откликов. Схема 1.
1) Из каждого кластера N, I е [1: N] выбираем по одному объекту .
2) Полученные N объектов предъявляем учителю, который размечает их путем назначения соответствующих не совпадающих откликов ег.
3) Всем объектам кластера N ставим в соответствие отклик е . Выбор объекта щ из кластера N может производиться различными способами. Естественно использовать в качестве щ объект, наиболее близкий к центру кластера N . В качестве щ может быть также использован случайный объект этого кластера.
Прогнозный отклик для объекта и £ I определяем в данном случае по следующей
схеме.
1) Находим в выборке I объект и. , наиболее близкий в смысле метрики р к объекту и.
2) В качестве прогнозного отклика е(и) принимаем отклик объекта и :
] о
~(и) = ~(и, )
Представленная схема разметки кластеров N, I е[1: N] является классической для обучения без учителя и означает использование кусочно-постоянной аппроксимации его функции предпочтений е(р) в пределах каждого из кластеров. Такая аппроксимация может представлять собой слишком грубую модель учителя, поскольку в силу возможной противоречивости оценок объектов учителем, близость векторов индикаторов р , р в
пространстве Ф, вообще говоря, не означает близость откликов е , в у . Поэтому
целесообразно использовать нечеткую аппроксимацию его функции предпочтений. Схема 2.
Положим, что в каждом из кластеров N тем или иным образом (например, случайно) выделено по щ < объектов щ и этим объектам учителем поставлены в
соответствие наборы откликов Щ = {ег , V е [1: щ]}; I е [1: N]. Здесь полагается, что
объекту щ соответствует вектор значений индикаторов р е Ф и е, = е(р ) .
V V V ''V
В пределах кластера N и его некоторой окрестности аппроксимируем функцию е(р) параметризованной функцией р, А ) = р), где А - вектор свободных параметров. В качестве этой функции может быть использована, например, |р| -мерная гауссова функция
~ (р) =-И/ 1 17-ехр Г-1 (б-1 (р - с,), (р - с,))]
(2*) /2 "12 (б,) ^ 2 >, (2)
где Б, - (р| х |р|)-матрица ковариаций; С, - |р| -мерный вектор средних; (•,•) - символ
|р|
скалярного произведения в пространстве Р . Вектор параметров А в данном случае включает в себя все компоненты матрицы Б и вектора С , так что его размерность равна
|Е| + |Е|. Заметим, что в терминах теории нечетких множеств функция ~ (Е), по сути, представляет собой функцию принадлежности.
Обозначим ¡¡( А/) = Е (А/), Е1 меру точности аппроксимации функцией Е)
набора откликов Е1 на кластере . Здесь Е(А1) = (Е1 ), V е [1: щ]} . В качестве
этой меры могут быть использованы различные векторные нормы, например, евклидова норма вида (1):
к( A) =
ni
(A )■ (3)
v v=1
Здесь К (A ) = ej (F\v ) — e^ - ошибка аппроксимации функцией ~ (F)
отклика e
V
Во введенных обозначениях задача построения функции ~ (Е) сводится к задаче нелинейного программирования вида
min к(A) = К(А*), (4)
Al
где Da - множество допустимых значений компонентов вектора параметров A; A* - вектор соответствующих оптимальных значений.
Задачу (4) приходится рассматривать как задачу многомерной глобальной оптимизации. Для решения этой задачи может быть использовано большое число методов глобальной оптимизации, в том числе, такие современные популяционные методы, как генетический алгоритм, метод роя частиц, метод колонии муравьев, метод роя медоносных пчел и т.д. [20].
Если иметь в виду использование в качестве функций e(F, Al), l е[1: |N|]
гауссовой функции (2), то в силу большой размерность векторов Aj вычислительные расходы на решение задачи (4) могут оказаться неоправданно высокими. Сократить размерность задачи можно следующим образом. Во-первых, в качестве компонентов вектора Cj можно использовать предварительно вычисленные координаты центра
I |2
кластера Nj. Размерность задачи в результате становится равной F . Во-вторых, можно пренебречь корреляциями между компонентами вектора F и использовать диагональную матрицу Bj = diag (Ьц, bj 2,---,b^p|). В комбинации с предыдущим подходом, это
позволяет сократить размерность задачи до |F|, что с точки зрения вычислительных затрат для современных компьютеров является приемлемым. Если, в-третьих, дополнительно положить, что функция (2) является симметричной (когда B = Ь E, где
Е - единичная (р| х |р|)-матрица, Ь - вещественная положительная константа), то задача (4) становится однопараметрической.
Оценка уровня метакомпетенций е учащегося и, которому соответствует вектор индикаторов р, сводится в результате к следующей последовательности действия: - вычисляем значения ~ (р) для всех I е [1: N];
P
- ближайшую к величине е
- находим максимальное из этих значений е ;
- в качестве оценки е(и) принимаем величину на шкале Р.
Можно предложить большое число других способов построения прогнозных значений откликов. Например, в качестве отклика ~ объекта и, принадлежащего
кластеру N, можно использовать округленное среднее значение откликов этого кластера:
е(и )
1 N
Z ек
Nil
V=1
(5)
P
4. Обучение с частичным привлечением учителя
Обучение с частичным привлечением учителя (Semi-Supervised Learning, SSL) предполагает, что для части выборки известны объекты и соответствующие отклики (как при обучении с учителем), а для части - только объекты (как при обучении без учителя). В терминах исходной задачи оценки уровня метакомпетенций такая ситуация означает, что для одной части учащихся учителем назначены интегральные оценки, а для другой части по той или иной причине - нет [21].
Известно значительное число методов SSL, которые можно разделить на следующие группы: простые эвристические методы; модификации методов классификации; модификации методов кластеризации [21]. Ограничимся рассмотрением двух последних групп методов, и положим, что выборка U состоит из размеченной и неразмеченной
подвыборок U , U соответственно: и = и 1Uu 2.
Модификации методов классификации
Наиболее известны следующие методы SSL, построенные на основе методов классификации: самообучение (Seif-Training, ST или bootstrapping); ко-обучение (co-training); трансдуктивная машина опорных векторов (transductive SVM); графовые (graph-based) методы.
Ограничимся рассмотрением метода самообучения. Схема метода имеет следующий
вид.
1) Тем или иным методом решаем задачу классификации подвыборки и1 -разбиваем эту выборку на р| классов, элементы которых образуют подвыборки
и1, и 1..П р .
2
2) С помощью, например, метода п ближайших соседей находим в подвыборке и заданное число п+ (свободный параметр алгоритма) объектов и 2, наиболее близких к объектам классов Ц1, и2,...и|р|. Размечаем эти объекты метками по правилам п. 2.
1 2
3) По схеме шага 1 решаем задачу классификации подвыборки и .
2 2 2
4) По схеме шага 2 находим в подвыборке и \ и заданное число объектов и2 и
размечаем эти объекты метками соответствующих классов.
5) И так далее до исчерпания подвыборки и2.
Таким образом, ^Г-метод предполагает самообучение стратегии (классификатора).
Модификации методов кластеризации
Обучение с частичным привлечением учителя может быть реализовано на основе многих методов кластеризации. Такие модификации известны, в частности, для оптимизационных и графовых методов кластеризации, иерархической кластеризации Ланс-Уильямс, метода ^-средних [21]. Рассмотрим в качестве примера модификацию графового алгоритма (п. 3), схема которой имеет следующий вид.
1) В выборке и находим пару точек с наименьшим расстоянием р(■ , • ) и соединяем их ребром.
2) Пока в выборке остаются изолированные точки повторять следующие действия:
2.1) находим изолированную точку, ближайшую к некоторой неизолированной;
2.2) соединяем эти две точки ребром.
3) Пока есть путь между вершинами разных кластеров (классов?), удаляем самое длинное ребро на этом пути.
Полученные кластеры обозначаем N, I е [1: N], где аналогично п. 3 число
кластеров N удовлетворяет неравенству 1 < N1 < |Р|. В отличие от метода обучения без
учителя (п. 3) в данном случае, по меньшей мере, в части кластеров некоторое число объектов оказывается размеченным. Выделим три группы кластеров:
- кластеры, которые не содержат размеченных объектов;
- кластеры, число размеченных объектов в которых меньше величины п
(свободный параметр алгоритма);
- остальные кластеры.
Напомним, что если некоторый кластер Ni содержит размеченные объекты, то не обязательно метки этих объектов одинаковы, то есть, если u^, u^ е Ni, то возможна ситуация, когда e^ Ф e| .
Правила разметки указанных групп кластеров различны (см. п. 3).
• Если данный кластер не содержат размеченных объектов, то для его разметки требуется привлечение учителя по схеме 1 или схеме 2.
• Если число размеченных объектов в кластере меньше величины n и для разметки
этого кластера используется схема 1, то привлечение учителя не требуется. В тех же условиях при использовании схемы 2 требуется разметка учителем недостающих откликов.
• Если число размеченных объектов в кластере превышает величину n , то привлечение учителя не требуется, и для формирования прогнозных откликов могут быть использованы как схема 1, так и схема 2.
5. Обучение с подкреплением
Обучение с подкреплением (reinforcement learning) предполагает, что рассматриваемая стратегия (агент) обучается на основе взаимодействия с некоторой средой, которая выполняет функции учителя [22]. Помимо стратегии и среды, обучение с подкреплением в общем случае использует еще функцию поощрения, функцию ценности и, возможно, модель среды. Функция поощрения формализует «вознаграждение», которое получает агент в каждом данном акте обучения. Функция ценности - это общая сумма вознаграждений, которую агент рассчитывает получить в будущем. Целью агента, использующего обучение с подкреплением, является максимизация функции ценности.
Известно большое число методов решения задачи обучения с подкреплением [22]. Рассматриваем метод, который предполагает поиск оптимальной стратегии непосредственно в пространстве стратегий без использования функции ценности.
Пусть S (A1) = S* - текущая стратегия, где t = 0,1, 2,... - дискретная
последовательность временных шагов, на которых производится дообучение; A = A(t) -вектор свободных параметров стратегии, выбор оптимальных значений которых и является целью обучения.
Рассмотрим способ формирования стратегии S t на примере метода обучения без учителя (п. 3). Аппроксимируем функцию e(F) суммой параметризованных функций
е/ (F ):
N1
еt ( f ) = 1 е/ ( F ). (6)
i=1
Здесь (Е) = Е, А*) - аппроксимирующая функция; (Е) = ~(Е, А**) -аппроксимация функции е(Е) в пределах кластера N и, быть может, его некоторой окрестности; А* - вектор свободных параметров стратегии, соответствующей кластеру N. В этих обозначения и соглашениях стратегию ^ определяет функция б* (Е), а
N1
вектор А1 является ^ А/ -мерным. Если использовать в качестве функций (Е)
/=1
гауссову функцию (2), то по схеме п.3 размерность вектора А можно уменьшить до величины, равной N .
Полагаем, что на шаге * алгоритму обучения доступна выборка учащихся и (*) = и* . Для каждого учащегося и . е и* известен отклик е. (*) = е*, определенный на основе
значений вектора индикаторов Еу (*) = Е*. Таким образом, считаем известным и*
мерный вектор откликов Е* = {е*}. Предсказанный с помощью стратегии 8* вектор
откликов Е* обозначаем Е* = Е(А*). В качестве функции поощрения (критерия
оптимальности стратегии) используем меру точности предсказания откликов ¡¡( А*) вида (3).
Во введенных обозначениях задача обучения с подкреплением на итерации * формулируется как задача глобальной условной оптимизации
тп ¡( А*) = ^( А*), (7)
А* еЬА
аналогичная задаче (4). Здесь А* - вектор оптимальных значений компонентов вектора А* на итерации * .
Как и для решения задачи (4), для решения задачи (7) могут быть использованы генетический алгоритм, метод роя частиц, метод колонии муравьев, метод роя медоносных пчел и т.д. [20]. Общая схема решения имеет следующий вид.
1) Полагаем * = 0, и с помощью того или иного из рассмотренных выше методов
обучения получаем на выборке и1 начальную допустимую стратегию = 5 (А*) ; А* е ВА.
2) В окрестности точки А случайным образом генерируем точек А^ е Оа , Щ е [1: ], где - размер популяции (число индивидов в ней).
3) Для каждой из стратегий $ определяем значения компонентов предсказанных векторов Еу = Е(Ау ) .
4) Находим соответствующие значения функции поощрения ¡л(А) и минимальное
из этих значений
ju(At) = min ju(Aw)
We[V. ]
Принимаем стратегию S (At) в качестве текущей лучшей стратегии.
5) По правилам миграции индивидов популяции используемого алгоритма оптимизации варьируем компоненты векторов A - получаем новый вектор A+1. Полагаем t = t +1 и переходим к шагу 3.
6. Активное обучение
Активное обучение (active iearning) имеет ту особенность, что стратегия может самостоятельно назначать следующий объект для получения верного отклика, то есть самостоятельно формировать запросы к учителю (или к его модели). Более широкий взгляд на активное обучение предполагает также целенаправленный отбор объектов выборки (как размеченной, так и неразмеченной) для повышения эффективности обучения [23]. Ограничиваемся первым пониманием активного обучения.
Положим, что алгоритм, реализующий активное обучение, может на шаге
дообучения t сгенерировать неразмеченную выборку Ut и предъявить ее учителю, который размечает эту выборку и возвращает результат разметки стратегии. Основной проблемой активного обучения является формирование в некотором смысле наилучшей
выборки Ut. Можно предложить несколько подходов к определению этой выборки. Рассмотрим три из таких подходов.
Первый подход. Покроем каждую из осей f пространства Ф равномерной сеткой с
r узлами fk1 = , fk 2,..., fk г = ; k е [1: |F|]. Указанные сетки выделяют в
If I
пространстве Ф гиперкубы = H (II), общее число которых равно, очевидно, r . Здесь It е I - мультииндекс; I = {¡1, ¡2,...,е [1: r]} .
Определим для текущего множества размеченных объектов Ut числа этих объектов z\ = zf (11) в каждом из гиперкубов Hl. Назовем величину z\ плотностью покрытия гиперкуба H , а величину z - минимально допустимой плотностью (свободный параметр подхода). Имеет место следующее очевидное соотношение:
Е 2* (ь) =
и*
Идея первого подхода заключается в генерации выборки и * мощностью
и *
(свободный параметр подхода) в гиперкубах, плотность покрытия которых удовлетворяет условию
2* < 2 ■ . / — шш
Положим, что указанные гиперкубы упорядочены в порядке убывания их плотности
покрытия, так что 2* > 2^ >.... Часть объектов выборки и *, которая должна быть
л *
сгенерирована в гиперкубе И1, обозначим и* . Мощность этой выборки полагаем
/\ |е|
обратно пропорциональной плотности покрытия гиперкуба : и* =V 2* ; / е [1: г ]. Здесь V - свободный параметр. Таким образом, число гиперкубов т = т(*), в которых должны быть распределены объекты выборки и *, определяем из условия
т
VЕ 2*
/=1
и *
(8)
Во введенных обозначениях схема первого подхода имеет следующий вид.
1) По указанным правилам отбираем гиперкубы И1, И2,..., Ит .
2) В каждом из отобранных гиперкубов И1 генерируем V 2* объектов выборки и* ,
равномерно распределенных в нем случайным образом.
3) Предъявляем полученные объекты учителю, который определяет для них
/V
соответствующие отклики, то есть размечает выборки и* , / е [1: т].
4) На основе сформированной размеченной выборки и * дообучиваем текущую стратегию 8* с использованием выбранного алгоритма обучения.
Заметим, что объекты выборки и * могут, вообще говоря, совпадать с объектами выборки и* .
Второй подход. Положим, что функция е(Е) аппроксимирована функцией
б( Е, А*) вида (6). Идея данного подхода состоит в генерации объектов выборки и * в окрестности тех точек текущего множества {Е } , в которых ошибка аппроксимации
(А*) имеет максимальное значение (см. п. 3).
Схема подхода имеет следующий вид.
1) Находим ошибки аппроксимации ¡и (А*) всех объектов выборки и* и
}
упорядочиваем их в порядке убывания, так что
II е1
М( А) >М А) >....
2) В ¿г-окрестности каждой из первых т = т(') точек р генерируем по правилам первого подхода число объектов выборки и у, пропорциональное величине
Цу (Ау): и) = %[у (А'); ] е [1: т]. Здесь % - заданный положительный
коэффициент (свободный параметр подхода). Величину т определяем из условия, аналогичного условию (8). 3) Предъявляем сгенерированные объекты учителю, который определяет для них
соответствующие отклики, то есть размечает выборку П .
4) На основе сформированной размеченной выборки П дообучиваем текущую
стратегию £ с использованием выбранного алгоритма обучения.
Как и в первом подходе, объекты выборки П' могут, вообще говоря, совпадать с
объектами выборки П'. Указанные выше ¿г-окрестности могут представлять собой гиперкубы заданных размеров с центрами в соответствующих точках р .
Третий (комбинированный) подход представляет собой объединение двух рассмотренных выше подходов. Аналогично второму подходу в данном случае
предполагается аппроксимация функции е(Р) функцией е(р, А') . Основная
Л у
особенность третьего подхода заключается в выборе числа генерируемых объектов П'
на основе, как плотности покрытия , так и ошибки аппроксимации [■ (А), то есть в
формализации задачи как двухкритериальной. В качестве скалярного критерия используем аддитивную свертку этих критериев.
Схему подхода определяет следующая последовательность его основных шагов.
1) По схеме первого подхода определяем гиперкубы И1 и их плотности покрытия ; I е[1: ].
2) По схеме второго подхода находим ошибки аппроксимации [ . (А ) всех объектов выборки и'.
3) Для каждого из указанных гиперкубов определяем максимальную ошибку
аппроксимации [ (А ); I е [1: ].
4) Сортируем указанные гиперкубы в порядке возрастания скалярной величины
щ (А') = Щ[ (А')) = 4 1 -4 [ (А'),
где 4, 4 - положительные весовые множители.
5) По схеме первого подхода отбираем первые т гиперкубов И15 И2,...,Ит .
6) В каждом из отобранных гиперкубов И1 генерируем (А ) объектов выборки
л ^
и* , равномерно распределенных в нем случайным образом; / е [1: т].
7) Предъявляем сгенерированные объекты учителю, который определяет для них соответствующие отклики.
8) На основе сформированной размеченной выборки и * дообучиваем текущую
стратегию Б* с помощью используемого алгоритма обучения. Можно, очевидно, предложить большое число иных способов комбинации первого и второго подходов.
7. Многоуровневое обучение
Для оценки каждой из рассматриваемых метакомпетенций (метапредметных, метакреативных и метакогнитивных) может быть использовано многоуровневое, точнее говоря, двухуровневое обучение. Аргументом в пользу такого подхода является высокая суммарная размерность векторов индикаторов каждой из указанных метакомпетенций. Идея подхода предполагает следующие основные этапы:
• объединение индикаторов каждой из метакомпетенций в группы;
• независимое решение задач обучения для каждой из указанных групп (первый уровень обучения);
• на основе полученных результатов решение задачи обучения для интегрального критерия соответствующей метакомпетентности (второй уровень обучения).
Данный подход может быть скомбинирован со всеми рассмотренными выше методами обучения. Вообще говоря, для решения задач первого и второго уровней могут быть использованы различные методы. Более того, для решения различных задач первого уровня применимы не обязательно одинаковые методы.
Рассмотрим в качестве примера оценку такой метакомпетенции учащихся, как метапредметность. Как отмечалось выше, индикаторы этой компетенции образуют регулятивную, коммуникативную и познавательную группы. Положим, что, как для первого, так и для второго уровней используется метод обучения с учителем (п. 2).
Пусть Е1, Е2, Е3 - векторы индикаторов регулятивной, коммуникативной и познавательной групп метапредметной компетенции соответственно. Составляющие этих векторов тем или иным образом оценены для всех учащихся выборки и с помощью
шкалы Q . Таким образом, векторы Е* = (к е Q, к е [1: Е1 ]) , ' е [1:3]
представляют собой нормированные оценки значений всех индикаторов метапредметности учащегося и . е и; j е [1: Щ] . Для каждого из учащихся и . е и
известны отклики е1]- = е(Е'), определенные на шкале Р на основе соответствующих
значений индикаторов Е'.
На первом уровне иерархии решаем задачи классификации T1, T2, T3, где задача
Tl, i е [1: 3] заключается в построении отображения X1 : F' ^ {1, 2,..., } такого, что
для каждого учащегося u. е U прогнозная оценка ~ в некотором смысле близка
учительской оценке ei этого учащегося (п. 2). В результате решения задач обучения первого уровня оказывается определенной не размеченная выборка
^, ¿2, e3, j е[1: | ]}.
На втором уровне сначала размечаем с помощью учителя указанную выборку -ставим в соответствие каждому из наборов ^^j, ej, ej j интегральную оценку
метапредметности e j ; j е [1: |U|]. Затем решаем задачу классификации, аналогичную
задачам первого уровня иерархии.
Если представленные задачи классификации тем или иным образом решены, то оценка уровня метапредметности учащегося u решается в два следующих этапа.
1) Отыскиваем классы первого уровня иерархии, которым принадлежит векторы
индикаторов F1, F2, F3 данного учащегося, и на этой основе определяем
~1 ~2 ~3
соответствующие значения откликов e , e , e .
~1 ~2 ~3
2) Используя величины e , e , e , на втором уровне иерархии находим
интегральную оценку метапредметности e~ данного учащегося. По аналогичной схеме многоуровневое обучение может быть использовано для оценки метакометентности учащихся, учитывающей одновременно их метапредметность, метакогнитивность и метакреативность. Если при этом для оценки указанных метакомпетенций используется двухуровневое обучение, то общее число уровней обучения оказывается, очевидно, равным трем.
Достоинством многоуровневого обучения является возможность получения оценки групп компетенций учащегося (знание которых может представлять самостоятельную ценность), а также возможная меньшая суммарная вычислительная сложность обучения. Недостаток метода заключается в необходимости для учителя производить большее число оценок (в рассмотренном примере - четыре оценки против одной в других методах обучения). Данный недостаток в значительной мере компенсируется большей простотой
~1 ~2 ~3 ~
для учителя назначения оценок e , e , e и оценки e .
8. Многозадачное обучение
Многозадачное обучение (muiti-task iearning) означает одновременное обучение стратегий для группы взаимосвязанных задач. Можно сказать, что многозадачное обучение означает параллельное решение некоторой совокупности взаимосвязанных задач классификации или кластеризации [24]. Для задачи определения метакомпетенций учащихся данный тип обучения может быть использован с целью решения рассмотренных
в п. 7 задач обучения первого уровня, а также с целью одновременной оценки метапредметных, метакогнитивных и метакреативных компетенций. Рассмотрим последнюю задачу.
Многозадачное обучение применимо ко всем рассмотренным в пп. 2 - 6 методам обучения. Ограничимся рассмотрением метода обучения с учителем (п. 2).
Используем обозначения, аналогичные обозначениям п. 7. Пусть V - размеченная
выборка учащихся; = (/¡,к е Q, к е [1: Е ])
векторы рассматриваемых
индикаторов метапредметных, метакогнитивных и метакреативных компетенций учащегося м. е V соответственно; еI = е() е Р - соответствующие отклики;
I е [1:3], ] е [1: \\] .
В терминах многозадачного обучения введенные соглашения и обозначения
1 Гр1 гр2 Гр3
определяют задачи классификации т , т , т :
Т = Е ^ е), ] е [1: \\ ]}, I е[1:3].
Эти задачи можно решать как независимые, но многочисленные исследования показывают, что более эффективным может быть совместное их решение, при котором
~ о1 о2 о3
проводится одновременное построение взаимосвязанных стратегий о , о , о .
В зависимости от особенностей формализации задач Т1, Т2, Т3 используют
различные подходы к многозадачному обучению. Вообще говоря, многозадачному обучению адекватен подход на основе многослойной персептронной нейронной сети [25]. Обмен информацией между указанными стратегиями происходит в этом случае за счет формирования единого внутреннего представления данных в общем слое скрытых нейронов.
Рассматриваем трехслойную полносвязную нейронную сеть, имеющую во входном
слое
J^input
F1
+
F2
+
F3
нейронов , N¡2,..., N¡1^ |, I е [1: 3], входами
которых являются компоненты векторов соответственно. Выходной слой нейронов
содержит
№ШрШ = 3 нейрона N1, N3, выходы которых е , е , е имеют смысл
О. О. гр\ гт-т2 гг,3
прогнозных оценок нейронной сети для задач Т , Т , Т соответственно.
Рекомендуемое число нейронов N21, N22,... скрытого слоя с точностью до единицы равно полусумме чисел нейронов входного и выходного слоев:
N
hidden
F1
+
F
+
F
+ 3
2
Веса всех входных и выходных нейронов полагаем фиксированными. Вектор весов связей входного и скрытого слоев нейронов обозначаем Wl, а аналогичный вектор связей
скрытого и выходного слоев - Ж2. Легко видеть, что размерности этих векторов равны
N
input
hidden
И
3
hidden
соответственно.
Пусть р (Ж) - подлежащий минимизации функционал качества обучения для
задачи Т1; I е [1:3]. Здесь вектор Ж представляет собой конкатенацию векторов Ж15 Ж2 , так что его размерность равна
W = Ninput
hidden
+ 3
hidden
В качестве аналогичного функционала ((W) для мультизадачи может быть использована, например, максимальная из величин ( (W) :
(W) = max ( (W) .
ie[1:3]
Таким образом, задача обучения нейронной сети формулируется в виде
max ((W) = ((W*), (9)
W eDw
*
где W - оптимальный вектор весов; Dw - множество допустимых значений компонентов
вектора W. Задача (9) представляет собой задачу многомерной глобальной безусловной оптимизации (п. 3).
Часто задачу (9) регуляризуют путем, например, добавления к функционалу ((W) аддитивного слагаемого вида Л ||W||, где Л - весовой множитель; Ц - некоторая векторная норма.
Особенностью задачи (9) является высокая размерность вектора варьируемых
12 3
параметров W. Действительно, если размерности векторов F , F2, F3 равны, например,
10 (что меньше их ожидаемого числа), то легко видеть, что имеет место равенство
W = 10 '16 + 3 -16 = 208. Это обстоятельство делает задачу (9) вычислительно высоко
сложной и требует использования для ее решения параллельных вычислительных систем.
Уменьшить размерность вектора W можно путем комбинирования многоуровневого и многозадачного обучений.
9. Многовариантное обучение
Многовариантное обучение (multiple-instance learning) предполагает, что объекты объединены в группы (bags), в которых отклики известны лишь для одного или нескольких объектов [26]. С нашей точки зрения, применительно к задаче количественной оценки метакомпетенций учащихся данный тип обучения не имеет содержательной интерпретации.
Заключение
В работе предложен ряд методов количественной оценки метакомпетенций учащихся, основанных на применении следующих типов машинного обучения: обучение с учителем, обучение без учителя, обучение с частичным привлечением учителя, обучение с подкреплением, активное обучение, многоуровневое обучение, многозадачное обучение. Большое число этих методов делает актуальной задачу исследования их эффективности и формирования рекомендаций по выбору тех или иных методов на основе особенностей конкретной задачи оценки метакомпетенций.
В развитие работы авторы планируют разработку соответствующих алгоритмов и программного обеспечения, а также их апробацию в процессе решения практических задач по оценке метакомпетенций учащихся.
Исходные данные для количественной оценки метакомпетенций учащихся могут быть получены на основе анализа моделей их поведения в различных обучающих и пользовательских средах (социальных сетях, например). Указанные источники информации отличаются объемами данных, которые могут быть получены с их помощью. Так в обучающей среде можно организовать тестирование учащихся с целью получения оценок всех индикаторов каждого из типов метакомпетентности. Напротив, из социальных сетей могут быть извлечены значения лишь немногих из указанных индикаторов. Таким образом, методы оценки метакомпетенций должны быть в общем случае ориентированы на использовании неоднородных выборок учащихся, то есть выборок, для которых известными являются значения различного числа индикаторов. Актуальной является проблема разработки таких методов.
В работе рассмотрена стационарная постановка задачи количественной оценки метакомпетенций учащихся. Однако эти оценки в процессе обучения учащегося меняются, и закономерности их изменения во времени несут важную информацию о метапотенциях учащегося. Поэтому в развитии работы авторы планируют также рассмотрение динамической постановки задачи количественной оценки метакомпетенций учащихся.
Рассмотрена четкая постановка задачи оценки метакомпетенций, хотя по своей природе как оценки значений индикаторов метакомпетентности, так и интегральные оценки учителя являются нечеткими. Поэтому целесообразна постановка задачи в терминах теории нечетких множеств.
Работа выполнена при поддержке Минобрнауки России (проект 2014-14-579-0144).
Авторы сердечно благодарят своих коллег - Добрякова А.А. и Смирнову Е.В. за плодотворное сотрудничество и помощь в данной работе.
Список литературы
1. Erpenbeck J., Scharnhorst A., Ebeling W., Martens D., Nachtigall C., North K., Friedrich P., Lantz A. Metakompetenzen und Kompetenzentwicklung. QUEM-report, Schriften zur beruflichen Weiterbildung, Heft 95/Teil I. Berlin, 2006. Режим доступа: https://knaw.academia.edu/AndreaScharnhorst (дата обращения 23.01.2015).
2. Bogo M., Katz E., Regehr C., Logie C., Mylopoulos M., Tufford L. Toward Understanding Meta-Competence: An Analysis of Students' Reflection on their Simulated Interviews // Social Work Education. 2013. Vol. 32, no. 2. Special Issue: Field Education in Social Work. P. 259-273. DOI: 10.1080/02615479.2012.738662
3. Scharnhorst A., Ebeling W. Evolutionary Search Agents in Complex Landscapes - a New Model for the Role of Competence and Meta-competence (EVOLINO and other simulation tools) // The Virtual Knowledge Studio: website. Available at:
http://virtualknowledgestudio.nl/documents/ andreascharnhorst/arxiv final.pdf , accessed 23.01.2015.
4. Грешилова А.В. Содержание метапредметных компетенций у студентов среднего профессионального образования // Magister Dixit: научно-педагогический журнал Восточной Сибири. 2014. № 1 (13). Режим доступа:
http://md.islu.ru/sites/md.islu.ru/files/rar/greshilova statya md 0.pdf (дата обращения 10.02.2015).
5. Прокудина Ю.А. Формирование метапредметных знаний старшеклассников в условиях профильного обучения: дис. ...канд. пед. наук. Н. Новгород, 2013. 169 с.
6. Фисенко Т.И. Как реализовать принцип метапредметности в процессе обучения // Персональный сайт учителя истории и естествознания Петрушиной И.В. Режим доступа: http://petrushina.ivsoft.ru/docs/kak-realizovat-princip-talerantnosti-v-processe-obucheniya.pdf (дата обращения 23.01.2015).
7. Бударина Н.А. Технология оценки достижения метапредметных результатов освоения основной программы «Химия» // Методисты. Профессиональное сообщество педагогов: сайт. Режим доступа:
http://metodisty.ru/m/gnews/group/8/news/tehnologiya ocenki dostizheniya metapredmetn yh rezultatov osvoeniya osnovnoi programmy po himii/ (дата обращения 23.01.2015).
8. Гущин Ю.Ф. Анализ особенностей оценки метапредметных результатов // Психология и методология образования: сайт. Режим доступа: http://psyhoinfo.ru/analiz-osobennostey-ocenki-metapredmetnyh-rezultatov (дата обращения 23.01.2015).
9. Уткина Т.Н. Система оценки достижений метапредметных результатов // Социальная сеть работников образования nsportal.ru. Режим доступа: http://nsportal.ru/nachalnaya-shkola/mezhdistsiplinarnoe-obobshchenie/2012/01/20/sistema-otsenki-dostizheniy (дата обращения 23.01.2015).
10. Чупрова О.Ф., Шумовская А.Г. Диагностика метапредметных умений студентов I курса: результаты, оценки, выводы // Вестник Иркутского государственного лингвистического университета. 2012. № 4. С. 198- 201.
11. Livingston J.A. Metacognition: an Overview // Graduate School of Education (GSE) at the University at Buffalo (UB): website. Available at:
http://gse.buffalo.edu/fas/shuell/cep564/metacog.htm , accessed 30.01.2015.
12. Metcalfe J., Son L.K. Metacognitive and Control Strategies in Study-Time Allocation // Journal of Experimental Psychology: Learning, Memory, and Cognition. 2000. Vol. 26, no. 1. P. 204 -221. DOI: 10.1037//0278-7393.26.1.204
13. Карпов А.А. Взаимосвязи обучаемости и метакогнитивных качеств личности // Ярославский педагогический вестник. 2012. Т. 2, № 3. С. 228-235.
14. Лазарева О.В. Формирование метакогнитивной регуляции понимания научного текста // Письма в Эмиссия. Оффлайн: научно-педагогический интернет-журнал. 2012. № 8. Ст. 1843. Режим доступа: http://www.emissia.ors/offline/2012/1843.htm (дата обращения 30.01.2015).
15. Bishop C.M. Pattern Recognition and Machine Learning. Springer-Verlag New York, 2006. 740 p. (Series: Information Science and Statistics).
16. Belous V.V., Bobrovsky A.V., Dobrjkov A.A., Karpenko A.P. , Smirnova E.V. Multicriterion integral alternatives' estimation: mentally-structured approach to education // 2nd International Conference on Education and Education Management (EEM 2012) (Hong Kong, China, September 4-5, 2012). Vol. 3. 2012. P. 215-224.
17. Донской В.И. Алгоритмические модели обучения классификации: обоснование, сравнение, выбор. Симферополь: ДИАЙПИ, 2014. 228 с.
18. Scikit-learn. Machine Learning in Python: website. Available at: http://scikit-learn.org/stable/ , accessed 30.01.2015.
19. Воронцов К.В. Лекции по алгоритмам кластеризации и многомерного шкалирования. 2007 // ВЦ РАН: сайт. Режим доступа: http://www.ccas.ru/voron/download/Clustering.pdf (дата обращения 30.01.2015).
20. Карпенко А.П. Современные алгоритмы поисковой оптимизации. Алгоритмы, вдохновленные природой. М.: Изд-во МГТУ им. Н.Э. Баумана, 2014. 446 с.
21. Zhu Xhu. Semi-Supervised Learning Literature Survey. Computer Sciences TR 1530. University of Wisconsin - Madison, 2008. 60 p.
22. Саттон Р.С., Барто Э.Г. Обучение с подкреплением: пер. с англ. М.: БИНОМ. Лаборатория знаний, 2012. 399 с. (Сер. Адаптивные и интеллектуальные системы).
23. Martyn M. Clickers in the Classroom: An Active Learning Approach // Educause Quarterly. 2007. No. 2. P. 71-74.
24. Varnek A., Gaudin C., Marcou G., Baskin I., Pandey A.K., Tetko I.V. Inductive Transfer of Knowledge: Application of Multi-Task Learning and Feature Net Approaches to Model Tissue-Air Partition Coefficients // Journal of Chemical Information and Modeling. 2009. Vol. 49, no. 1. P. 133-144. DOI: 10.1021/ci8002914
25. Хайкин С. Нейронные сети. Полный курс: пер. с англ. М.: Издательский дом «Вильямс», 2006. 1104 с.
26. Foulds J., Eibe F. A Review of Multi-Instance Learning Assumptions // Knowledge Engineering Review. 2010. Vol. 25, no. 1. P. 1-25. DOI: 10.1017/S026988890999035X
Science and Education of the Bauman MSTU, 2015, no. 04, pp. 228-253.
DOI: 10.7463/0415.0764221
Received:
05.04.2015
Science^Education
of the Bauman MSTU
ISS N 1994-0408 © Bauman Moscow State Technical Unversity
A Quantitative Assessment of Student's Meta-competences Based on Machine Learning Methods
E.A. Gavrilina1, M.A. Zackarov1, "apkaipsfro@maiiju
i *
A.P. Karpenko '
1Bauman Moscow State Technical University, Moscow, Russia
Keywords: metasubjectiveness, metacognitiveness, metacreative, evaluation of metacompetencies,
machine learning
We distinguish subject, creative, and cognitive student's meta-competences or, in other words, student's meta-subject, meta-creative, and meta-cognitive competences. A vast amount of indicators define each meta-competence. For example, indicators formalizing student's abilities for goal setting, planning, organizing, control, assessment, and correction can be used to assess his/her regulatory meta-subject competence.
There is rather small number of works devoted to various forming and assessing aspects of student's meta-competences. The paper presents a short review of these works. It shows that in all cases there are no discussions on the algorithmic aspects to assess these competences, so in this sense this work is pioneer.
We set a task of student's meta-competences assessment as a problem of machine training (machine learning).
We consider the following types of machine learning: supervised learning; unsupervised learning; partly supervised learning; reinforcement learning; active learning; multitask learning; multiple learning. We offer a number of methods for a quantitative assessment of student's meta-competences using above types of machine learning.
In the conclusion we formulate the future developments.
The Ministry of Education and Science of the Russian Federation (project 2014-14-5790144) has supported this work.
The authors express their sincere gratitude towards A.A. Dobryakov and E.V. Smirnova for the fruitful cooperation and contribution to this work.
References
1. Erpenbeck J., Scharnhorst A., Ebeling W., Martens D., Nachtigall C., North K., Friedrich P., Lantz A. Metakompetenzen undKompetenzentwicklung. QUEM-report, Schriften zur
beruflichen Weiterbildung, Heft 95/Teil I. Berlin, 2006. Available at: https://knaw.academia.edu/AndreaScharnhorst , accessed 23.01.2015.
2. Bogo M., Katz E., Regehr C., Logie C., Mylopoulos M., Tufford L. Toward Understanding Meta-Competence: An Analysis of Students' Reflection on their Simulated Interviews. Social Work Education, 2013, vol. 32, no. 2, special issue: Field Education in Social Work, pp. 259273. DOI: 10.1080/02615479.2012.738662
3. Scharnhorst A., Ebeling W. Evolutionary Search Agents in Complex Landscapes - a New Model for the Role of Competence and Meta-competence (EVOLINO and other simulation tools). The Virtual Knowledge Studio: website. Available at:
http://virtualknowledgestudio.nl/documents/_andreascharnhorst/arxiv_final.pdf , accessed 23.01.2015.
4. Greshilova A.V. The content of interdisciplinary competences of secondary professional education students. Magister Dixit, 2014, no. 1 (13). Available at:
http://md.islu.ru/sites/md.islu.ru/files/rar/greshilova_statya_md_0.pdf , accessed 10.02.2015. (in Russian).
5. Prokudina Yu.A. Formirovanie metapredmetnykh znanii starsheklassnikov v usloviyakh profil'nogo obucheniya. Kand. diss. [Formation of meta- competence knowledge of senior pupils in conditions of profile training. Cand. diss.]. Nizhniy Novgorod, 2013. 169 p. (in Russian).
6. Fisenko T.I. Kak realizovat'printsip metapredmetnosti vprotsesse obucheniya [How to implement meta- competence principle in the learning process]. Personal website of Petrushina I.V., teacher of history and social science. Available at: http://petrushina.ivsoft.ru/docs/kak-realizovat-princip-talerantnosti-v-processe-obucheniya.pdf , accessed 23.01.2015. (in Russian).
7. Budarina N.A. Tekhnologiya otsenki dostizheniya metapredmetnykh rezul'tatov osvoeniya osnovnoiprogrammy "Khimiya" [Technology of assessment of achievement of meta- competence results of development of main program "Chemistry"]. Methodists. Professional community of teachers: website. Available at:
http://metodisty.ru/m/gnews/group/8/news/tehnologiya_ocenki_dostizheniya_metapredmetny h_rezultatov_osvoeniya_osnovnoi_programmy_po_himii/ , accessed 23.01.2015. (in Russian).
8. Gushchin Yu.F. Analiz osobennostei otsenki metapredmetnykh rezul'tatov [Analysis of features of evaluation of interdisciplinary results]. Psychology and Methodology of Education: website. Available at: http://psyhoinfo.ru/analiz-osobennostey-ocenki-metapredmetnyh-rezultatov , accessed 23.01.2015. (in Russian).
9. Utkina T.N. Sistema otsenki dostizhenii metapredmetnykh rezul'tatov [The evaluation system of achievements of meta- competence results]. nsportal.ru: Social network for educators. Available at: http://nsportal.ru/nachalnaya-shkola/mezhdistsiplinarnoe-obobshchenie/2012/01/20/sistema-otsenki-dostizheniy , accessed 23.01.2015. (in Russian).
10. Chuprova O.F., Shumovskaya A.G. Diagnostics of metasubject skills of the freshman year students: results, evaluation, conclusions. Vestnik ISLU, 2012, no. 4, pp. 198- 201. (in Russian).
11. Livingston J.A. Metacognition: an Overview. Graduate School of Education (GSE) at the University at Buffalo (UB): website. Available at:
http://gse.buffalo.edu/fas/shuell/cep564/metacog.htm , accessed 30.01.2015.
12. Metcalfe J., Son L.K. Metacognitive and Control Strategies in Study-Time Allocation. Journal of Experimental Psychology: Learning, Memory, and Cognition, 2000, vol. 26, no. 1, pp. 204 -221. DOI: 10.1037//0278-7393.26.1.204
13. Karpov A.A. Interrelations of the Personality's Learning Ability and Metacognitive Qualities. Yaroslavskii pedagogicheskii vestnik = Yaroslavl Pedagogical Bulletin, 2012, vol. 2, no. 3, pp. 228-235. (in Russian).
14. Lazareva O.V. Formation of metacognitive regulation of understanding of scientific text. Pis'ma v Emissiya. Offlain = The Emissia.Offline Letters, 2012, no. 8, art. 1843. Available at: http://www.emissia.org/offline/2012/1843.htm , accessed 30.01.2015. (in Russian).
15. Bishop C.M. Pattern Recognition and Machine Learning. Springer-Verlag New York, 2006. 740 p. (Series: Information Science and Statistics).
16. Belous V.V., Bobrovsky A.V., Dobrjkov A.A., Karpenko A.P. , Smirnova E.V. Multicriterion integral alternatives' estimation: mentally-structured approach to education. 2nd International Conference on Education and Education Management (EEM 2012), Hong Kong, China, September 4-5, 2012. Vol. 3. 2012, pp. 215-224.
17. Donskoi V.I. Algoritmicheskie modeli obucheniya klassifikatsii: obosnovanie, sravnenie, vybor [Algorithmic learning model classification: rationale, comparison, choice]. Simferopol, DIAIPI Publ., 2014. 228 p. (in Russian).
18. Scikit-learn. Machine Learning in Python: website. Available at: http://scikit-learn.org/stable/ , accessed 30.01.2015.
19. Vorontsov K.V. Lektsii po algoritmam klasterizatsii i mnogomernogo shkalirovaniya [Lectures on the clustering algorithm and multidimensional scaling]. 2007. Computing Centre of RAS: website. Available at: http://www.ccas.ru/voron/download/Clustering.pdf , accessed 30.01.2015. (in Russian).
20. Karpenko A.P. Sovremennye algoritmy poiskovoi optimizatsii. Algoritmy, vdokhnovlennye prirodoi [Modern algorithms of search engine optimization. Algorithms inspired by na-ture].Moscow, Bauman MSTU Publ., 2014. 446 p. (in Russian).
21. Zhu Xhu. Semi-Supervised Learning Literature Survey. Computer Sciences TR 1530. University of Wisconsin - Madison, 2008. 60 p.
22. Sutton R.S., Barto A.G. Reinforcement Learning: An Introduction. A Bradford Book. MIT Press, Cambridge, 2002. (Russ. ed.: Sutton R.S., Barto A.G. Obuchenie s podkrepleniem. Moscow, BINOM. Laboratoriya znanii Publ., 2012. 399 p.).
23. Martyn M. Clickers in the Classroom: An Active Learning Approach. Educause Quarterly, 2007, no. 2, pp. 71-74.
24. Varnek A., Gaudin C., Marcou G., Baskin I., Pandey A.K., Tetko I.V. Inductive Transfer of Knowledge: Application of Multi-Task Learning and Feature Net Approaches to Model Tissue-Air Partition Coefficients. Journal of Chemical Information and Modeling, 2009, vol. 49, no. 1, pp. 133-144. DOI: 10.1021/ci8002914
25. Haykin S. Neural Networks: A Comprehensive Foundation. 2nd ed. Prentice Hall, 1999. 823 p. (Russ. ed.: Haykin S. Neironnye seti: polnyi kurs. Moscow, Publishing House "Vil'iams", 2006. 1104 p.).
26. Foulds J., Eibe F. A Review of Multi-Instance Learning Assumptions. Knowledge Engineering Review, 2010, vol. 25, no. 1, pp. 1-25. DOI: 10.1017/S026988890999035X
