CC BY
75
Наука к Образование
МГТУ им. Н.Э. Баумана
Сетевое научное издание
ISSN 1994-0408
УДК 519.6
Онтологический подход к тестированию уровня владения обучающимся метапредметными понятиями
к.ф.н. Гаврилина Е. А.1, Захаров М. А.1, ':apkarpenko@maüju
профессор, д.ф.-м.н. Карпенко А. П.1*, Смирнова Е. В.1
1МГТУ им. Н.Э. Баумана, Москва, Россия
Работа посвящена оценке уровня усвоения обучающимся метапонятийного состава учебных предметов. Предлагаемый подход основан на использовании когнитивной карты обучающегося (ККО), которая формализует его представления о некотором фрагменте предметной семантической сети (ПСС) и, в идеале, совпадает с этим фрагментом. Контроль усвоения обучающимся понятийного состава данного фрагмента ПСС сводится к сравнению подграфа ПСС, соответствующего этому фрагменту, и графа, который определяет соответствующая ККО. Рассматриваем два подхода к тестированию уровня владения обучающимся метапонятиями: на основе онтологии метапредмета: на основе онтологий традиционных учебных предметов. Работа выполнена при поддержке Минобрнауки России (проект 2014-14579-0144).
Ключевые слова: метапредметные компетенции; метакогнитивные компетенции; метакреативные компетенции; когнитивная карта обучающегося; предметная семантическая сеть
Введение
Федеральный государственный образовательный стандарт выделяет три уровня результатов образования: личностные, предметные, метапредметные. Под последними понимаются результаты освоения обучающимся универсальных учебных действий, обеспечивающих владение ключевыми компетенциями, составляющими основу умения учиться, а также результаты освоения межпредметных понятий (метапонятий) [1, 2]. Метапредметные компетенции обучающегося, как результат его образования, являются составной частью метакомпетенций обучающегося, которые включают в себя также метакогнитивные и метакреативные компетенции [3 - 5]. Работа посвящена оценке уровня усвоения обучающимся метапонятийного состава учебных предметов.
Наука и Образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2015. № 02. С. 136-149.
Б01: 10.7463/0215.0756631
Представлена в редакцию: 14.02.2015
© МГТУ им. Н.Э. Баумана
Методика контроля понятийных знаний обучающегося рассмотрена, например, в работе [6]. Эта методика основана на использовании когнитивной карты обучающегося (ККО) [7], которая формализует его представления о некотором фрагменте предметной семантической сети (ПСС) и, в идеале, совпадает с этим фрагментом. Контроль усвоения обучающимся понятийного состава данного фрагмента ПСС сводится к сравнению подграфа ПСС, соответствующего этому фрагменту, и графа, который определяет соответствующая ККО [8]. Данную работу можно считать развитием работ [5, 8, 9] в направлении тестирования уровня владения обучающимся метапонятиями.
В общей и высшей школе метапредметная обученность может быть обеспечена с помощью, так называемых, метапредметов, а также с помощью соответствующей модификации методики преподавания традиционных предметов. В соответствии с этим рассматриваем два подхода к тестированию уровня владения обучающимся метапонятиями.
Методы оценки других аспектов метапредметных знаний, рассмотрены, например, в работах [10 -12].
В первом и втором разделах работы представлены модели предметной онтологии и ККО соответственно. Третий раздел посвящен тестированию метапонятийного состава знаний обучающегося на основе онтологии метапредмета. В четвертом разделе представляем подход на основе онтологий традиционных учебных предметов. В заключении формулируем основные результаты работы и перспективы ее развития.
Полагаем далее, что |А| - число элементов (мощность) счётного множества (набора) элементов А ; а( - 1-й элемент этого множества (набора).
Пусть О - онтология данного учебного предмета. Семантическую сеть (СС) онтологии О определяет кортеж
где приняты следующие обозначения: С = {сг- } - множество понятий СС; Я = {г } -множество отношений между понятиями набора С; Жс = {,}, = {} -
значения мер важности понятий набора С и отношений Я соответственно. Методы оценки значений этих мер рассмотрены, например, в работе [13].
Если понятия с , С , Н ^ Ъ в СС (1) связаны между собой некоторым отношением
из числа отношений Я , то говорим, что эти понятия связаны информационно.
Сопоставляем СС (1) взвешенный ориентированный граф без контуров О, вершины которого соответствуют понятиям онтологии О, а дуги - информационным связям этих
1. Модель онтологии учебного предмета
(1)
понятий между собой. Веса вершин графа G равны важностям понятий, а веса дуг -важностям соответствующих отношений.
Пусть h(cj , c ) - мера расстояния между понятиями с{ , c е C. Величину
h(c. , c ) можно определить несколькими способами, например, в качестве этой
величины можно использовать число дуг кратчайшего пути в графе G между вершинами, соответствующими указанным понятиям [14, 15].
Введём в рассмотрение подграф G (h), h > 1 графа G, соответствующий понятию С е C. Подграф G (hh) включает в себя все понятия Q (h) с C графа G, расстояние от которых до понятия c не превышает величины h. Набор отношений, связывающих понятия набора Q (h), обозначаем R (h); соответствующий фрагмент СС - SSl (h). Очевидно, что подграф G (1) представляет собой совокупность понятий, информационно связанных с метапонятием c .
2. Модель когнитивной карты обучающегося
Выделяем локальную ККО и расширенную ККО. Расширенная ККО соответствует фрагменту СС SS;- (hh), а локальная - фрагменту SS- (1) . Модель расширенной ККО определяет кортеж
CM. (h) = C (h), R (h)), h > 1, (2)
где C. (h) - набор понятий множества C, которые в ККО (2) указаны обучающимся как
принадлежащие СС SS- (h); R (h) - набор отношений множества R, которые в ККО (2)
связывают понятия набора C (h) между собой.
ККО (2) представляем в виде ориентированного, возможно, несвязного взвешенного графа без контуров G{ (h), вершины которого соответствуют понятиям C2- (h), а дуги -
отношениям R (h).
Локальную ККО определяем аналогичным кортежем
CMl (1) = CMl = C , Rt) (3)
и представляем в виде графа G (1) = G, аналогичного графу G (h) = G (h). Здесь принято C = C (1), R = R (1)
3. Тестирование на основе онтологии метапредмета
Модель онтологии метапредмета совпадает с моделью, рассмотренной в п.1, с заменой термина понятие на термин метапонятие. Используем для соответствующей семантической сети (МСС) обозначение МББ. Расширенную и локальные ККО,
соответствующие МСС МББ (к), МББ{ (1) = ММБ1, обозначает МСМ1 (к),
МСМ (1) = МСМ1; к > 1.
3.1. Методы построения ККО
Локальная ККО. Локальную ККО МСМ1 строим с помощью одного локального
теста Т . Тестовое задание для теста Т состоит в общем случае из двух частей и на
содержательном уровне имеет следующий вид.
1) «Из представленного списка вариантов ответов сформируйте набор понятий
(метапонятий) Сг , информационно связанных с метапонятием сг- ».
2) «Из представленного списка вариантов ответов сформируйте набор типов отношений Я , связывающих понятия (метапонятия) набора Сг с метапонятием сг- ».
Список вариантов ответов для первого вопроса содержит следующие понятия:
- все понятия из набора Сг (верные ответы);
- заданное число случайно без повторений выбранных понятий с , I = 1,2,...из
ч
числа понятий набора С , для которых мера , С- ) равна двум (неверные ответы);
- требуемое число случайно без повторений выбранных понятий с , т = 1,2,.. . из
числа понятий набора С, для которых мера к(сч , с ) равна трём (неверные ответы);
- и так далее до достижения заданного числа неверных ответов.
Для второго вопроса список вариантов ответа для каждой пары «понятие набора Сг - метапонятие С- » содержит все отношения Я.
Расширенная ККО. Для построения ККО МСМ1 (к), к > 1 используем набор тестов Т (к) = {Т (к)}, где локальный тест Т (к) предназначен для оценки уровня усвоения обучающимся метапонятия С^ Е (к) . Величину
Т (к)
т(к) =
С (к)
е (0; 1]
метапонятии с, из
V
называем уровнем покрытия набором тестов Т. (И) семантической сети ЫББ1 (И). Заметим, что величина |Т/ (И)| равна числу локальных тестов в наборе Т (И) и, одновременно, числу тестируемых метапонятий набора С.
Тест Т (И) , 7 е [1: Ti (И) формируем по следующему правилу:
1) случайным образом без повторений выбираем Тг- (И) набора С- (И);
2) для каждого из метапонятий с. по рассмотренным выше правилам создаём
V
тестовое задание Т. (И) .
Ответы обучающегося на тестовые задания набора тестов Тг (И) порождают Т (И) наборов ответов {Сг- (И), Яг. (И)}. ККО МСМ1 (И) строим на основе этих ответов по следующим правилам:
- набор понятий (метапонятий) Сг (И) формируем из набора {Сг- (И)} путём объединения одноименных понятий (метапонятий) в одно;
- набор отношений Я (И) создаём путём объединения отношений набора {Я (И)}, связывающих соответствующие понятия (метапонятия).
3.2. Метрики оценки метапонятийных знаний обучающегося
Все представленные ниже метрики уровня усвоения обучающимся метапонятий имеют, вообще говоря, разные знаки и масштаб. Поэтому в программных реализациях необходима нормировка значений этих метрик, например, по схеме работы [16]. Построение на основе нормированных метрик различных линейных и нелинейных бальных шкал оценок рассмотрено, например, в той же работе [16].
Оценка на основе локальной ККО
1) Метрика Р\(с ^) . Введём в рассмотрение подмножества С/, Я* соответствующих множеств С , Я , содержащие верные ответы обучающегося. Относительные числа
верных ответов в этих множествах полагаем равными
(4)
п'
С
С л - I , пя л
С,\- к- |я|
соответственно. Аналогично определим подмножества неверных ответов С[, Я/ и
— ( —/'
соответствующие нормированные величины г, .
При расчете значений указанных величин в число неверно определённых элементов следует включать, как элементы из множеств Сг , К , не входящие во множества Сг , К , так и элементы из вторых наборов, не входящие в первые. В число неверно определённых отношений следует включать отношения, которые в ККО МСМ1 связывают неверно указанные понятия (метапонятия).
Метрика рх (сг-) не учитывает сложность понятий и важности отношений и представляет собой взвешенную алгебраическую сумму относительных чисел верных и неверных ответов в наборах Сг , К , то есть
А (сг ) = ПС,г + 4,1 К,г - 4,2 ПС,г - 4,3 Пи , (5)
где 4\, 4 2,4 3 е [0,1] - весовые коэффициенты, назначаемые лицом, принимающим
решения (ЛИР), исходя их своих предпочтений. Формальный метод определения значений этих коэффициентов рассмотрен, например, в работах [16, 17].
Отметим, что метрика (5) и другие аналогичные метрики, представленные ниже, являются, по сути, многокритериальными, и весовые коэффициенты в них определяют веса соответствующих частных критериев оптимальности [16, 17]. Полагая все или некоторые коэффициенты 4\, 4 2, 4з нулевыми, легко получить большое число производных метрик.
2) Метрика р2 (сг ) . Обозначим
тС,г =£ ™с4 , 7 е [1: С |], сч е С*
]
взвешенное число верных ответов в подмножестве С\ и относительное взвешенное число
этих ответов
. тг ■ , ,
тС4 = —, тс . = X , 7 е [1: С ]. (6)
тС,г 7 7
Здесь '^с г - важность понятия (метапонятия) с( . Аналогично определим
относительное взвешенное число верных ответов т* г в подмножестве К*, а также относительные взвешенные числа неверных ответов т^ г, тв подмножествах С{,
К'
соответственно.
Метрика р2 (сг-) учитывает сложность понятий (метапонятий) и важности отношений. Метрика аналогична метрике Р1(сг) и представляет собой взвешенную
алгебраическую сумму относительных взвешенных чисел верных и неверных ответов в наборах С. , Я :
Р2 (С ) = тС,1 + тЯ. - ¿2,2 ШС,1 - ¿2,3 . (7)
Легко видеть, что метрика (7) совпадает с метрикой (5), если в первой положить значения всех мер сложности и важности равными единице.
Оценка на основе расширенной ККО
3) Метрика р3(сг- , к). Введём в рассмотрение величины пС {(к), п^(к) -относительные числа правильных определений обучающимся понятий (метапонятий) и отношений, входящих во фрагмент СС ЫББ, (к), во всех |Тг- (к) тестах, использованных
для построения локальных ККО. Величины п'с г (И) е [0; 1], п^ г (И) е [0; 1] определяем
г Г
по формуле вида (4). По аналогии определяем величины п£ . (к), пк . (к) - относительные числа неверных ответов обучающегося на вопросы тестовых заданий набора тестов Т (к)
Метрика р3 (сг- , к) аналогично метрике р (сг- ) не учитывает сложность понятий и важности отношений и определяется выражением
Р3(С, к) = п'с(к) + Л,1 пЯ .(к) - ^3,2 пI.(к) - ^3,3 .(к) . (8)
4) Метрика р4(с., к). По аналогии с формулой (6) введём в рассмотрение относительное взвешенное число верных ответов т1с. (к) в подмножестве Сс (к). Аналогично определим относительное взвешенное число верных ответов тЯ. (к) в подмножестве (к) и относительные взвешенные числа неверных ответов . (к),
тЯ,.(к).
Метрика Р4 (с. , к) строится на основе метрики (7) и имеет вид
Р4 (С , к) = тС(к) + ¿4,1 тЯ(к) - ¿4,2 тС. (к) - ¿4,3 (к) . (9)
5) Нормированные метрики р3 (с. , к), Р4 (с. , к). Значимость оценок, получаемых с помощью метрик (8), (9), в значительной степени зависит от уровня покрытия ^ (к)
используемым набором тестов Т (к) семантической сети ЫББ (к) . Поэтому возникает проблема нормирования этих оценок с учётом величины ^ (к). В простейшем случае можно использовать линейную нормировку с коэффициентом (к). Таким образом, имеют место нормированные метрики
Ръ (ci , h) = V (h) Ръ (ci , hX Рл (ci , h) = rji(h) Pa (ci , h) • (10)
4. Тестирования на основе онтологий традиционных обучающих
предметов
Пусть O = {Op} - онтология рассматриваемого набора традиционных учебных
предметов (не метапредметов!), где Op - онтология p-го такого предмета.
Семантическую сеть онтологии O образует набор |O| непересекающихся ПСС
SSp, p е [1: |O|], так что имеют место соотношения
|O|
U SSp = SS, SSp П SSq = NULL, p, q е [1: |O|], p Ф q.
p=1
ПСС SSP определяет кортеж вида (1)
SSp = (cp, Rp, WCp, W/), p е [1: |O|]. (11)
где Cp П Cq = NULL, p, q е [1: |O|], p Ф q.
Различаем информационные связи понятий в пределах одной ПСС, а также информационные связи между понятиями различных ПСС (11), то есть между понятиями
Cp е Cp, cq е CQ .
1 J
Локальную ККО, соответствующую понятию cf е Cp, определяет кортеж
CMp = С, Rp), (12)
где Ср - набор понятий из наборов Cq , q е [1: |O|], q Ф p (то есть понятий из других
ПСС), которые в ККО (12) указаны как информационно связанные с понятием cp ; Rp -набор соответствующих отношений множества R .
Расширенная ККО CMP (h) представляет собой объединение заданного числа локальных ККО, относящихся к разным понятиям ПСС SSP :
CMp (h) = Сp (h), Rp (h)). (13)
Здесь наборы Cp (h), Rp (h) аналогичны наборам Cp, Rp соответственно.
Тестовое задание для теста Tp, предназначенное для построения локальной ККО CMp , состоит в общем случае из двух следующих частей.
1) «Из представленного списка вариантов ответов сформируйте набор понятий Cf,
информационно связанных с понятием cp g Cp .
2) «Из представленного списка вариантов ответов сформируйте набор соответствующих отношений Rp ».
Список вариантов ответов для указанных вопросов формируется аналогично п. 3.1. ККО CMP (h) строим с помощью набора локальных тестов Tp (h) = {TP (h)} , где
тест TP (h) предназначен для построения локальной ККО CMf (h) (см. п.3.1).
Для оценки метапонятийных знаний обучающегося в данном случае также могут быть использованы метрики, аналогичные метрикам, предложенным в п. 3.2.
Заключение
Предложены оригинальные методики контроля метапонятийных знаний обучающегося на основе l) онтологии метапредмета и 2) на основе онтологий традиционных учебных предметов.
В развитие работы авторы планируют разработку соответствующих алгоритмов и программного обеспечения, а также апробацию разработанных методов, алгоритмов и программного обеспечения при решении практических задач по оценке метапредметных знаний обучающихся.
Работа выполнена при поддержке Минобрнауки России (проект 2014-14-579-0144).
Список литературы
1. Крузе Б.А., Еремеева Е.В. Определение понятия метапредметных компетенций младшего школьника // Современные проблемы науки и образования. 2013. № 6. Режим доступа: http://www.science-education.ru/ll3-ll0l4 (дата обращения 10.02.2015).
2. Грешилова А.В. Содержание метапредметных компетенций у студентов среднего профессионального образования // Magister Dixit: научно-педагогический журнал Восточной Сибири. 2014. № 1 (13). Режим доступа:
http://md.islu.ru/sites/md.islu.ru/files/rar/greshilova_statya_md_0.pdf (дата обращения 10.02.2015).
3. Scharnhorst A., Ebeling W. Evolutionary Search Agents in Complex Landscapes - a New Model for the Role of Competence and Meta-competence (EVOLINO and other simulation tools) // The Virtual Knowledge Studio: website. Available at:
http://virtualknowledgestudio.nl/documents/ andreascharnhorst/arxiv final.pdf , accessed 23.01.2015.
4. Erpenbeck J., Scarnhorst A., Ebeling W., Martens D., Nachtigall P., North K., Friedrich P., Lantz A. Metakompetenzen und Kompetenzentwicklung. QUEM-report. Schriften zur beruflichen Weiterbildung, Heft 95/Teil I, Berlin, 2006. Available at: https://knaw.academia.edu/AndreaScharnhorst , accessed 23.01.2015.
5. Bogo M., Katz E., Regehr C., Logie C., Mylopoulos M., Tufford L. Toward Understanding Meta-Competence: An Analysis of Students' Reflection on their Simulated Interviews // Social Work Education. 2013. Vol. 32, no. 2. Special Issue: Field Education in Social Work. P. 259-273. D0I:10.1080/02615479.2012.738662
6. Галямова Е.В., Карпенко А.П., Соколов Н.К. Методика контроля понятийных знаний субъекта обучения в обучающей системе // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2009. № 2. Режим доступа: http://technomag.edu.ru/doc/115086.html (дата обращения 01.01.2015).
7. Авдеева З.К., Коврига С.В., Макаренко Д.И., Максимов В.И. Когнитивный подход в управлении // Проблемы управления. 2007. № 3. С. 2-8.
8. Галямова Е.В., Карпенко А.П., Соколов Н.К, Ягудаев Г.Г. Контроль понятийных знаний субъекта обучения в обучающей системе // Вестник МАДИ (ГТУ). 2009. № 2 (17). С. 82-86.
9. Белоус В.В., Карпенко А.П., Смирнова Е.В. Оценка понятийных знаний обучающегося на основе иерархической ролевой кластеризации // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2014. № 9. С. 181-193. DOI: 10.7463/0914.0726237
10. Хакимова Л.С. Система оценки достижений метапредметных результатов // Социальная сеть работников образования nsportal.ru. Режим доступа: http://nsportal.ru/nachalnaya-shkola/materialy-mo/2014/01/20/sistema-otsenki-dostizheniy-metapredmetnykh-rezultatov (дата обращения 23.01.2015).
11. Гущин Ю.Ф. Анализ особенностей оценки метапредметных результатов // Психология и методология образования: сайт. Режим доступа: http://psyhoinfo.ru/analiz-osobennostey-ocenki-metapredmetnyh-rezultatov (дата обращения 23.01.2015).
12. Уткина Т.Н. Система оценки достижений метапредметных результатов // Социальная сеть работников образования nsportal.ru. Режим доступа: http://nsportal.ru/nachalnaya-shkola/mezhdistsiplinarnoe-obobshchenie/2012/01/20/sistema-otsenki-dostizheniy (дата обращения 23.01.2015).
13. Карпенко А.П. Меры важности концептов в семантической сети онтологической базы знаний // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2010. № 7. Режим доступа: http://technomag.edu.ru/doc/151142.html (дата обращения 10.02.2015).
14. Карпенко А.П., Соколов Н.К. Оценка сложности семантической сети в обучающей системе // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2008. № 11. Режим доступа: http://technomag.bmstu.ru/doc/106658.html (дата обращения 10.02.2015).
15. Карпенко А.П., Соколов Н.К. Расширенная семантическая сеть обучающей системы и оценка её сложности // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2008. № 12. Режим доступа: http://technomag.bmstu.ru/doc/111716.html _ (дата обращения 10.02.2015).
16. Белоус В.В., Бобровский А.В., Добряков А.А., Карпенко А.П., Смирнова Е.В. Интегральная оценка многокритериальных альтернатив в ментально-структурированном подходе к обучению // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2012. № 7. С. 249-276. Режим доступа: http://www.technomag.edu.ru/doc/423252.html (дата обращения 10.02.2015).
17. Belous V.V., Bobrovsky A.V., Dobrjkov A.A., Karpenko A.P. , Smirnova E.V. Multi-criterion integral alternatives' estimation: mentally-structured approach to education // 2nd International Conference on Education and Education Management (EEM 2012) (Hong Kong, China, September 4-5, 2012). Vol. 3. 2012. P. 215-224.
Science and Education of the Bauman MSTU, 2015, no. 02, pp. 136-149.
DOI: 10.7463/0215.0756631
Received:
14.02.2015
Science^Education
of the Bauman MSTU
I SS N 1994-0408 © Bauman Moscow State Technical Unversity
An Ontological Approach to Test Student's Competences in Meta-Subject Concepts
E.A. Gavrilina1, M.A. Zackarov1, apkarp enko •ffmail.ru
A.P. Karpenko1*, E.V. Smirnova1
bauman Moscow State Technical University, Moscow, Russia
Keywords: meta-subject competences; metacognitive competences; meta-creative competences;
student's cognitive card; subject semantic net
Student's meta-subject (cross-curriculum) competences are a part of his/her meta-competences that include also metacognitive and meta-creative competences. By the meta-subject competences the Federal State Educational Standard means student's learning outcomes as a result of the universal learning activities to ensure gained knowledge of key competences being a basis of ability to study, as well as learning outcomes of cross-curriculum concepts (meta-concepts). The aim of the paper is to assess student's learning outcomes when having a meta-concept based curriculum.
The offered approach uses a cognitive student's card (CSC), which formalizes his/her understanding of some fragment of the subject semantic net (SSN) and, theoretically, coincides with this fragment. The assessment for the student's knowledge of the conceptual constituents of this fragment of SSN is controlled by comparison of the SSN sub-graph corresponding to this fragment with the graph which is defined by the corresponding CSC.
Since both so-called meta-subjects and traditional subjects can provide a meta-subject learning proficiency we consider two approaches to test student's knowledge of meta-concepts. The first one is based on the meta-subject ontology while the other one uses the ontologies of traditional subjects.
The Ministry of Education and Science of the Russian Federation supported (project 201414-579-0144) this work.
References
1. Kruze B.A., Eremeeva E.V. The notion of meta-subject competencies of primary school students. Sovremennye problemy nauki i obrazovaniya = Modern problems of science and education, 2013, no. 6. Available at: http://www.science-education.ru/113-11014 , accessed 10.02.2015. (in Russian).
2. Greshilova A.V. The content of interdisciplinary competences of secondary professional education students. Magister Dixit, 2014, no. 1 (13). Available at:
http://md.islu.ru/sites/md.islu.ru/files/rar/greshilova statya md 0.pdf , accessed 10.02.2015. (in Russian).
3. Scharnhorst A., Ebeling W. Evolutionary Search Agents in Complex Landscapes - a New Model for the Role of Competence and Meta-competence (EVOLINO and other simulation tools). The Virtual Knowledge Studio: website. Available at:
http://virtualknowledgestudio.nl/documents/ andreascharnhorst/arxiv final.pdf , accessed 23.01.2015.
4. Erpenbeck J., Scarnhorst A., Ebeling W., Martens D., Nachtigall P., North K., Friedrich P., Lantz A. Metakompetenzen und Kompetenzentwicklung. QUEM-report. Schriften zur beruflichen Weiterbildung, Heft 95/Teil I, Berlin, 2006. Available at: https://knaw.academia.edu/AndreaScharnhorst , accessed 23.01.2015.
5. Bogo M., Katz E., Regehr C., Logie C., Mylopoulos M., Tufford L. Toward Understanding Meta-Competence: An Analysis of Students' Reflection on their Simulated Interviews. Social Work Education, 2013, vol. 32, no. 2, special Issue: Field Education in Social Work, pp. 259273. D0I:10.1080/02615479.2012.738662
6. Galiamova E.V., Karpenko A.P., Sokolov N.K. The method of the student conceptual knowledge evaluation in the intellectual learning computer system. Nauka i obrazovanie MGTU im. N.E. Baumana = Science and Education of the Bauman MSTU, 2009, no. 2. Available at: http://technomag.edu.ru/doc/115086.html , accessed 01.01.2015. (in Russian).
7. Avdeeva Z.K., Kovriga S.V., Makarenko D.I., Maksimov V.I. Cognitive approach in control. Problemy upravleniia = Control sciences, 2007, no. 3, pp. 2-8. (in Russian).
8. Galiamova E.V., Karpenko A.P., Sokolov N.K, Iagudaev G.G. Evaluation of conceptual knowledge of a subject taught by intellectual learning computer system. Vestnik MADI (GTU), 2009, no. 2 (17), pp. 82-86. (in Russian).
9. Belous V.V., Karpenko A.P., Smirnova E.V. Hierarchical Role Ontology-based Assessment of Trainee's Conceptual Knowledge. Nauka i obrazovanie MGTU im. N.E. Baumana = Science and Education of the Bauman MSTU, 2014, no. 9, pp. 181-193. DOI: 10.7463/0914.0726237 (in Russian).
10. Khakimova L.S. Sistema otsenki dostizhenii metapredmetnykh rezul'tatov [The evaluation system of achievements of interdisciplinary results]. nsportal.ru: Social network for educators. Available at: http://nsportal.ru/nachalnaya-shkola/materialy-mo/2014/01/20/sistema-otsenki-dostizheniy-metapredmetnykh-rezultatov , accessed 23.01.2015. (in Russian).
11. Gushchin Yu.F. Analiz osobennostei otsenki metapredmetnykh rezul'tatov [Analysis of features of evaluation of interdisciplinary results]. Psikhologiya i metodologiya obrazovaniya [Psychology and Methodology of Education]: website. Available at: http://psyhoinfo.ru/analiz-osobennostey-ocenki-metapredmetnyh-rezultatov , accessed 23.01.2015. (in Russian).
12. Utkina T.N. Sistema otsenki dostizhenii metapredmetnykh rezul'tatov [The evaluation system of achievements of interdisciplinary results]. nsportal.ru: Social network for educators. Available at: http://nsportal.ru/nachalnaya-shkola/mezhdistsiplinarnoe-
obobshchenie/2012/01/20/sistema-otsenki-dostizheniy , accessed 23.01.2015. (in Russian).
13. Karpenko A.P. Concept importance measures into semantic networks of ontology knowledge base. Nauka i obrazovanie MGTU im. N.E. Baumana = Science and Education of the Bauman MSTU, 2010, no. 7. Available at: http://technomag.edu.ru/doc/151142.html , accessed 10.02.2015. (in Russian).
14. Karpenko A.P., Sokolov N.K. Estimation of complexity of semantic network in the training system. Nauka i obrazovanie MGTU im. N.E. Baumana = Science and Education of the Bauman MSTU, 2008, no. 11. Available at: http://technomag.bmstu.ru/doc/106658.html , accessed 10.02.2015. (in Russian).
15. Karpenko A.P., Sokolov N.K. Expanded semantic network of a tutoring system and its complexity measures. Nauka i obrazovanie MGTU im. N.E. Baumana = Science and Education of the Bauman MSTU, 2008, no. 12. Available at: http://technomag.bmstu.ru/doc/111716.html _, accessed 10.02.2015. (in Russian).
16. Belous V.V., Bobrovskii A.V., Dobryakov A.A., Karpenko A.P., Smirnova E.V. Integral estimation of multi-criterion alternatives in mental-structured approach to education. Nauka i obrazovanie MGTU im. N.E. Baumana = Science and Education of the Bauman MSTU, 2012, no. 7, pp. 249-276. Available at: http://www.technomag.edu.ru/doc/423252.html , accessed 10.02.2015. (in Russian).
17. Belous V.V., Bobrovsky A.V., Dobrjkov A.A., Karpenko A.P. , Smirnova E.V. Multi-criterion integral alternatives' estimation: mentally-structured approach to education. 2nd International Conference on Education and Education Management (EEM 2012), Hong Kong, China, September 4-5, 2012. Vol. 3, 2012, pp. 215-224.
