CC BY
53
НАУЧНОЕ ИЗДАНИЕ МЕТУ ИМ. Н. Э. БАУМАНА
НАУКА и ОБРАЗОВАНИЕ
Эл № ФС77 - 48211. Государственная регистрация №0421200025. КБМ 1994-0408
электронный научно-технический журнал
Метод автоматизированного формирования контрольноизмерительного материала на основе числовой оценки уровня взаимозначимости учебных элементов
# 02, февраль 2013 Б01: 10.7463/0213.0533251 Макаров А. В., Самохин А. В., Макаров К. В.
УДК 378:53+004.04:004.822
Россия, Муромский институт (филиал) ФГБОУ ВПО «Владимирский государственный университет им. А.Г. и Н.Г. Столетовых»
руег.рИахтаИ. сот
а. V. samokhin@,яmail. сот к-сИмапсеси'атЫег. ги
Введение
В настоящее время автоматизация диагностики уровня усвоения учебного материала позволила значительно снизить нагрузку на преподавателей и составителей педагогических тестов в рамках традиционного образовательного процесса, а в случае информационно-образовательных систем способствовала развитию адаптивных методов диагностики и в целом повышению эффективности тестовых методов контроля уровня подготовленности учащихся. Под педагогическим тестом в общем случае понимается репрезентативная система параллельных заданий равномерно возрастающей трудности, специфической формы, определённого содержания, позволяющая качественно оценить структуру и эффективно измерить уровень подготовленности испытуемых [1]. Процедуру диагностики уровня усвоения учебного материала можно условно разделить на три составляющие:
- формирование контрольно-измерительного материала;
- непосредственно процедура контроля, состоящая в фиксации действий испытуемых;
- анализ исходных результатов тестирования.
Среди круга задач, относящихся к области диагностики уровня усвоения учебного материала, выделим задачу, состоящую в определении уровня подготовленности учащегося перед изучением учебного материала, иными словами задачу входного контроля, решение которой позволяет оценить в какой мере учащийся готов к изучению выбранного учебного элемента. Значимость результатов входной диагностики в рамках информационно-образовательных систем объясняется тем, что они лежат в основе управления индивидуальной траекторией обучения.
На сегодняшний день наиболее рутинным и одновременно ответственным этапом в рассматриваемой задаче, который требует как можно более полного вовлечения педагога-эксперта, является этап формирования содержания контрольно-измерительного материала, представляющего собой основу педагогического теста. Сложность разработки методов и алгоритмов автоматизированного формирования контрольно-измерительного материала объясняется, в первую очередь, необходимостью повышения уровня автоматизации совместно с соблюдением ряда требований, предъявляемых к контрольноизмерительному материалу со стороны теории педагогических измерений. Актуальность рассматриваемой задачи, а в ней именно этапа формирования контрольноизмерительного, обусловлена ростом востребованности информационно-образовательным систем вместе с недостаточностью проработанности настоящего вопроса.
Таким образом, целью настоящей работы является разработка метода автоматизированного формирования содержания контрольно-измерительного материала, результаты диагностики в соответствии с которым будут наиболее полно отвечать требованиям, предъявляемым к ним со стороны теории педагогических измерений.
Для достижения поставленной цели необходимо рассмотреть теорию педагогических измерений и проанализировать существующие методы автоматизированного формирования контрольно-измерительного материала, а именно:
- определить базовые принципы отбора содержания контрольно-измерительного материала;
- выделить критерии оценки результатов диагностики уровня усвоения учебного материала;
- выполнить обзор и анализ существующих методов автоматизированного формирования контрольно-измерительного материала и оценить степень соответствия их требованиям, предъявляемым со стороны теории педагогических измерений;
- обосновать необходимость и выполнить разработку метода автоматизированного формирования контрольно-измерительного материала.
1. Принципы отбора содержания и критерии оценки результатов педагогического теста
В теории педагогических измерений вопрос отбора содержания контрольноизмерительного материала является одним из самых важных, решение по которому напрямую влияет на качество контроля, его эффективность и результативность [2].
Определение формальных правил отбора контрольных заданий опирается на необходимость соответствия результатов отбора следующим требованиям, предъявляемым в целом к педагогическому тесту и его результатам.
- Валидность. Под валидностью теста понимают характеристику, отражающую его способность получать результаты, соответствующие поставленной цели и обосновывающая адекватность принимаемых решений [3]. При этом выделяют три вида валидности педагогического теста: содержательная, критериальная и конструктная [4].
- Надежность. Под надежностью результатов диагностики часто понимается мера корреляции ее результатов по параллельным вариантам контрольно-измерительного материала. Однако следует рассматривать характеристику надежности как величину не абсолютную для выбранного педагогического теста, но как сильно зависящую от условий проведения диагностики подготовленности учащихся, а именно: гомогенность групп испытуемых, их уровень предметной подготовленности, а также многие другие факторы [5].
- Эффективность. Процедура диагностики уровня усвоения учебного материала тем эффективней, чем больше информации об уровне предметной подготовленности учащегося она позволяет получить при меньшем числе контрольных заданий. Эффективность процедуры диагностики можно оценить с точки зрения свойства дискриминативности контрольно-измерительного материала или его дифференцирующей способности. В качестве одного из возможных показателей дискриминативности теста может выступать дисперсия результатов диагностики. Иными словами, тот тест, результаты диагностики в соответствии с которым имеют большую дисперсию, считается более эффективным в сравнении с другим вариантом теста при прочих равных условиях [3].
В работах [6, 7], посвященных вопросам формирования контрольноизмерительного материала, выделяются основные принципы отбора содержания педагогического тестирования, среди которых в рамках настоящего исследования отметим следующие.
- Значимость. Принцип значимости указывает на приоритетность включения в содержание контрольно-измерительного материала тех заданий, которые направлены на диагностику наиболее важных, ключевых элементов учебного материала.
- Репрезентативность. Помимо приоритетного включения в содержание контрольно-измерительного материала элементов, отвечающих требованиям принципа значимости, важно, чтобы эти элементы позволяли наиболее полно оценить уровень предметной подготовки испытуемого. Иными словами диагностируемый учебный материал должен быть наиболее полно отражен в содержании теста.
- Возрастающая трудность заданий. Кумулятивность знания, основанность трудных учебных элементов на более простых, в особенности в технических дисциплинах, требует проверки целостности знания испытуемых. Принцип равномерно возрастающей трудности заданий проистекает из зависимости тестового балла испытуемого от количества контрольных заданий и распределения тестовых баллов по трудностям заданий [1, 3].
- Вариативность. Изменение содержания обучения, равно как и изменение характеристик испытуемых, влечет за собой необходимость соответствующего обновления содержания контрольно-измерительного материала.
- Системность. Подбор содержания контрольно-измерительного материала должен отвечать требованиям системности элементов содержания обучения. Помимо подбора элементов теста с точки зрения системности их содержания, необходимо иметь среди них задания, связанные между собой общей смысловой структурой.
На основе анализа требований к содержанию педагогического тестирования и принципам его отбора выделим следующие наиболее общие критерии оценки методов автоматизированного формирования контрольно-измерительного материала.
- Надежность. Оценивается величиной корреляции результатов по параллельным вариантам контрольно-измерительного материала, а также на основе результатов расчетов по формуле Спирмена-Брауна [3] и значения коэффициента Кронбаха [3].
-Дискриминативность. В общем случае вариация тестовых баллов по каждому из контрольных заданий, входящих в состав контрольно-измерительного материала, оценивается величиной дисперсии результатов диагностики зх2, стандартным
отклонением Я* И точечно-бисериальным коэффициентом корреляции ГрЬ.
- Валидность. Сложность определения степени валидности контрольноизмерительного материала, является основной причиной того, что в подавляющем числе случаев эта аналитическая задача выполняется экспертом. В рамках настоящей работы акцент при определении валидности будет смещен в сторону оценки соотношения содержания контрольно-измерительного материала к семантико-логической структуре диагностируемых учебных элементов.
2. Обзор современных методов автоматизированного формирования контрольно-измерительного материала
Современные методы диагностики, включающие в себя этапы формирования содержания контрольно-измерительных материалов, можно условно разделить на методы, относящиеся к классической теории педагогических измерений, и адаптивные методы, включая теорию «Item Response Theory» и метрическую систему «Rasch Measurement». Ключевым различием этих дух подходов, с точки зрения настоящей работы, является то, что в отличие от традиционной педагогической теории конкретное содержание контрольно-измерительного материала в случае теории адаптивного тестирования не известно в начале процедуры диагностики и варьируется в ее процессе в зависимости от ответов испытуемого. Популярность адаптивных методов объясняется возможностью оптимизации задачи диагностики посредством использования заданий, соответствующих по сложности уровню подготовленности испытуемого, что позволит повысить точность измерений и снизить время контроля. В силу удобства реализации адаптивных методов на основе современных информационных технологий, в настоящее время методы адаптивной диагностики уровня усвоения учебного материала все чаще используются в рамках информационно-образовательных систем, обеспечивающих управление процессом дистанционного обучения.
Однако, несмотря на высокую популярность сегодня адаптивных методов, не вполне верным является распространенное мнение о тотальном преимуществе адаптивных методов над методами, разработанными в соответствии с классической теорией педагогических измерений [2, 8]. Фиксированность содержания контрольноизмерительного материала, сформированного в соответствии с классической теорией педагогических измерений, позволяет использовать его в целях установления целевого уровня усвоения учебного материала. В этом случае контрольно-измерительный материал может выступать в роли некоего ориентира, позволяющего учащемуся самому оценить соотношение его уровня владения учебными элементами с максимально возможным уровнем. Соответственно, имея фиксированный контрольно-измерительный материал, возможно проводить анализ результатов диагностики всех учащихся, получая информацию об уровне достаточности или недостаточности изученности учебных элементов применительно к отдельно взятым индивидуальным траекториям обучения.
Обзор и анализ существующих методов формирования контрольно-измерительного материла с точки зрения эффективности их применения в решении задачи диагностики уровня усвоения отдельного учебного элемента, позволяют сделать выводы о неполном соответствии рассматриваемых методов требованиям, выдвигаемым со стороны теории
педагогических измерений. По характеру несоответствия проанализированных методов указанным выше требованиям и принципам отбора содержания контрольноизмерительного материала можно говорить о недостаточном использовании возможностей анализа содержания и результатов обучения. Также следует отметить недостаточную гибкость методов автоматизированного формирования контрольноизмерительного материала, построенных в соответствии с классическими подходами теории педагогических измерений. В случае автоматизированных методов формирования содержания тестирования, относящихся к классу адаптивных, также необходимо заметить контекстную отстраненность параметров, на основе значений которых производится выбор последующего контрольного задания, от семантико-логической структуры содержания и результатов обучения.
Исходя из результатов проведенных обзора и анализа существующих методов автоматизированного формирования контрольно-измерительного материала,
обоснованной является необходимость разработки метода автоматизированного формирования контрольно-измерительного материала, позволяющего преодолеть указанные недостатки существующих методов.
3. Разработка метода автоматизированного формирования контрольноизмерительного материала
По результатам анализа характера несоответствия существующих методов автоматизированного формирования контрольно-измерительного материала
предъявляемым к ним требованиям выдвинем следующую гипотезу: использование результатов семантико-логического анализа учебно-образовательной информации, а именно численной оценки уровня взаимозначимости учебных элементов, в методах автоматизированного формирования содержания контрольно-измерительного материала, позволит повысить показатели валидности, надежности и эффективности результатов диагностики, выполняемой на их основе.
В соответствии с выдвинутой гипотезой рассмотрим семантико-логическую структуру учебно-образовательной информации, представляемой посредством интегративной модели, описанной в работе [9]. На рисунке 1 приведен пример произвольного фрагмента структуры содержания обучения, где ЬЕ, А, В, С,..., N — учебные элементы, а,Ь, с, ...,п — взаимосвязи учебных элементов, семантика которых — «необходим для изучения».
Рисунок 1 — Произвольный фрагмент структуры содержания обучения
Тогда согласно разработанному методу автоматизированное формирование контрольно-измерительного материала для проведения процедуры входной диагностики целевого учебного элемента включает в себя следующие шаги.
1) Выбор целевого учебного элемента tar getЕ lement. для которого определяется степень готовности учащегося к его изучению на основе анализа уровня предметной подготовленности учащегося.
2) Определение глубины inclDepth, типа relSemanticType и веса relWeight семантико-логических взаимосвязей как параметров ограничения, на основе которых выполняется включение учебных элементов, смежных целевому, в массив учебных элементов arrEduElements. Els, подлежащих диагностике.
3) Анализ семантико-логической структуры учебного материала относительно целевого учебного элемента на основе определенных ранее параметров; формирование конечного массива учебных элементов arrEduElements. Els (eCount — число смежных учебных элементов), диагностика которых необходима для определения степени готовности учащегося к началу изучения целевого учебного элемента.
4) На основе предлагаемого автором в работе [10] метода, определение числовой оценки степени взаимозависимости учебных элементов — величин arrEduElements. Weights.
5) Кластеризация контрольных заданий на основе анализа результатов диагностики уровня усвоения учебных элементов arrEduElements. Els. Каждому учебному элементу из массива arrEduElements. Els соответствует массив arrControlE lement s. Е Is, состоящий из отдельных контрольных заданий, для каждого из которых возможно получить величины w — число неверных решений задания, г — число верных решений задания и h — число попыток решения, в которых не был дан ответ. Для каждого -го
задания на основе зависимости pt = f(Wi,ri,hi) производится расчет параметра pt — сложность (трудность) решения задания. Пусть матрица X имеет размерность |Р| X 2. Тогда каждая строка матрицы имеет вид [controlID \ pt \clastert\ где controllD — идентификатор контрольного задания, a clustert — искомый номер кластера (группы сложности задания). Пусть clast(Х,п, [...]) функция итерационной кластеризации случайной величины, определяющая для каждого задания номер кластера (группы сложности).
6) Установление функциональных зависимостей взаимозначимости учебных элементов и весов групп контрольных заданий в соответствии с их сложностями на основе предлагаемой модели
М =< E.C.n.Flc! = ftie) ...cn = fn(e)] > (I )
где E — arrEduElements. Weights -— вектор весов учебных элементов arrEduElements,
смежных целевому учебному элементу;
С — arrControlElements. Weights — вектор искомых весов групп контрольных заданий arrControlElements. Els в соответствии с их сложностями;
г-. — число групп сложностей контрольных заданий;
F — вектор функций, устанавливающих зависимости между величинами весов учебных элементов arrEduElements.Weights и соответствующими им группами контрольных заданий arrControlElements. Weights, разделенных в соответствии с их сложностями.
Настройка функциональных зависимостей настоящей модели, наряду со значениями взаимозависимостями учебных элементов arrEduElements. Els, является определяющей в формировании контрольно-измерительного материала.
1,2 * 1 ■Ю ■э ^ 0,3 43 £ 0,6 в *3 ь 0,4 S S 0,2 arrEduElements.Weights — arrControlElements.Weights
і ^—ii
\ j
N *C“"
N hi
и 0 ОД 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 arrEduElements.Weights
Рисунок 2 — Модель функциональных зависимостей взаимозначимости учебных элементов и весов групп контрольных заданий в соответствии с их сложностями. Приведен пример для п = 3; Д(е) = (е - I)2; /2(е) = 0,5 + е - (е - 0,5)2; /3(е) = е2.
7) На основе полученных числовых значений степени взаимозависимости учебных элементов arrEduElements. Weights и установленных на предыдущем шаге функциональных зависимостей формирование матрицы Кт размерностью п X eCount такой что
(2)
где i — порядковый номер (элемент массива идентификаторов) учебных элементов nrrKdnK/rrncnfs HIS;
j — порядковый номер группы контрольных заданий arrControlElements. Els;
; — искомое нормализованное значение веса группы
контрольных заданий соответствующего учебного элемента по каждой из групп сложностей контрольных заданий.
Матрица весов групп контрольных заданий для
п = 3; Д(е) = (е - I)2; /2(е) = 0,5 + е - (е - 0,5)2; /3(е) = е2; ех = 0,2; е2 = 0,5; е3 =
имеет вид
Km =
0,59 0,38 0,04
0,25 0,5 0,25
0,49 0,44 0,09
8) Формирование контрольно-измерительного материала с фиксированным
содержанием. Определение числа контрольных заданий controlElementCount. Расчет матрицы Ктс числа контрольных заданий, соответствующим учебным элементам crryEaiiEleymr-.is.Els по каждой из групп сложностей:
Для примера, приведенного в предыдущем шаге, матрица Kmc\i,j] имеет вид
Ктс
2 1 0
2 4 2
2 2 0
9) На основе информации, содержащейся в строке матрице Ктс, о числе контрольных заданий, разделенных по принципу учебный элемент / группа сложности заданий, выборка из массива arrControlElements. Els заданий и формирование конечного контрольно-измерительного материала. Распределение заданий по сложности и учебным элементам для рассматриваемого примера имеет вид, представленный на рисунке 3.
Соотношение контрольных заданий учебный элемент/сложность
8 7 6 5 4 3 2 1 0
А В С
ВIII 0 2 0
■ II 1 4 2
■ I 2 2 2
Рисунок 3 — Диаграмма распределения заданий в контрольно-измерительном материале
Создание и использование в учебном процессе программных средств, разработанных в соответствии с предлагаемым методом, позволит решать такие задачи,
как формирование конечного содержания контрольно-измерительного материала, кластеризация контрольных заданий на основе анализа результатов обучения. Применение рассматриваемого метода позволит при формировании контрольноизмерительного материала автоматически определять соотношение таких параметров контрольных заданий, как тема, число и сложность.
Выводы
Научная новизна предлагаемого в настоящей статье метода заключается в следующем.
Формирование контрольно-измерительного объективированного на основе параметра, автоматически определяемого в ходе совместного анализа результатов обучения и семантико-логической структуры учебного материала — числовой оценки уровня взаимозначимости учебных элементов, входящих в состав контрольноизмерительного материала.
Использование автоматизированной кластеризации массива контрольных заданий на основе анализа результатов обучения.
Применение модели настраиваемых функциональных зависимостей взаимозначимости учебных элементов и весов групп контрольных заданий в соответствии с их сложностями.
Подобный подход позволил повысить степень автоматизации процедуры формирования контрольно-измерительного материала. При этом, опираясь на объективированные показатели, автоматически получаемые в ходе анализа содержания и результатов обучения, педагог-эксперт имеет возможность настраивать правила выборки контрольных заданий.
Экспериментальные исследования программных решений, реализованных в соответствии с разработанным методом, позволили определить следующие значения показатели надежности и дискриминативности:
- среднее значение точечно-бисериальной корреляции результатов по каждому отдельному заданию и результатов по контрольно-измерительному материала грЬ « 0.67;
- значения коэффициентов Кронбаха, Спирмена-Брауна, а также значения, получаемые по формуле KR-20 (F. Kuder и M. Richardson) в ходе экспериментов не опускались ниже значения 0,84.
Полученные результаты экспериментальных исследований разработанного приложения на базе предлагаемого метода автоматизированного формирования контрольно-измерительного материала на основе числовой оценки степени взаимозависимости учебных элементов позволяют судить о достоверности выдвинутой авторами гипотезы. Значения показателей надежности и дискриминативности контрольно-
измерительных материалов, сформированных в соответствии с разработанным методом, позволяют сделать вывод о повышении степени автоматизации процедур диагностики совместно с соответствием их результатов требованиям теории педагогических измерений. Разработанный метод, равно как и его отдельные составляющие, могут быть использованы при решении задач формирования контрольно-измерительного материала в рамках классической и адаптивной теорий педагогических измерений.
Список литературы
1. Аванесов В.С. Тест как педагогическая система // Педагогические измерения. 2007. № 1. С. 33-55.
2. Аванесов В.С. Содержание теста и тестовых заданий. Статья вторая // Педагогические измерения. 2007. № 3. С. 3-36.
3. Ким В.С. Тестирование учебных достижений. Монография. Уссурийск: Издательство УГПИ, 2007. 214 с.
4. Майоров А.Н. Теория и практика создания тестов для системы образования. М.: «Интеллект-центр», 2001. 296 с.
5. Аванесов В.С. Композиция тестовых заданий. Учебная книга для преподавателей вузов, техникумов и училищ, учителей школ, гимназий и лицеев, для студентов и аспирантов педагогических вузов. М.: Центр тестирования, 2002. 240 с.
6. Прокофьева Н.О. Вопросы организации компьютерного контроля знаний // Educational Technology & Society (Международный электронный журнал). 2006. № 9 (1). С. 433-440. Режим доступа: http://ifets.ieee.org/russian/depository/v9 i1/pdf/6.pdf (дата обращения: 01.12.2012).
7. Карпенко А.П., Домников А.С., Белоус В.В. Тестовый метод контроля качества обучения и критерии качества образовательных тестов. Обзор // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2011. № 4. Режим доступа: http://technomag.edu.ru/doc/184741.html (дата обращения: 01.12.2012).
8. Wright B.D., Stone M.H. Best Test Design. Chicago : Mesa Press, 1979. 219 p.
9. Макаров А.В., Ан А.Ф. Концептуальные основы проектирования информационно-образовательной среды непрерывного физического образования // Современные проблемы науки и образования. 2011. № 6. Режим доступа: www.science-education.ru/100-5211 (дата обращения: 05.06.2012).
10. Макаров А.В., Макаров К.В. Подходы к проектированию метода числовой оценки степени взаимозависимости учебных элементов на основе модели персептрона // Алгоритмы, методы и системы обработки данных. 2012. № 21. Режим доступа: http://amisod.ru/index.php?option=com content&view=article&id=150:amisod-2012-3-21-makarov-makarov&catid=21: amisod-2012-3-21 (дата обращения: 01.12.2012).
SCIENTIFIC PERIODICAL OF THE BAUMAN MSTU
SCIENCE and EDUCATION
EL № FS77 - 48211. №0421200025. ISSN 1994-0408
electronic scientific and technical journal
Method of the automated composition of monitoring materials on the basis of numerical assessment of mutual importance rate of educational elements
# 02, February 2013
DOI: 10.7463/0213.0533251 Makarov A.V., Samohin A.V., Makarov K.V.
Russia, Vladimir State University named after Alexander and Nikolay Stoletovs, Murom Branch
over.ph@,gmail. com
a. v. samokhinagmail. com k-distance@rambler. ru
In the present article authors analyze a topical problem of automated formation of control and monitoring materials the contents of which would most completely meet the requirements of the theory of pedagogical monitoring. Key shortcomings of existent widely applied methods of automated test formation are given. The authors introduce a hypothesis of necessity for recording results of semantic-logical analysis of training materials during formation of control and monitoring materials. They present a model of functional dependences of mutual importance of educational elements and scales of groups of control tasks according to their difficulties. On the basis of pilot studies of the developed method, they draw a conclusion on its consistency.
Publications with keywords: semantic and logical relationships, method the automated compositing of measuring material, mutually importance of educational elements, model of functional dependences Publications with words: semantic and logical relationships, method the automated compositing of measuring material, mutually importance of educational elements, model of functional dependences
References
1. Avanesov V.S. Test kak pedagogicheskaia sistema [Test as a pedagogical system]. Pedagogicheskie izmereniia, 2007, no. 1, pp. 33-55.
2. Avanesov V.S. Soderzhanie testa i testovykh zadanii. Stat'ia vtoraia [The content of test and test items. The second article]. Pedagogicheskie izmereniia, 2007, no. 3, pp. 3-36.
3. Kim V.S. Testirovanie uchebnykh dostizhenii [Testing of educational achievements]. Ussuriisk, USPI Publ., 2007. 214 p.
4. Maiorov A.N. Teoriia ipraktika sozdaniia testov dlia sistemy obrazovaniia [Theory and practice of creation of tests for the system of education]. Moscow, Intellekt-tsentr, 2001. 296 p.
5. Avanesov V.S. Kompozitsiia testovykh zadanii. [Composition of test tasks]. Moscow, Tsentr testirovaniia, 2002. 240 p.
6. Prokofeva N.O. Voprosy organizatsii komp'iuternogo kontrolia znanii [Problems of organization of computer control of knowledge]. Educational Technology & Society, 2006, no. 9 (1), pp. 433-440. Available at: http://ifets.ieee.org/russian/depository/v9 i1/pdf/6.pdf , accessed 01.12.2012.
7. Karpenko A.P., Domnikov A.S., Belous V.V. Testovyi metod kontrolia kachestva obucheniia i kriterii kachestva obrazovatel'nykh testov. Obzor [Test quality monitoring of training quality and quality criteria of educational tests. The review]. Nauka i obrazovanie MGTUim. N.E. Baumana [Science and Education of the Bauman MSTU], 2011, no. 4. Available at: http://technomag.edu.ru/doc/184741.html , accessed 01.12.2012.
8. Wright B.D., Stone M.H. Best Test Design. Chicago, Mesa Press, 1979. 219 p.
9. Makarov A.V., An A.F. Kontseptual'nye osnovy proektirovaniia informatsionno-obrazovatel'noi sredy nepreryvnogo fizicheskogo obrazovaniia [Conceptual foundations of designing the information-educational environment of continuous physical education]. Sovremennyeproblemy nauki i obrazovaniia [Modern problems of science and education], 2011, no. 6. Available at: www.science-education.ru/100-5211 , accessed 05.06.2012.
10. Makarov A.V., Makarov K.V. Podkhody k proektirovaniiu metoda chislovoi otsenki stepeni vzaimozavisimosti uchebnykh elementov na osnove modeli perseptrona [Approaches to the design of the method of numerical estimation of the degree of interdependence educational elements based on the model of perception]. Algoritmy, metody i sistemy obrabotki dannykh [Algorithms, methods and systems of data processing], 2012, no. 21. Available at: http://amisod.ru/index.php?option=com content&view=article&id=150:amisod-2012-3-21-makarov-makarov&catid=21 :amisod-2012-3-21 , accessed 01.12.2012.
