CC BY
310
КВАЛИМЕТРИЧЕСКИЙ ПОДХОД В ОБРАЗОВАНИИ
УДК 378.14
О. Э. Наймушина,
Б. Е. Стариченко
МНОГОФАКТОРНАЯ ОЦЕНКА СЛОЖНОСТИ УЧЕБНЫХ ЗАДАНИЙ
Аннотация. В статье обосновывается необходимость оценки сложности учебных и контрольных заданий. Сложность трактуется как атрибут задания, обусловленный рядом объективных факторов. Проводится дифференциация понятий «сложность» и «трудность». На примере школьной дисциплины «Физика» выявляются факторы, определяющие сложность задания, предлагается схема оценки сложности. Для подтверждения исходных положений представлены результаты анализа итогов тестирования по физике.
Ключевые слова: педагогические измерения, сложность задания, факторы сложности, оценка качества контрольных заданий.
Abstract. The paper shows the necessity of assessing the complexity of educational and test tasks, complexity treated as a feature of the task specified by a number of objective factors. The authors differentiate the concepts of «complexity» and «diffi-culty» and identify the factors specifying the complexity of the task on the basis of the school course of Physics, the assessment procedure being proposed. To confirm the premises the analysis of test results in Physics is presented.
Index terms: pedagogical measurements, task complexity, complexity factors, quality measurement of test tasks.
Введение
Можно выделить несколько причин, обусловливающих необходимость оценки сложности учебных и контрольных заданий при изучении любой учебной дисциплины.
Во-первых, один из фундаментальных дидактических принципов требует организации учебного материала и построения учебного процесса «от легкого к трудному, от простого к сложному» [7, с. 2]. Уже в этой формулировке, с одной стороны, отражена необходимость разведения понятий «трудность» и сложность». С другой стороны, она подразумевает возможность дифференциации заданий по сложности, т. е. существование процедуры оценки сложности. А. М. Сохор отмечает, что «подлинная ак-
тивизация познавательной деятельности учащихся возможна лишь при целесообразной последовательности предъявления... задач, а также при учете особенностей тех элементов задач, которые должны стать центром мыслительной деятельности» [24, с. 127]. Автор фактически предлагает при построении системы учебных заданий ориентироваться на их когнитивные характеристики, которые являются компонентами сложности. При этом достаточно очевидно, что для создания такой системы педагогу требуется оценить сложность заданий априори, т. е. до того, как они будут использованы в работе с учащимися.
Во-вторых, поскольку выявление уровня освоения учебного материала осуществляется посредством педагогических измерений, для обеспечения однозначности интерпретации их результатов необходимо то, что в метрологии называется «калибровкой инструментария». Измерения, особенно итогового характера, результаты которых имеют важное значение для обучаемого, должны проводиться с использованием контрольных или тестовых заданий с объективно устанавливаемыми характеристиками. В классической теории тестирования в качестве характеристики задания принимается его статистическая трудность - доля протестированных, не справившихся с ним [1]. Однако значение этой величины определяется не только особенностями задания, но и уровнем подготовки отвечавших - следовательно, она не может служить объективной характеристикой задания. Аналогичной оказывается ситуация при обращении к Item Response Theory (IRT) - трудность задания и уровень подготовленности сдававшего определяют вероятность выполнения задания, которая на практике устанавливается путем статистической обработки результатов тестирования больших выборок испытуемых [30]. Кроме того, определение трудности возможно только после проведения измерений - она отражает удачность (или неудачность) использованного набора заданий-измерителей, но не может оказать влияния на формирование этого набора.
В-третьих, для учителя непосредственно в ходе обучения весьма важна точная информация о текущем уровне усвоения материала каждым учеником, поскольку именно на этой информации основывается управление учебным процессом. Для оценки уровня усвоения также требуются измерители с известными заранее характеристиками; помимо этого должна быть установлена процедура оценки, т. е. отнесения знаний и умений учащегося к тому или иному уровню в зависимости от сложности выполняемых им заданий.
Таким образом, дидактически правильное построение учебного процесса и управление им, однозначность интерпретации и сопоставления результатов педагогических измерений требуют применения учебных и контрольных заданий с характеристикой сложности, определяемой не статистическими результатами их использования, а их структурой, со-
держанием, когнитивными особенностями выполнения. Очевидно, этот вывод относится ко всем учебным дисциплинам и, соответственно, развитие методов оценки сложности заданий представляется актуальной педагогической и методической задачей.
О соотношении понятий «трудность» и «сложность»
В работе В. В. Лучкова понятие трудности задачи связывается с числом действий, необходимых испытуемому для достижения поставленного критерия [10]. В. П. Беспалько отождествляет понятия «трудность» и «трудоемкость» и понимает под трудностью меру количества и длительности предполагаемых операций, необходимых для успешного выполнения задания [3]. Г. А. Балл описывает трудность как затруднение, которое необходимо преодолеть субъекту для успешного решения задачи, т. е. приведения предмета задачи в требуемое состояние. Характеристикой трудности является уровень трудности - мера фактического или предполагаемого (прогнозируемого) расходования ресурсов «решателя» на решение задачи [2]. Ю. М. Колягин, В. И. Крупич, Е. И. Машбиц и другие, рассматривающие учебное задание как систему с внешней и внутренней информационной структурой, определяют его трудность как совокупность субъективных факторов учащихся (интеллектуальных возможностей, потребностей и интересов, опыта решения, уровня умений и навыков) и степени новизны задания [5, 6, 12]. Я. А. Микк выделяет две составляющие трудности текстового учебного задания: свойства самого текста (компоненты сложности) и умение школьников работать с текстом [14] - тем самым автор определяет трудность как функцию от сложности и уровня подготовки. Аналогично И. Я. Лернер по отношению к тексту считает его трудность субъективной характеристикой и ставит ее в зависимость от сложности текста и от подготовленности учащегося [8], а по отношению к задаче считает, что «трудность характеризует возможность субъекта преодолеть объективную сложность задачи». [9, с. 86]. Таким образом, во многих работах в трудности учебных заданий выделяются две составляющие: сложность как объективная характеристика задания
и подготовленность учащегося, отражающая то обстоятельство, что одно и то же задание субъективно может восприниматься по-разному.
В теории педагогических измерений вводятся и используются две количественные меры трудности - директивная и статистическая. Эти названия отражают два принципиально разных подхода к определению трудности. Директивная оценка трудности производится экспертами, например учителями и методистами; она определяется в теории учебных задач как субъективный показатель трудности, отражающий мнения экспертов, а в теории педагогических измерений - на основе предполагаемого числа и характера умственных операций. Статистическая оценка трудно-
сти основывается на математической обработке результатов контроля. В теории педагогических измерений она определяется после эмпирической апробации заданий путем подсчета доли неправильных ответов, а в теории учебных задач - как вероятность того, что субъект не решит задачу [1, 2, 25]. С точки зрения организации учебного процесса и построения системы заданий учителю важно знать именно статистическую трудность, поскольку она отражает фактические затруднения учащихся при изучении дисциплины. Однако эти данные он может получить лишь по завершении процесса обучения и обработки данных контроля, т. е. после потери ими актуальности с точки зрения планирования хода обучения. По указанной причине учитель вынужден строить систему учебных заданий на основе экспертных (или собственных) оценок трудности, которые далеко не всегда совпадают с фактическими затруднениями ученика. В табл. 1 приведены оценки статистической трудности (СТ), произведенные по результатам тестирования по физике 566 учащихся школ Свердловской области в 2005 г.; директивная трудность (ДТ) использованных тестовых заданий оценивалась путем усреднения мнения 8 экспертов (учителей физики) (для удобства сравнения значения приведены к одной шкале, нормированной на 10).
Таблица 1
Оценка трудности заданий при экспериментальном тестировании
Труд- Номера заданий
ность 1 2 3 4 5 6 7 8 9 10 11 12 13 14
СТ 5,3 3,9 6,8 7,5 3,4 4,4 3,3 4,4 6,5 8,5 5,3 6,3 6,5 6,3
ДТ 5,8 1,9 3,6 6,0 4,1 5,1 4,6 2,5 3,4 5,9 4,1 4,8 5,0 3,0
Коэффициент корреляции между статистическими и директивными трудностями составляет всего 0,42. Подобные значения получены и по результатам тестирования других лет. Эти данные свидетельствуют о том, что измерители, построенные лишь на экспертных оценках трудности, не могут быть использованы для объективного определения фактического уровня знаний учащихся.
Таким образом, выявляется проблема объективизации показателей трудности учебных заданий до их выполнения учащимся.
Многими педагогами и психологами отмечается объективность такой характеристики задания, как его сложность. Я. А. Микк рассматривает сложность текста как его объективное свойство, не зависящее от читателя и определяющееся при его анализе [14]. М. А. Лепик трактует сложность как свойство задачи препятствовать успешному ее решению в отличие от трудности, характеризующей возможность субъекта преодолевать объективную сложность задачи. «Оценка сложности базируется на количественной характеристике лингвистической, логической и техничес-
кой подсистем задачи и ее нормативного решения» [7, с. 6]. Обобщая суждения различных исследователей, можно выделить два основных подхода в определении сложности учебных заданий.
Согласно первому, сложность зависит от количества операций, т. е. связана с трудоемкостью и, соответственно, со временем решения задания. Такой точки зрения придерживается Г. А. Балл, который предлагает характеризовать сложность при алгоритмическом подходе длиной алгоритма решения, т. е. количеством операций, явным образом в нем указанных [2]. А. Т. Рогов использует для количественной оценки сложности показатель «развернутости выполненного действия», который представляет собой отношение количества элементарных операций при реально выполняемом действии к их количеству в том же действии, если оно максимально «развернуто»; этот показатель можно назвать относительным алгоритмическим показателем [18]. А. И. Уемов для определения сложности задания предлагает подсчитывать число элементарных отношений, на которые могут быть разбиты отношения между вещами и их предикатами [28]. Следует отметить, что число этих отношений при решении задач связано, как правило, с количеством операций, необходимых для выражения нужной величины из исходных данных. В. М. Глушков и Г. С. Кос-тюк считают, что сложность можно выразить через составление графов их решения, которые также связаны с количеством действий [15]. В. В. Романов, рассматривая такую составляющую сложности, как количество операций, или элементов внутри задания, отмечает, что операции, или элементы, редко имеют одинаковую трудность и чаще можно встретить вариант, когда действия внутри задания неоднородны по сложности [19].
Второй подход к определению сложности учебных заданий связан с развитием тестовых технологий и появлением психологических и педагогических теорий тестов (например, теории педагогических измерений), в которых больше внимания стало уделяться характеру умственной деятельности учащихся в процессе выполнения заданий. Эти теории оказали большое влияние на оценку сложности, которая стала в большей мере соотноситься с уровнями понимания и усвоения материала учащимися. В основу большинства работ по расчету сложности были заложены уровни мышления Б. Блума [31], подход В. П. Беспалько [3], уровни запоминания и узнавания В. П. Симонова [21], уровни мыслительной деятельности В. Н. Максимовой [11], С. Д. Смирнова [22] и других авторов.
Отмечая различия между понятиями «сложность» и трудность», исследователи, тем не менее, подчеркивают связь между ними. Исходя из предпосылки, что сложное задание должно быть трудным при решении, они устанавливают меру связи между этими понятиями в виде корреляции. Г. А. Балл определяет критерий адекватности различных мер сложности; им является достаточно высокая степень соответствия (корреляции) между мерой сложности и мерой трудности задачи: «При прочих равных условиях
наиболее правдоподобной является та гипотеза, для которой ряд значений сложности дает наиболее высокую корреляцию с рядом значений трудности» [2, с. 134]. При планировании контрольных мероприятий в том случае, если трудность и сложность заданий коррелируют между собой с высоким коэффициентом, появляется возможность «путем оценки сложности конкретных задач того или иного типа прогнозировать их трудность, обходясь тем самым без непосредственного измерения последней, которое, как правило, значительно более трудоемко» [Там же, с. 131]. Аналогичной точки зрения придерживается М. А. Лепик, который считает, что критерием адекватности показателей сложности задач служит корреляция между мерой трудности и мерой сложности [7, с.6]. Занимаясь разработкой формул сложности текста, Я. А. Микк последним этапом провел «корреляционный анализ всех рассматриваемых компонентов сложности текста и показателей его трудности. Этот анализ выявляет, какие компоненты связаны между собой, какие стоят отдельно и, что особенно важно, какое влияние оказывают отдельные компоненты на трудность текста» [14, с. 48].
Следовательно, знание сложности заданий позволяет осуществить предсказание трудности их решения учащимися. Г. А. Балл подчеркивает, что по уровню сложности решаемых заданий можно судить не только об умственном развитии учащихся, но и об уровне усвоения ими конкретных средств и способов решения задач. Он пишет: «Учет ... качественных характеристик задач, а также их количественных характеристик ... открывает возможности для более разностороннего и адекватного оценивания учебных достижений учащихся, а также их умственного развития» [2, с. 135]. Аналогичная точка зрения высказывается М. А. Лепиком: «... разработка и применение метода оценки сложности задач и прогнозирование на этой основе показателей трудности процесса их решения служит существенным компонентом повышения качества учебного процесса» [7, с. 2].
Таким образом, основная идея, обсуждаемая в данной работе, состоит в том, что необходимо разработать методику объективной оценки сложности заданий. Критерием ее удачности может служить высокая корреляция найденных с ее помощью оценок со значениями статистической трудности, полученными на больших выборках испытуемых. Если такая корреляция будет подтверждена, это послужит основанием для признания возможности применения предложенной методики оценки сложности при построении систем заданий.
Подходы к оценке сложности учебных заданий
Первым шагом оценки сложности должно стать построение измерительной шкалы (порядковой или интервальной).
Наиболее часто встречается порядковая шкала с тремя градациями сложности заданий: легкое, средней сложности и сложное. Такая шкала
применена, например, в работе С. В. Русакова и О. И. Перескоковой [20]. По мнению Е. Н. Походиной, тестовые задания также должны быть разделены на три степени сложности: уровень А - задания, рассчитанные на усвоение основных понятий, на простое отображение материала, на уровне узнаваемости и воспроизведения; уровень Б - задания, требующие размышления, охватывающие малый материал, выявляющие умения применять знания в стандартных ситуациях; уровень В - задания, предусматривающие творческое использования приобретенных знаний и позволяющие выявить умения, применять знания в нестандартных ситуациях [16]. Деление сложности по трем уровням (А, В, С) использует В. И. Ре-гельман [17]. Применительно к тестам по физике первая, наиболее легкая группа (А) требует умения выделять, опознавать изучаемый объект, явление или величину (в виде описания, определения, формулы, графика), а также производить несложные расчеты, не нуждающиеся в анализе предложенной ситуации. Второй уровень (группа В) должен выявлять знание сущности изучаемого понятия, устанавливать связь этого понятия с другими, раннее пройденными; однако установление связей должно быть в рамках стандартных ситуаций. Третий уровень (группа С) должен обнаруживать способность анализировать понятия, устанавливать связи между ними в нестандартной ситуации, что требует глубокого понимания материала и умения связать его с ранее пройденными темами.
В работе В. И. Тесленко и В. И. Сосновского сложность задания определяется принадлежностью к одному из пяти уровней:
1) информационному, требующему от испытуемого узнавания известной информации;
2) репродуктивному, основными операциями которого являются воспроизведение информации и ее преобразования алгоритмического характера;
3) базовому, предполагающему понимание существенных сторон учебной информации, владение общими принципами поиска алгоритмов;
4) повышенному, требующему умения применять алгоритмы в условиях, отличающихся от стандартных, и вести эвристический поиск;
5) творческому, предусматривающему наличие самостоятельного, критического оценивания учебной информации, умение решать нестандартные задания, владение элементами исследовательской деятельности [27].
Таким образом, количество градаций на шкале сложности может быть различным, но оно должно быть обосновано и, будучи единожды принятым для данной дисциплины, оставаться неизменным при построении систем заданий и в дальнейших педагогических измерениях.
Следующим за определением шкалы шагом оценки сложности является установка процедуры, в соответствии с которой сложность конкретного задания может быть отнесена к той или иной градации. Эта операция не является тривиальной, поскольку сложность может определяться
несколькими факторами. Например, такими факторами могут быть количество и характер мыслительных операций, необходимых для выполнения задания. Само понятие «факторы сложности задач» как компоненты сложности, каждый из которых выражает определенный аспект процесса решения, ввел В. Ф. Венда [4].
Обоснованно выделенные факторы также должны быть оценены по некоторой количественной шкале, после чего по ним строится интегральный показатель, характеризующий сложность задания в целом. Как известно, интегральные показатели могут определяться обычным суммированием (или простым усреднением составляющих показателей) - в этом случае имплицитно все факторы считаются равноправными. Альтернативой является суммирование с весовыми множителями (нахождение весового среднего значения), которые отражают значимость компонента (фактора). Например, в работе Л. М. Фридмана каждой группе операций назначается свой весовой коэффициент, который прямо пропорционален затраченному на выполнение операций времени. Тогда сложность задачи рассчитывается как сумма коэффициентов сложности всех выполняемых в ходе решения операций [29]. Как указывается в работе одного из авторов этой статьи, в обоих случаях - при просто суммировании или суммировании с весовыми коэффициентами - требуется обоснование равнозначности факторов или их статистических весов [26, с. 167-168].
Заключительным шагом должно стать отнесение сложности по ее интегральному показателю к той или иной градации шкалы на основании установленных заранее критериев.
Таким образом, непосредственной оценке сложности заданий должны предшествовать следующие подготовительные этапы:
• обоснование градаций измерительной шкалы сложности;
• выявление факторов сложности, характерных для данной учебной дисциплины;
• установка правил количественной оценки факторов;
• обоснование правил построения интегрального показателя сложности по значениям факторов;
• установка критериев, на основании которых по значению интегрального показателя сложность могла быть отнесена к одной из градаций шкалы.
Представляется достаточно очевидным, что описанные этапы инвариантны относительно содержания и особенностей дисциплины. Специфика учебной дисциплины проявляется в факторах сложности и схеме построении интегрального показателя. Ниже приводится пример реализации изложенного подхода для оценки сложности тестовых заданий по школьной дисциплине «Физика».
Оценка сложности тестовых заданий по физике
Итак, мы исходим из того, что сложность - объективная многофакторная количественная характеристика учебного задания, отражающая число и характер мыслительных операций, необходимых для его решения нормативным способом.
Прежде всего рассмотрим факторы, поскольку в нашем исследовании именно с ними связана шкала для измерения сложности.
Научно-педагогическая библиография содержит работы, посвященные исследованию данного вопроса. Так, Л. Г. Соколова при анализе допускаемых учащимися ошибок выявила 6 факторов сложности заданий по физике: 1) неявная заданность некоторых элементов, характеризующих процесс или явление; 2) проявление в физической ситуации нескольких закономерностей; 3) «комплексность» задачи; 4) «комбинированный» характер задачи, т. е. возможность ее расчленения «на элементарные, связанные с одним физическим телом или с одним его состоянием и т. п.»;
5) использование единиц измерения, не входящих в одну систему; 6) выполнение большого количества математических операций. Сложность выражалась показателем, значение которого было на 1 меньше числа факторов, содержащихся в задании [23, с. 62]. Обоснование такой схемы оценки было построено на данных, полученных автором путем анкетирования, интервью и анализа ошибок, допускаемых учащимися. Практически это была первая формула для определения сложности заданий по физике. Однако предложенная схема учитывает только факторы, связанные с техникой решения, но не затрагивает такого важного компонента решения задач, как уровни мыслительной деятельности. Не учтен и еще один специфический фактор сложности физических задач - графическое представление данных или процесса.
Коллектив разработчиков Бийского технологического института (БТИ) свел расчет сложности тестового задания только к когнитивному фактору: каждому из уровней усвоения (запоминание, понимание, навыки, применение) присваивалась сложность в баллах [13].
Корреляционные коэффициенты Пирсона, отражающие соответствие статистической трудности и сложности, рассчитанной по вышерассмотренным методикам для 35 заданий, оказались равными: для методики Л. Г. Соколовой - 0,07, для методики БТИ - 0,27. Низкая корреляция (фактически ее отсутствие) свидетельствует о неполном учете факторов сложности в каждом из приведенных подходов.
В нашем исследовании были выделены следующие группы факторов сложности.
Техническая сложность (ТС) определяется количеством действий (операций), которые необходимы для выполнения задания при нормативном (рекомендованном) алгоритме решения; ТС зависит от количества
аналитических выражений (формул), используемых при решении, и определяет объем «технической» работы и время ее выполнения; ее фактором также являются действия, связанные с преобразованием и приведением единиц измерения физических величин к единой системе.
Когнитивная сложность (КС) включает факторы, связанные с характером мыслительной деятельности, необходимой для выполнения задания. Данные факторы (запоминание, знание, воспроизведение, применение и др.), безусловно, присутствуют в учебных заданиях по любой дисциплине, однако особенности физики, химии и математики состоят в одновременном использовании уровней «знание» и «применение». При анализе физических задач нами были выделены следующие факторы (в порядке усложнения умственных действий): знание формулы; вывод значения из формулы; геометрическое представление процесса; работа с данными, представленными в графической или табличной формах; выделение из исходных данных составляющих частей, заданных неявно; понимание процесса и характеристик физического объекта.
Дополнительная сложность (ДС) - фактор, специфичный для физических задач и связанный с использованием при решении положений и формул из нескольких разделов дисциплины.
Интегральный показатель сложности С принимался равным сумме трех групп факторов (технической, когнитивной и дополнительной сложности) с равными весами: С = ТС + КС + ДС.
Установление веса каждого фактора осуществлялось в ходе решения задачи минимизации расхождения статистической значимости и многофакторной сложности заданий. Экспериментальной служила база заданий централизованного тестирования (ЦТ), проводившегося в Свердловской области с 2001 по 2008 г. Итоги ЦТ в виде статистических данных до 2006 г. включительно предоставлялись Центром тестирования Министерства образования Российской Федерации по регионам в виде программы СтатИнфо, а данные за 2007 и 2008 гг. предоставили организаторы региональных представительств Федерального центра тестирования в Свердловской области. Для анализа были выбраны задания из тестов разных лет, в которых факторы удавалось выделить по отдельности. На основании обработки данных были установлены следующие статистические веса факторов:
• техническая сложность определялась количеством действий (операций), необходимых для выполнения задания; каждое действие расценивалось 1 баллом;
• факторы когнитивной сложности имели следующие веса (в баллах): знание формулы - 2; вывод значения из формулы - 2; геометрическое представление - 2; работа с графиками - дополнительный 1 балл; выделение составляющих - 3; представление о процессе - 4; если выпол-
нение задания требовало разных факторов, значение КС принималось по максимальному из них;
• дополнительная сложность оценивалась 1 баллом.
На основании полученных весов по описанной выше схеме были определены сложности всех тестовых заданий за все годы ЦТ, данными по которым мы располагали, а также рассчитаны их статистические трудности. Коэффициенты корреляции между статистической трудностью и сложностью тестов по частям А и В по годам приведены в табл. 2.
Таблица 2
Коэффициенты корреляции между статистической трудностью и сложностью заданий центрального тестирования по годам
Часть теста 2001 2002 2003 2004 2005 2006 2007 2008
А 0,70 0,74 0,74 0,72 0,73 0,73 0,78 0,78
В 0,96 0,85 0,80 0,93 0,87 0,85 0,95 0,83
Высокие значения коэффициентов корреляции, с нашей точки зрения, свидетельствует о возможности применения предложенной методики оценки сложности учебных заданий по физике.
Заключение
Проведенное исследование позволяет заключить, что количественная оценка сложности учебных заданий, необходимая для прогнозирования трудности решения задач учащимися, а также упорядочение на ее основе учебного материала, возможна. Она требует обоснованного выделения факторов сложности и вычисления их весов на основе объемных статистических данных о результатах педагогических измерений. Критерием полноты учета факторов может служить корреляция между статистической трудностью задания и его сложностью. В частности, как видно из табл. 2, коэффициенты корреляции для тестов части В оказались выше, чем для части А, - это свидетельствует о том, что, возможно, были учтены не все факторы сложности, влияющие на результат выполнения заданий части А.
Литература
1. Аванесов В. С. Аванесов В. С. Композиция тестовых заданий. М.: Центр тестирования, 2002. 237 с.
2. Балл Г. А. Теория учебных задач: психолого-педагогический аспект. М.: Педагогика, 1990. 184 с.
3. Беспалько В. П. Критерии оценки знаний учащихся и пути оптимизации процесса обучения // Теория поэтапного формирования умст-
венных действий и управление процессом обучения: материалы науч. конф. МГУ. М.: 1967. С. 3-23.
4. Венда В. Ф. Многовариантность процессов решения и концепция инженерно-психологического проектирования // Инженерная психология. Теория, методология, практическое применение. М.: 1977. С. 67-101.
5. Колягин Ю. М. и др. Профильная дифференциация в обучении математике // Математика в школе. 1990. № 4. С. 21-27.
6. Крупич В. И. Теоретические основы обучения решению школьных математических задач. М.: Прометей, 1995. 166 с.
7. Лепик М. А. Факторы сложности типовых текстовых задач: авто-реф. дис. ... канд. пед. наук: 13.00.01.Тарту, 1989. 18 с.
8. Лернер И. Я. Критерии сложности некоторых элементов учебника // Проблемы школьного учебника. М.: 1974. Вып. 1. С. 47-58.
9. Лернер И. Я. Факторы сложности познавательных задач // Новые исследования в пед. науках. 1970. № 1. С. 86-91.
10. Лучков В. В. Обучение психомоторным навыкам // Вопр. психологии. 1970. № 4. С. 64-72.
11. Максимова В. Н. Акмеология: новое качество образования. СПб.: РГПУ им. А. И. Герцена, 2002. 99 с.
12. Машбиц Е. И. Психологический анализ учебной задачи // Сов. педагогика. 1973. № 2. С. 25-29.
13. Методические рекомендации по разработке педагогических тес-
тов контроля качества обучения студентов (приложение к СТП 12 10002 БТИ АлтГТУ). [Электрон. ресурс]. Режим доступа:
http://www.bti.secna.ru/ education/org/stp/pril_stp_12100_02.html
14. Микк Я. И. Оптимизация сложности учебного текста. М.: Просвещение, 1981. 120 с.
15. Научные проблемы программированного обучения и пути их разработки / В. М. Глушков [и др.]. Киев: Акад. наук УССР, 1966. 32 с.
16. Походина Е. Н. Использование тестовых заданий ИИП «КМ -
Школа» в начальной школе. [Электрон. ресурс]. Режим доступа:
http://www.km-school.ru/r9/uchitel_3.asp
17. Регельман В. И. Введение в тестологию. [Электрон. ресурс]. Режим доступа: http://www.physics-regelman.com/high/Methodics/3.php
18. Рогов А. Т. Моделирование параметров действия. Сообщение I. Форма действия и мера развернутости его // Новые исследования в психологии. 1973. № 1. С. 94-102.
19. Романов В. В. Теория и практика создания тестов [Электрон. ресурс]. Режим доступа: http://phustest.narod.ru/metod.html
20. Русаков С. В., Перескокова О. И. Компьютерные информационные технологии контроля знаний. [Электрон. ресурс]. Режим доступа: www.psu.ru/pub/xxi/1_10_4.rtf
21. Симонов В. П. Диагностика личности и профессионального мастерства преподавателя: учеб. пособие для студ. педвузов, учителей и слушателей ФПК. М.: Междунар. пед. акад., 1995. 192 с.
22. Смирнов С. Д. Педагогика и психология высшего образования: от деятельности к личности: учеб. пособие для студ. высш. пед. учеб. заведений. М.: Издат. центр «Академия», 2001. 304 с.
23. Соколова Л. Г. О формировании у студентов физического факультета умения обучать учащихся решению задач // Современные психологопедагогические проблемы высшей школы. Л., 1973. Вып. 1. С. 60-63.
24. Сохор А. М. Логическая структура учебного материала. Вопросы дидактического анализа. М.: Педагогика, 1974. 192 с.
25. Стариченко Б. Е. Развитие классической теории тестов для систем компьютерного тестирования // Использование информационно-коммуникационных технологий в образовании: межвуз. сб. науч. работ / Урал. гос. пед. ун-т. Екатеринбург, 2009. С. 254-267.
26. Стариченко Б. Е. Обработка и представление данных педагогических исследований с помощью компьютера / Урал. гос. пед. ун-т. Екатеринбург, 2004. 218 с.
27. Тесленко В. И., Сосновский В. И. Методика составления пробного педагогического теста [Электронный ресурс]. Режим доступа: http://www.old.kspu.ru/ magazine/no2/pub/21.htm
28. Уемов А. И. Проблема построения общей теории упрощения научного знания // Логика и методология науки. М.: Наука, 1967. 256 с.
29. Фридман Л. М. Построение и оптимизация алгоритмов распознавания отношения принадлежности / / Программированное обучение и обучающие машины. Киев, 1966. Вып. 1.
30. Birnbaum A. Some Latent Trait Models and Their Use in Inferring an Examinee’s Ability // Lord F. M., Novick M. R. Statistical Theories of Mental Test Scores. Reading, Mass: Addison - Wesly, 1968. 568 p.
31. Bloom B. S. Taxonomy of Educational Objectives: The Classification of Educational Goals. Susan Fauer Company, Inc., 1956. P. 201-207.
