CC BY
39УДК 371.277.2:378.016+624
Герчио И.Ю., старший преподаватель.
Национальная академия природоохранного и курортного строительства
МЕТОДИКА СОСТАВЛЕНИЯ И ОЦЕНКА ТЕСТА КАК ИНСТРУМЕНТА ИЗМЕРЕНИЯ УРОВНЯ ЗНАНИЙ СТУДЕНТОВ ТЕХНИЧЕСКОЙ СПЕЦИАЛЬНОСТИ ПРИ БОЛОНСКОЙ СИСТЕМЕ
Обобщены и сформулированы основные требования, предъявляемые к тестовым заданиям по техническим дисциплинам. Предложена система упрощенной оценки эффективности теста, основанная на определении качества, как отдельного тестового задания, так и всего теста в целом.
Тестирование, требования к составлению тестов, оценка тестов, валидность, дистрактор, дифференцирующая способность теста.
ВВЕДЕНИЕ
Украина, как и многие бывшие страны Советского Союза, имели общую хорошо организованную систему подготовки специалистов в высшей школе, которая в корне отличалась от европейской и американской. Присоединение Украины к странам Болонской декларации ускорила и активизировала процессы реорганизации системы подготовки специалистов, а зачастую и полную ее перестройку, которая происходит сейчас в высших учебных заведениях Украины. Необходимость выхода на «европейский уровень» ставит перед ВУЗами задачу привести Украинскую систему ВПО (высшей профессиональной подготовки) в соответствие с общеевропейскими стандартами и нормами, что связанно с коренными изменениями существовавшего мировоззрения в области образования и сложившимися традициями. В этой связи важное место занимает тестирование специалистов, поэтому создание эффективной методики составления тестов и объективной оценки учебных достижений студентов приобретает исключительное значение. Говоря о системе тестирования, невозможно отрицать тот факт, что это универсальный инструмент для определения оценки усвоения, качества подготовки, контроля, развития, диагностирования знаний студентов на всех уровнях образовательного процесса.
АНАЛИЗ ПУБЛИКАЦИЙ
Тестирование это, прежде всего инструмент контроля качества знаний студента. Эта целая система, как контролирующая, так и диагностическая, которая обеспечивает регулярное отслеживание качества усвоения знаний и умений в учебном процессе, предоставляет преподавателю объективную и оперативную информацию об уровне усвоения студентами обязательного учебного материала.
Рис.1. Виды тестирования
В соответствие с целями определяются единые хронотопные (содержательно-временные) точки тестирования в учебном процессе.
Текущее и оперативное тестирование (диагностическое) проводится преподавателем на семинарах для выявления исходного уровня готовности студента к дальнейшему обучению, проверки качества усвоения знаний по определенным темам семинаров, разделов программы дисциплины.
Рубежное тестирование проводится по окончании модуля, семестра, учебного года, для рубежного контроля: по дисциплине, по блокам специальных дисциплин (СД), совокупности дисциплин, выделенных по любому другому основанию (например: госэкзамен). Результаты тестирования используются преподавателем для формирования кумулятивной (накопительной) оценки по дисциплине. Целью рубежного тестирования является определение степени освоения студентами области знаний и умений (уровня компетентности) по дисциплине и комплексу дисциплин учебной программы, а в конечном итоге, соответствия требованиям ОПП по направлению обучения [2].
Итоговое тестирование проводится с целью контроля остаточных знаний студентов; проверки уровня готовности студента к аттестационным испытаниям. Тестирование проводится в соответствии с утвержденным графиком, но не позднее 6 месяцев с момента сдачи зачета/экзамена по тестируемой дисциплине. Результаты итогового тестирования документируются и являются необходимым условием допуска к государственному экзамену.
Тренинговое тестирование является разновидностью самостоятельной работы студентов и используется преподавателем как обучающая технология. Цель такого тестирования научить студента самостоятельной работе по изучению дисциплины, умению пользоваться методической, нормативной, технической литературой и одновременно попытаться проверить свои знания.
Тесты по всему материалу дисциплины используются в качестве контрольно-методического обеспечения и являются оценочными средствами, с помощью которых на этапе рубежного или итогового тестирования оценивается усвоение студентом материала и умение применять их на практике при решении конкретных задач.
В настоящее время наибольшее распространение получили следующие формы тестовых заданий [17]:
закрытая, предполагающая выбор одного или более правильных вариантов ответов из числа, предложенных;
форма на установление соответствия между двумя предложенными множествами;
открытая форма с ограничениями на ответ, предполагающая ввод в качестве ответа одного или нескольких чисел, слов или формул;
форма на установление правильной последовательности.
Наиболее широко в Вузах используется закрытая форма тестовых заданий. Введение в тест заданий с многовариантными ответами развивает потребность в поиске разных путей решения задачи, что необходимо для достижения основной цели обучения- умения самостоятельно выбирать способ выполнения поставленной задачи.
МЕТОДИКА ИССЛЕДОВАНИЙ
Методика исследований заключается в сравнении основних подходов к разработке тестових заданий, базирующихся на требованиях, предьявляемых к тестам. При этом оценка тестов идет по двум параметрам: проверка равномерности распределения дистракторов в отдельных заданих и разрешающей способности теста в целом.
ЦЕЛЬ И ПОСТАНОВКА ЗАДАЧ ИССЛЕДОВАНИЯ
На практике, в течение учебного года, преподаватель значительно загружен, поэтому на проведение доскональной количественной и качественной оценки тестов у него просто нет времени. В связи с этим возникает необходимость проведение ориентировочной
доступной выборочной оценки тестов и тестовых заданий хотя бы по нескольким параметрам.
Поэтому цель данной статьи состоит в рассмотрении возможного варианта такой оценки, а задача - в формулировке основных требований при составлении заданий по дисциплинам ТГВ и анализе полученных результатов.
РЕЗУЛЬТАТЫ И ИХ АНАЛИЗ
Можно выделить несколько этапов в технологии создания теста[16] по учебной дисциплине:
1. Постановка целей и задач предмета и форм учебного контроля. Объем часов учебной дисциплины определяет целесообразность тестирования и количество тестовых заданий. Минимальное число тестовых заданий для вариативности теста 120[1]. По дисциплинам объемом менее 54 академических часов возможно проектирование междисциплинарных, комплексных тестов по блокам сопредельных пограничных дисциплин.
2. Анализ содержания учебной дисциплины, систематизация материала, информационное насыщение каждого из разделов учебной дисциплины.
3. Разработка тестовых заданий.
4. Формирование тестов в соответствии с поставленными учебными задачами. Определение объема (количества тестовых заданий) в тесте и времени его выполнения.
5. Разработка методики тестирования, определение и расчет показателей оценки. Составляется элементарная шкала: количество тестовых заданий, предъявленных к выполнению, соотнесено с количеством правильных ответов. Определяется диапазон положительной оценки. Количество правильных ответов для получения зачета, оценки хорошо, отлично и т. д.
6. Апробация теста.
7. Корректировка и добавление новых заданий на основании результатов апробации.
8. Формирование окончательного варианта теста.
Процесс создания заданий базируется на основных требованиях, предъявляемых к тестам, а именно:
валидности;
определенности (общепонятности);
простоте;
однозначности;
надежности.
Валидность теста - это его адекватность и означает пригодность тестовых результатов для той цели, ради чего проводилось тестирование. Различают содержательную и критериальную (функциональную) валидность: первая - это соответствие теста содержанию контролируемого учебного материала, вторая -соответствие теста оцениваемому уровню деятельности.
Выполнение требования определенности (общедоступности) теста необходимо не только для понимания каждым студентом того, что он должен выполнить, но и для исключения правильных ответов, отличающихся от эталона.
Требование простоты теста означает, что тест должен иметь все задания примерно одного уровня сложности, т.е. он не должен быть комплексным и состоять из заданий разного уровня сложности.
Однозначность определяют как одинаковость оценки качества теста разными экспертами. Для выполнения этого требования тест должен иметь эталон.
Требование надежности заключается в обеспечении устойчивости результатов многократного тестирования одного и того же испытуемого.
При реализации систем компьютерного тестирования необходимо придерживаться именно этих пяти требований к создаваемым тестам. Однако реализация описанных выше
условий к тестам еще не означает того, что созданный комплекс будет отвечать всем требованиям, предъявляемым к системам тестирования[3].
При изучении дисциплин специальности Теплогазоснабжения и вентиляции воздуха есть особенно важные темы, без знания которых невозможно усвоение более сложного материала в процессе учебы или которые будут необходимы в работе по специальности. Увеличив долю вопросов по этим разделам в общем количестве вопросов можно тем самым повысить качество тестов, однако наиболее важные разделы не всегда содержат больше всего материала.
Ряд правил при составлении заданий теста обеспечат создание надежного, сбалансированного инструмента оценки знаний [16]:
В первую очередь, необходимо проанализировать содержание заданий с позиции равной представленности в тесте разных учебных тем, понятий, и т. д.
Тест не должен быть нагружен второстепенными терминами, несущественными деталями с акцентом на механическую память. Задания теста должны быть сформулированы четко, кратко и недвусмысленно, чтобы все студенты понимали смысл того, что у них спрашивается.
Важно проследить, чтобы ни одно задание теста не могло служить подсказкой для ответа на другое [16].
Варианты ответов на каждое задание должны подбираться таким образом, чтобы исключались возможности простой догадки или отбрасывания заведомо неподходящего ответа.
Важно выбирать наиболее приемлемую форму ответов на задания. Учитывая, что задаваемый вопрос должен быть сформулирован коротко, желательно также кратко и однозначно формулировать ответы, что составляет основную трудность для технических дисциплин.
Задачи для тестов должны быть информативными, отрабатывать одно или несколько понятий, определений и т. д. При этом тестовые задачи не должны быть слишком громоздкими или слишком простыми. Вариантов ответов на задачу должно быть, по возможности, не менее пяти, а в качестве неверных ответов желательно использовать наиболее типичные ошибки [18].
Различают два основных подхода к разработке тестов для аттестации студентов[1,2]: нормативно-ориентированный и критериально - ориентированный. Между ними существует ряд различий [2], заключающихся не в самих тестовых заданиях, а в интерпретации индивидуальных баллов. Первое различие - цели создания теста. Нормативно-ориентированные тесты позволяют оценить соответствие знаний и умений студента установленной норме: подходит - не подходит. Критериально - ориентированные тесты дают возможность оценки уровня обученности и эффективности программы обучения. Второе различие - уровень детализации области содержания. От критериально - ориентированных тестов чаще всего требуется большая детализация. Третье различие -статистическая обработка. Обработанные (шкалированные) баллы по результатам нормативно - ориентированного тестирования базируются на статистических данных нормативной группы, то есть специфической достаточно большой выборке испытуемых, для чего применяются специальные нормативные шкалы. Оба эти подхода в равной степени необходимы для создания диагностических тестов в обучающих системах[17].
Как показала практика, наибольшее применение в ВУЗах приобрели критериально -ориентированные тесты[17].
Вторая сторона вопроса разработки тестов связана с трудностями формирования шкалы оценок выполнения заданий студентами и собственно оценки качества самого тестового задания.
Традиционная система оценивания знаний обучаемых основана на лингвистических оценках, по которым проставляются записи в зачетных книжках за период обучения, производится учет успеваемости, устанавливается стипендия и т.д.
Очевидно, что при формировании такой шкалы оценок велика доля субъективизма, поскольку здесь многое зависит от опыта, интуиции, компетентности и профессионализма преподавателя. Кроме того, требования, предъявляемые разными преподавателями к уровню знаний студентов, колеблются в очень широких пределах.
При формировании шкалы оценок довольно часто встречается метод "проб и ошибок". Поэтому реальные знания учащегося не получают объективного отражения и как негативное последствия - снижается стимулирующее воздействие экзаменационной оценки на познавательную деятельность и качество учебного процесса в целом.
В некоторых моделях тестирования оценивание результатов производится только по факту правильности ответа, т.е. ход решения в задачах не проверяется и не оценивается. Таковы, например, закрытые задания с однозначным числовым ответом или бинарные тесты[4,5].
Первичной информацией при тестировании знаний является набранный балл испытуемых или так называемый первичный балл. Достоинством этой оценки является ее простота и наглядность, Действительно, чем больше заданий выполнил студент, тем выше его балл.
Однако проблема заключается в том, что первичный балл является не абсолютной, а относительной оценкой[8]. Он существенно зависит от трудности заданий теста и на другом тесте он может оказаться иным, причем сама трудность теста, в свою очередь, определяется всем контингентом испытуемых. Желательно иметь объективную оценку уровня подготовленности испытуемых, подтверждаемую на различных тестах, имеющих заранее определенный уровень трудности заданий.
Вторым существенным недостатком первичных баллов является их нелинейность по отношению к тем параметрам, которые они должны характеризовать (уровень подготовленности[3,4],). В частности, если тест состоит из 100 заданий, то разность в первичных баллах Ь1-Ь2=86-82=4 соответствует большему различию в уровне подготовленности участников, чем та же разность для участников имеющих, например 23 и 19 баллов. Сравнивая первичные баллы необходимо понимать, что первичные баллы являются лишь индикатором подготовленности испытуемых, а не ее мерой.
Любая информация для ее последующего применения в заданиях теста должна быть представлена определенным количественным показателем, рассчитанным с использованием условной единицы образовательной информации. В различных литературных источниках рассматривается несколько основных моделей статистической обработки результатов тестирования: однопараметная модель Раша, метод моментов, метод наибольшего правдоподобия и т.д. [5,6,7]. На практике, в течение учебного года, преподаватель значительно загружен, поэтому на проведение доскональной количественной и качественной оценки тестов у него просто нет времени. В связи с этим возникает необходимость проведение доступной выборочной оценки хотя бы по нескольким параметрам, например:
Проверка равномерности распределения дистракторов и эффективности их работы
Дистракторы являются очень важным элементом тестовых заданий в закрытой форме, с выбором одного или нескольких правильных ответов[13]. При этом остальные ответы, не являясь правильными, должны выглядеть правдоподобными (их принято называть дистракторами). Оказывается, что при удачном подборе дистракторов, испытуемые, неправильно отвечающие на задание выбирают их с одинаковой частотой[13,14]. Равномерность распределения дистракторов является показателем надежности и валидности задания. Рассмотрим алгоритм расчета равномерности распределения дистракторов на конкретном примере. На задание № 25 теста по дисциплине «Энергосбережение в системах ТГВ», содержащее 5 вариантов ответов, 200 человек (обобщенные данные за несколько лет) дали неправильные ответы. Теоретическая
частота выбора каждого из дистракторов составляет 200/4=50. Составим следующую таблицу 1:
Таблица 1.
Данные по результатам анализа единичного тестового задания.
Частоты Номер дистрактора £
1 2 3 4
Экспериментал-ная частота выбора (п) 40 58 42 60 200
Теоретическая частота выбора (п*) 50 50 50 50 200
(п-п*) -10 8 -8 10 0
£ (- п*)2
X 2 -1
Для л навл. получим:. = —-;-= 6.56 Критическое значение критерия
. п
Пирсона, соответствующее трем степеням свободы и уровню значимости а=0,05
2
= 7,8
X
крит. . Поскольку, хнабл ^Хкрит , то можно сказать о равномерном выборе
дистракторов. [7,14,15]. Проанализировав, таким образом, все заданий этого теста были
2
X
получены значения Л набл. от 4,24 до 11,2. Можно сделать вывод, задания под номерами №12, 45, 37 и 24 требуют доработки. Расчет Критерия Пирсона можно легко произвести с использованием автоматизированной программы на сайте[18].
Анализ выбора дистракторов данным испытуемым может представлять не менее важную задачу, чем анализ равномерности распределения[13]. Поскольку, он позволяет в ряде случаев выявить характер "незнания" тестируемого и составить представления о мере эклектичности его знаний.
Для оценки равномерности распределения дистракторов, а по существу определения эффективности их работы могут быть использованы отличные от определения 2
X
коэффициента Пирсона подходы. В частности можно использовать подход [14],
Р ■■ ■
основанный на модели Раша, согласно которой вероятность 1 того, что 1- участник
Й
тестирования с уровнем подготовленности правильно выполнит ] - задание с уровнем $
трудности 1 определяется формулой:
Р1 + ехр( $ ; -вг)
а вероятность неправильного ответа (выбора одного из дистракторов данного задания):
1 ехр( $ 1 -Й)
Чч = 1 -Р,
1 + ехр( $ 1 -Йг)
Р (г)
Предположим, что вероятность выбора одного из г - дистракторов ( ),
предлагаемых в данном тестовом задании, является монотонно убывающей функцией
а
уровня подготовленности участника, и линейно связанна с вероятностью 11 неправильного ответа, например:
( ) „ ехр(31 -в)
Р (г ) = С ---
¿V Сг 1 + ехр($--в,),
С
где у-УГ некоторый коэффициент линейной связи [8]. Нахождение значения С
коэффициента у-УГ при использовании выборок испытуемых порядка нескольких тысяч человек в сравнении с результатами работы дистракторов, полученными другими
С
методами, показывает, что величина для хороших дистракторов варьируется от 0,98 до
С
1,02, а для плохих у-Уг < 0,90. При этом наблюдается очень хорошее согласование
С
результатов, что показывает возможность использования коэффициента у-УГ для оценки работы дистракторов [9,11,14]. Такой подход возможен для большой выборки и его также можно выполнить автоматизировано. Согласно классической теории тестов для создания качественного теста требуется большая выборка испытуемых, состоящая из нескольких десятков тысяч человек. Это требование практически невыполнимо в условиях любого вуза. Однако латентная[5] методика анализа позволяет снизить количество испытуемых уже до 500 при очень высоком качестве создаваемых тестов и даже до 150-200 при вполне достаточной надежности тестов. Это условие уже выполнимо в рамках одного вуза или школы, хотя создание теста и потребует определенного количества времени. Дифференцирующая (разрешающая) способность теста
Разрешающая способность теста является одним из ключевых понятий современной теории тестирования [15,17], поскольку разделение испытуемых по рейтингу или по группам, при аттестации, является основной задачей любого тестирования. В связи с этим вводится понятие коэффициента дискриминации (или различающей способности), который может характеризовать как весь тест в целом, так и отдельные тестовые задания, и рассчитывается на основании полученных результатов. Основное влияние при вычислении разрешающей способности теста оказывает число заданий - К, поскольку число заданий, как правило, меньше числа участников - N. При заданном конечном числе
Ь
заданий - К, первичные баллы и' принимают конечное число значений 0,1, 2, 3, ........К с
шагом ДЬ=1. Общепринято, что разрешающей способностью теста (¿;) называется длина промежутка Д9 в логитах (единица измерения уровней подготовленности участников тестирования и трудностей тестовых заданий в рамках логистических моделей тестирования). Если разность между упомянутыми двумя понятиями составляет 1 логит, то вероятность верного выполнения таким испытуемым такого задания равна 0,73.) на латентной шкале уровня подготовленности (т.е. математическая модель, в которой вероятность правильного ответа тестируемого задается как функция разности двух латентных параметров: подготовленности тестируемого и трудности задания), который соответствует шагу ДЬ=1, т.е. [15].
Если I 2 1 , то тест не в состоянии различить 01 и 02 . В реальной жизни величину разрешающей способности теста желательно знать заранее при составлении теста, что можно сделать [11] используя следующий метод. Принимая ёЬ1=1:
дв ( к X
I 'в = ^
. . ч 1Ч
V-=1 У
где: р,- . теоретическая вероятность того, что 1-участник испытания правильно выполнит _]- задание;
- вероятность неправильного ответа ( т.е. одного из дистракторов). Разрешающая способность теста в окрестности балла Ы будет тем больше, чем больше информации содержится в 1- строке матрицы ответов. Минимальное значение
р - а - 1/2
(^шт) ^шт=4/К достигается при ^ ■ для любого ]=1, 2, 3, К. Поскольку
максимального значения коэффициента разрешающей способности не существует, то практически ограничиваются величиной ^=11/К [11], соответствующей маловероятному
р - 0,1
случаю ' для любого ]=1, 2, 3, К. На практике используют значения
удовлетворяющие неравенству: 4/К<^<11/К (К-число заданий), а для приближенных
вычислений брать ^~7/К логит. Для средней квадратичной ошибки определения можно воспользоваться формулой:
= - К
2^3 К (логит).
Соотношение ^ позволяет установить взаимосвязь между
¿6 =
¿Ъ1
б ^61 1 соответствующими среднеквадратичными ошибками и :
°6}-6Ъ 1=6 6 д Ъ Ъ д Ъ
г , У/2 г к V2
* р-а -=1
* р-а-
V-1 V
1
И
Таким образом, для среднеквадратичной ошибки оценки уровня подготовленности 1-
участника, можно получить, что * ' логит (Ы -первичный балл, набранный
участником), для среднеквадратичной ошибки оценки уровня сложности задания
* 1 логит (К] - число участников успешно выполнивших данное ] задание).
Для более строгих расчетов 1 , вероятности 1 и 1 вычисляют по модели Раша [15,17].
В диапазоне от 0 до 1 коэффициент различающей способности имеет следующую интерпретацию [2,15]:
- больше 0,40(задание является эффективным);
- от 0,30 до 0,39 (задание является удовлетворительным);
- от 0,20 до 0,29 (задание требует переработки);
- менее 0,20 (задание необходимо полностью заменить).
В результате автоматизированного расчета коэффициент различающей способности заданий (КРСЗ)теста по дисциплине «Энергосбережения в системах ТГВ» варьировался от 0.29 до 0,38, при К=60, N=200.
ВЫВОДЫ
Автор не претендует на полноту охвата вопросов методики составления и оценки тестовых заданий, это связано и с тем, что методик обучения может быть бесконечное множество, в пределе ровно столько, сколько существует педагогов. При этом важность разработки инструмента измерения уровня знаний и трудности заданий невозможно оценить, а тест на данный момент является единственным инструментом для педагогических измерений.
Автором предложена ориентировочная оценка теста по равномерности распределения дистракторов и разрешающей способности (КРСЗ), которая дает возможность проанализировать как отдельное тестовое задание, так и тест в целом.
Все расчеты, указанные в статье могут быть выполнены с использованием
автоматизированных расчетных программ, находящихся в свободном доступе в интернет
сети.
СПИСОК ЛИТЕРАТУРЫ
1. Аванесов В.С. Композиция тестовых заданий. - М.: Из-во Центра тестирования Минобразования РФ, 2002, - 239С.
2. Переверзев В.Ю. Критериально - ориентированные педагогические тесты для итоговой аттестации студентов. М.: Из-во НМЦ СПО Минобразования РФ, 1998, -152 С.
3. Тыркова Н.П. Методика преподавания теории вероятностей и математической статистики с использованием персональных компьютеров. // Материалы научно-методической конференции: "Повышение эффективности учебно-воспитательного процесса: Новые идеи, формы, методы". - Омск, 1998, С.156.
4. Соколов В.М. Вывод функции успеха из принципа максимальности информации о системе. // Тезисы докладов Всероссийской научно-методической конференции «Развитие системы тестирования в России». - Москва, 2002, С.250-251.
5. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. - М.: Прометей, 2000, - 168 С.
6. Герасимович А.И., Матвеева Я.И. Математическая статистика. - Минск: Высшая школа, 1978. - 200 .
7. Гмурман В.Е. Теория вероятностей и математическая статистика. - М.: Высшая школа, 1997, -480 С.
8. Рао С.Р. Линейные статистические методы и их применение. Под ред. Ю.В. Линника. - М.: Наука, 1968, -547 С.
9. Wright B.D., Stone M.H. Best test design, Chicago: Mesa Press, 1979. -220 P.
10. Кендалл М.Дж., Стьюарт А. Теория распределений. - М.: Наука, 1966. -587 С.
11. Уилкс С. Математическая статистика. Под ред. Ю.В. Ленника, М.: Наука, 1967, -632 С.
12. Березин Н.В. Выбор дистракторов в заданиях в закрытой форме. Анализ и моделирование в рамках IRT. // Тезисы докладов Всероссийской научно-методической конференции «Развитие системы тестирования в России», - Москва, 2002, С. 229-230.
13. Маслак А.А., Бобрышев Е.А., Анисимова Т.С., Пушечкин Н.П. Исследование влияния числа дистракторов на точность оценивания уровня знаний. // Тезисы докладов III Всероссийской научно-методической конференции «Развитие системы тестирования в России». - Москва, 2001, С.204.
14. Челышкова М.Б. Теория и практика конструирования педагогических тестов. Учебное пособие. - М.: Логос, 2002, - 432 С.
15. Янченко С.И. Математическая модель оценки результатов тестирования. // Тезисы докладов Всероссийской конференции «Развитие системы тестирования в России». -Москва, 2000, ч. 4, С. 54-56.
16. Аванесов В. С. Основы научной организации педагогического контроля в высшей школе, Учебное пособие, М.: Исследовательский центр, 1989, - 167 С.
17. Люсин Д. В. Основы разработки и применения критериально-ориентированных педагогических тестов. М.: Исследовательский центр, 1993, - 51 С.
18. Интернет сайт www.psychol-okru/statistws/pearson/.Расчет.
