CC BY
78
УДК 378.14 П.И. ОБРАЗЦОВ
доктор педагогических наук, профессор кафедры непрерывного профессионального образования и новых образовательных технологий Орловского государственного университета Е-шаИ: [email protected]
UDC 378.14 P.I. OBRAZTSOV
doctor of Pedagogics, professor of the Department "Continuing Education and New Educational Technologies", Orel State University Е-mail: [email protected]
НАУЧНО-МЕТОДИЧЕСКИЕ ОСНОВЫ ПРОЕКТИРОВАНИЯ И КОНСТРУИРОВАНИЯ КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫХ ПЕДАГОГИЧЕСКИХ ТЕСТОВ
SCIENTIFIC AND METHODOLOGICAL BASIS OF PROJECTING AND CONSTRUCTING CRITERION- -ORIENTED PEDAGOGICAL TESTS
В статье рассматриваются научно-методические основы проектирования и конструирования критериально-ориентированных педагогических тестов. Раскрываются различные аспекты разработки тестовых заданий, их экспертной проверки и компоновки на их основе педагогических тестов. Здесь же обосновываются различные методы оценки качества педагогических тестов, их надежности и валидности.
Ключевые слова: критериально-ориентированный педагогический тест, спецификация и план теста, трудность задания, экспертные и математические методы оценки качества педагогического теста, валид-ность и надежность педагогического теста.
The article deals with the scientific and methodological basis of projecting and constructing criterion-oriented pedagogical tests. Different aspects of constructing tests, their expert verification and pedagogical tests composition on their basis are revealed. Here various methods of quality assessment of pedagogical tests, their reliability and validity are also grounded.
Keywords: criterion -oriented pedagogical test, specification and test plan, difficulty of assignment, expert and mathematical methods of estimation of the quality of pedagogical test, validity and reliability ofpedagogical test.
В настоящей статье представлены научно-методические основы проектирования и конструирования критериально-ориентированных тестов (mastery tests), которые нашли сегодня наиболее широкое применение в условиях реализации профессионального образования на технологической основе. Эти тесты сегодня широко используются для дифференциации студентов, разделения их на группы на основании заранее выбранного критерия. К сожалению, методика создания подобного инструментария в настоящее время в научно-методической литературе прописана недостаточно полно и однозначно. Попытка восполнить этот пробел будет сделана в настоящей статье.
Критериально-ориентированный педагогический тест (далее по тексту ПТ) представляет собой систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которыми должны овладеть студенты в результате определенного курса обучения. При этом указанный объем называется областью содержания этого теста. С ней и соотносятся учебные достижения отдельных студентов, чтобы определить, какую долю учебного материала они усвоили, задачи какого уровня сложности могут решать.
Разработка теста начинается с формулирования
его цели, то есть определения того, что тест должен измерять. Первоначально цель тестирования формулируется в общем виде. После формулирования цели теста и ее конкретизации в виде отдельных знаний, умений и навыков переходят к разработке спецификации теста.
Спецификация теста представляет собой набор описательных схем, которые позволяют установить соответствие между тестовыми заданиями и областью содержания теста. Она обеспечивает репрезентативность заданий по отношению к области содержания. Спецификация пишется на предельно операциональном языке и представляет собой, по сути, правила, по которым могут разрабатываться задания. При разработке спецификации необходимо стремиться сделать эти привила настолько четкими, чтобы их можно было использовать как алгоритмы.
Спецификация является основным нормативным документом теста и выполняет следующие основные функции: дает разработчикам заданий правила, по которым можно конструировать задания; позволяет экспертам оценивать имеющиеся задания на предмет их соответствия области содержания теста и выбраковывать неудачные задания; помогает интерпретировать результаты тестирования, так как в ней ясно и конкретно объясняется, что измеряет тест; дает поль-
© П.И. Образцов © P.I. Obraztsov
зователю теста четкое представление об измеряемых знаниях, умениях и навыках.
Основная проблема при написании спецификации состоит в обратном соотношении между широтой области содержания теста и четкостью спецификации. Если выбирается очень узкая область содержания, то довольно просто создать спецификацию, которая была бы краткой и в то же время четко задавала бы правила для написания заданий. Однако тесты с узкой областью содержания имеют ограниченное применение.
Предлагаемая ниже схема составления спецификации может включать пять (иногда шесть) разделов. Первый раздел - общее описание. Оно состоит из одного-двух предложений, описывающих, что измеряет тест. Более детальное представление о предмете измерения можно получить, ознакомившись со всей спецификацией. Второй раздел - пример инструкции и тестового задания. Здесь дается представление о том, как выглядит тест и какая форма заданий в нем используется. Третий раздел - характеристика формы заданий. Четвертый раздел - характеристика содержания заданий. Подробно описываются все аспекты содержания, представляющиеся существенными при разработке заданий, в том числе обычно указывается, какое смежное содержание не должно входить в тест. Пятый раздел - характеристика ответов. Содержание этого раздела зависит от выбора формы задания. Для заданий закрытой формы даются правила, по которым формулируются правильные ответы и варианты неправильных ответов. Для заданий открытой формы даются, если это необходимо, критерии для оценки ответа испытуемого как правильного. Для заданий на установление соответствия и на установление правильной последовательности данный раздел может не заполняться. Если выполнение заданий оценивается более сложным способом, чем присвоение баллов 0 или 1, то этот способ также указывается в данном разделе. Шестой раздел - дополнительный. Он используется в тех случаях, когда в тест входит достаточно большой объем однородного материала. Перечень однородных элементов содержания выносится в данный раздел, чтобы не загромождать другие разделы спецификации.
После составления спецификации разрабатывается план теста. Если, например, тест состоит из четырех разделов, то вначале делается примерная раскладка необходимого числа заданий на каждый раздел, исходя из общего предельного числа, обычно не превышающий 30-60 коротких заданий разного уровня сложности. Число заданий, выделяемых на каждый раздел, зависит от его важности в изучении дисциплины (см. пример табл. 1).
После разбивки заданий разрабатывается перечень задач, которые ставятся перед тестированием, например: А - умение давать определения; Б - знание законов, принципов, правил; В - умение применять их для решения предложенных примеров; Г - умение находить сходство и различия; Д - умение
представлять материал в различных презентабельных формах. Если на проверку умения А отвести, к примеру, 10% всех заданий, Б и В - 30%, г - 20% и Д - 10%, то общая раскладка числа заданий для рассмотренного примера принимает вид, представленный в таблице 2.
Таблица 1.
Пример раскладки заданий
Разделы учебной дисциплины Количество заданий % к общему числу заданий
I 12 20
II 18 30
III 24 40
IV 6 10
Итого 60 100%
Таблица 2.
Общая раскладка числа заданий
Умения и % заданий по их проверке Номера разделов, процент и число заданий Всего для проверки каждого умения
1-20% II- 30% III- 40% IV- 10%
А-19% 1 2 2 1 6
Б-30% 4 5 7 1 17
В-30% 4 5 7 2 18
Г-20% 2 4 5 1 12
Д-29% 1 2 3 1 7
Итого заданий 12 18 24 6 60
После формулирования цели теста, составления спецификации и плана теста необходимо перейти к разработке тестовых заданий. При составлении заданий теста следует соблюдать ряд правил, необходимых для создания надежного, сбалансированного инструмента оценки успешности овладения определенными учебными дисциплинами или их разделами. Правила для разработки тестовых заданий можно сформулировать следующим образом: во-первых, необходимо проанализировать содержание заданий с позиции равной представленности в тесте разных учебных тем, понятий, правил, действий и т.д. Тест не должен быть перегружен второстепенными терминами, несущественными деталями с акцентом на механическую память, которая может быть задействована, если тест включает точные формулировки из учебника или фрагменты из него; во-вторых, задания теста должны быть сформулированы четко, кратко и недвусмысленно, чтобы все пользователи однозначно понимали смысл того, что у них спрашивается. Важно проследить, чтобы ни одно задание теста не могло служить подсказкой для ответа на другое; в-третьих, варианты ответов на каждое задание должны подбираться таким образом, чтобы исключались возможности простой догадки или отбрасывания заведомо не подходящего ответа; в-четвертых, учитывая, что задаваемый вопрос должен быть сформулирован коротко, желательно также кратко и однозначно формулировать ответы (например, удобна альтернативная форма ответов, когда студент должен
подчеркнуть одно из перечисленных решений «да -нет», «верно - неверно»). Часто в задании делаются пропуски, которые должен заполнить испытуемый, или же выбирать из представленного набора ответов верный. Обычно на выбор предлагаются 4-5 вариантов ответа.
Вместе с этим педагогический тест должен удо -влетворять всем необходимым критериям, обладать высокой надежностью и удовлетворительной валид-ностью. Описываемый этап разработки теста включает в себя как само написание заданий, так и их анализ экспертными методами для выявления наилучших и выбраковки неудачных.
Сразу же после написания заданий их анализ проводится экспертными методами, которые позволяют оценить, в какой степени задания соответствуют по содержанию предмету измерения, т. е. действительно ли задания позволяют измерить именно те знания, умения и навыки, для которых разрабатывается тест. С другой стороны, экспертные методы анализа позволяют оценить задания с точки зрения их формы. В основе экспертных методов лежит соотнесение содержания и формы заданий с требованиями, изложенными в спецификации.
Приведем наиболее простую и в то же время достаточно эффективную процедуру анализа заданий с помощью экспертных методов. Как следует из названия, оценка заданий проводится экспертами. Чем больше количество экспертов, тем точнее оценка. На практике, если не предполагается очень широкое использование теста, вполне достаточно 4-5, в крайнем случае, 2-3 экспертов. В качестве экспертов должны выступать опытные преподаватели дисциплины, для которой разрабатывается тест. В предлагаемой процедуре в работе экспертов слиты воедино разработка заданий и их анализ.
Работа экспертов начинается с внимательного ознакомления со спецификацией теста. После этого эксперты приступают к разработке заданий на основе спецификации. Каждый должен написать столько заданий, сколько предполагается включить в тест. Таким образом, исходное количество заданий оказывается как минимум на 30% больше нужного, что дает возможность выбраковывать неудачные задания или создавать несколько вариантов теста, называемых тестовыми формами. При этом каждый эксперт отбирает задания по степени их трудности и различающей способности для включения в один из трех разделов теста - задания для слабых, хороших и сильных пользователей. После этого каждому эксперту даются задания, разработанные другими экспертами. Он их оценивает на предмет соответствия требованиям спецификации и программе изучения курса, а также включения в один из трех разделов теста. Задания, к которым не высказал замечаний ни один из экспертов, могут включаться в тест. Остальные задания нужно или улучшить путем переформулирования, или совсем исключить из дальнейшей работы.
После разработки и проведения экспертного ана-
лиза заданий получается первый вариант теста. Как правило, этот вариант бывает еще очень несовершенным. Чтобы повысить его качество, используются математические методы анализа заданий. Для применения этих методов нужен эмпирический материал - результаты реальной проверки (апробации) теста в учебных группах, так называемое пилотажное тестирование. После пилотажного тестирования осуществляется анализ тестовых заданий с использованием математических методов. Только после этого окончательно решается вопрос о включении того или иного задания в состав теста.
Анализ заданий математическими методами позволяет получить информацию об их скрытых дефектах, которые не удается выявить с помощью экспертных методов.
Среди многих характеристик, получаемых в результате математического анализа заданий, наиболее важными являются две - трудность задания и различающая способность задания.
Трудность задания и является традиционным показателем при анализе задания. Трудность заданий теста - это характеристика задачи (пункта) теста, отражающая статистический уровень ее решаемости в данной выборке стандартизации. Обычно она рассчитывается как отношение числа испытуемых, правильно выполнивших задание, к общему числу испытуемых. Этот показатель меняется в пределах от 0 до 1. Его значения тем больше, чем ниже трудность задания. При разработке критериально-ориентированных ПТ показатель трудности используется с целью конструирования тестов с желаемым уровнем трудности. Для повышения трудности теста в него включают больше заданий высокой трудности, а для понижения трудности - больше заданий низкой трудности.
Принято выделять субъективную и статистическую (объективную) трудности. Субъективная трудность задания связана с индивидуальным барьером, величина которого определяется как обстоятельствами (лимитом времени, доступностью инструкции и т. д.), так и уровнем сформированности необходимых для решения знаний, умений и навыков, психическим состоянием испытуемого и рядом других факторов. Воздействие комплекса этих факторов на результат выполнения теста снижает надежность и достоверность данных, поэтому важно принимать меры для выравнивания их воздействия с помощью направленного комплектования выборки и стандартной процедуры проведения тестирования.
Показателем трудности заданий как статистической трудности является доля лиц выборки, решивших и не решивших задание. Например, если только 15% испытуемых решили задачу, ее можно оценить как трудную для данной группы, если 85% - как легкую. Трудность заданий теста является относительной характеристикой, поскольку, зависит от особенностей выборки (возрастные, профессиональные, социально-культурные различия).
Подбор заданий по показателю трудности важен для успешного применения диагностической методики. Так, при выборе слишком трудных заданий валидность и надежность теста резко снизятся (ухудшение статистических характеристик оценивания из-за небольшого числа правильных решений, вероятность случайной оценки, влияние неудач на работу испытуемых). Слишком простые задания приведут к однообразию результатов (большинство справляется со всем набором пунктов теста), их незначительной вариативности, затрудняющей оценивание, могут вызвать негативное отношение к тесту.
Основная задача анализа трудности заданий теста сводится к выбору оптимальных по сложности пунктов теста, а значит, и упорядочиванию, отдельных заданий в нем. Обычно, если задачу решает большинство испытуемых, ее (как легкую) помещают вначале теста, если задачу решает незначительный процент испытуемых, то ее (как трудную) помещают в конце теста. Одну-две самых легких задач ставят перед основными задачами теста и используют в качестве примера. Расположение заданий по возрастанию ступеней трудности, выраженных долей или процентом лиц данной выборки, решивших соответствующую задачу, позволяет примерно определить порог трудности для индивидуального испытуемого, характеризующий его место в группе.
Основным показателем трудности заданий теста является индекс трудности (Ш,), вычисляемый по формуле:
Ui = 100*1 1 -
Ыр
где Ш - индекс трудности задания в процентах; Кр - число испытуемых, правильно решивших задачу; N - общее число испытуемых.
При учете случайного успеха путем угадывания для задачи с предписанным ответом трудность заданий теста рассчитывается по формуле:
Ui = 100*
Np -
1 --
Np m — 1
N
где Ш - индекс трудности задания в процентах; Кп -число испытуемых, не решивших задачу; Кр - число испытуемых, правильно решивших задачу; N - общее число испытуемых; т - число вариантов ответов.
Практика педагогического тестирования свидетельствует, что максимум информации об индивидуальном уровне знаний, навыков и умений испытуемых обеспечивают задания средней трудности (50%).
Различающая способность задания при разработке ПТ является особенно важной характеристикой, так как от нее в значительной степени зависит валидность теста. Эта характеристика показывает, насколько эффективно тестовое задание различает испытуемых, овладевших и не овладевших учебным материалом.
Показатели различающей способности задания также вычисляются на основании проведения пилотажного тестирования. Эти показатели требуют для расчета проведения двух серий измерений: повторного тестирования одной группы обучающихся или проведения теста на двух разных группах. При разработке теста для одной или небольшого количества групп обучающихся удобнее всего получить две серии измерений путем формирования контрастных групп. Эксперт выбирает из группы только тех студентов, про которых он может определенно утверждать, что они овладели или не овладели учебным материалом. Овладевшие материалом составляют «высокую» контрастную группу, а не овладевшие -«низкую» контрастную группу. Испытуемые, находящиеся в промежуточной стадии, не включаются в контрастные группы. Важно, чтобы контрастные группы были, по возможности, эквивалентны по составу. Это значит, что в них в одинаковой пропорции должны быть представлены испытуемые разных возрастов, полов, с разным уровнем одаренности, представители разных социальных групп и т. д.
Самый простой и известный показатель различающей способности задания по отношению к обучению Яр вычисляется как разность между долей испытуемых из «высокой» группы, правильно выполнивших задание, и долей испытуемых из «низкой» группы, тоже правильно выполнивших задание. Данный показатель высчитывается по следующей формуле:
Яр = П - П ; N н2
где Яр - показатель различающей способности; N N - количество испытуемых, попавших соответственно в «высокую» и «низкую» контрастные группы; п1 и п2 - количество испытуемых, правильно выполнивших задание, соответственно из «высокой» и «низкой» групп.
Показатель может принимать значения от -1 до +1. Яр равный «+1» означает, что задание обладает максимальной различающей способностью. Яр равный - «0» означает, что задание совершенно не различает испытуемых, овладевших и не овладевших учебным материалом. Если Яр равный «-1», что встречается очень редко, то задание различает испытуемых, но инверсированно: правильно отвечают не овладевшие материалом, а овладевшие материалом отвечают неправильно. Существование таких заданий может свидетельствовать о своеобразной неадекватной структуре знаний у обучающихся. Наряду с показателем Яр может быть использован показатель различающей способности задания Р который считается более надежным. Он может рассматриваться как вероятность согласованности между результатом выполнения испытуемым задания и отнесением испытуемого к «высокой» или «низкой» контрастной группе. Показатель рассчитывается по формуле
P = + X N N2
где N1 и N2 - количество испытуемых, попавших соответственно в «высокую» и «низкую» контрастные группы; n1 - количество испытуемых из «высокой» группы, правильно выполнивших задание; n3 - количество испытуемых из «низкой» группы, неправильно выполнивших задание.
Наилучшие задания будут иметь значения Р равные единице. Минимальное значение показателя достигается в том случае, если между отнесением испытуемого к одной из групп и выполнением им задания не существует никакой связи.
В профессиональной тестологии, как было сказано выше, существуют два критерия, связанных с качеством теста как инструмента измерения. Это валидность и надежность. Обычно валидность и надежность оцениваются с помощью математических методов и выражаются в специальных показателях.
Валидность теста выражает степень, в которой тест измеряет именно то, что он должен измерять. Разработчики не могут быть a priori уверены, что тест измеряет именно то, что должен. Намного проще формулировать цель, предмет измерения теста, чем подобрать тестовые задания таким образом, чтобы тест действительно измерял именно то, что необходимо разработчикам. Валидность теста - понятие, указывающее, что измеряет тест и насколько хорошо он это делает. Оценка этого критерия по содержанию, в сущности, означает систематическую проверку содержания теста с тем, чтобы установить, соответствует ли оно репрезентативной выборке измеряемой области знаний, навыков или умений.
Процедура валидизации обычно применяется при оценке педагогических тестов, предназначенных для измерения того, насколько индивид овладел конкретными навыками или учебным предметом. В этом случае возникает проблема адекватности выборки всего множества заданий, поэтому тестируемая область знаний навыков или умений должна систематически проверяться с тем, чтобы существовала уверенность, что задания теста охватывают все ее главные аспекты и в правильной пропорции. Тест легко перенасытить теми аспектами исследуемой области, по которым легче составить объективные задания. Поэтому рассматриваемое содержание следует фиксировать заранее, а не после того, как тест уже составлен. Правильно составленные педагогические тесты должны соответствовать не только предмет обучения, но и его задачам. Содержание, следовательно, необходимо определять достаточно широко, включая в него помимо знания фактического материала такие важнейшие цели обучения, как применение изученных принципов и интерпретацию данных. Кроме того, валидность содержания больше зависит от релевантности тестовых ответов индивида, рассматриваемой в сфере обучения, чем от
очевидной релевантности содержания тестовых заданий. Простая проверка теста может и не выявить те процессы, которые действительно обеспечивают выполнение теста испытуемым. Важно также избежать неоправданного обобщения выбранной темы тестирования. Если, например, орфографический тест с множественным выбором ответов измеряет способность распознавать правильно и неправильно написанные слова, то из этого не следует, что он также измеряет способность правильно написать диктант, количество орфографических ошибок в сочинении и другие аспекты грамотности письма.
В самом общем понимании валидность характеризует сам измерительный инструмент, и проверка этого аспекта называется теоретической валидизацией. Проверка эффективности и точности этого инструмента есть второй аспект валидности и называется прагматической (или практической) валидизацией. При подборе внешнего критерия необходимо соблюдать принцип его релевантности изучаемому признаку, т.е. между диагностируемым свойством и жизненно важным критерием должно быть смысловое соответствие. Если, например, разрабатывается тест для измерения особенностей развития личностных качеств, то для критерия необходимо найти такую деятельность или отдельные операции, где именно эти качества реализуются.
В критериально-ориентированном педагогическом измерении проблема обеспечения достаточной валидности стоит не очень остро. Общая валидность теста обуславливается валидностью отдельных заданий. Если составление спецификации, разработка и экспертный анализ тестовых заданий были проведены достаточно качественно, то это уже обеспечивает высокий уровень валидности. Для педагогического тестирования различающая способность заданий практически тождественна их валидности. Поэтому отбор заданий с высокой различающей способностью также способствует повышению валидности теста.
В ПТ критерием их валидности является собственное содержание теста, одобренное опытными экспертами. При этом у эксперта должна быть уверенность в том, что: задания теста находятся в соответствии с государственными образовательными стандартами и программой учебной дисциплины; задания теста охватывают не один какой-либо раздел, а всю программу курса; высока вероятность того, что обучающийся, успешно ответивший на определенные задания теста, знает учебный предмет в соответствии с установленным стандартом.
Перечисленные пункты объединяются общей идеей - содержит ли тест задания, пригодные для оценки знаний по конкретной учебной дисциплине? Если в результате статистической проверки выявляется, что ответы на задания теста позволяют обоснованно судить о знаниях студентов, то считается, что тест валиден по содержанию.
При оценке теста на валидность можно выбрать контрольную группу обучающихся и провести оценку их знаний, навыков и умений по дисциплине как с использованием разработанного теста, так и с помощью экспертных оценок, выставленных преподавателем-экспертом традиционным образом без использования теста. После чего результаты по вопросам теста и по оценкам экспертов сравниваются с точки зрения их корреляции. Мера согласованности оценок по тесту и по экспертным суждениям указывает на меру валидности.
Что касается величины коэффициентов валидно-сти, то она по разным причинам всегда ниже, чем коэффициент надежности. По мнению ведущих диагностов, низким признается коэффициент порядка 0.20 - 0.30, средним - 0.30 - 0.50, высоким - выше 0.60.
В дальнейшем, когда отобраны валидные задания, в качестве критерия можно брать суммарный индивидуальный балл испытуемых по всем заданиям. Вновь вводимое в тест задание должно коррелировать с этим критерием.
Под надежностью теста понимают согласованность результатов проведения теста на одной и той же группе испытуемых при разных условиях. Согласованность результатов нескольких тестирований - это их идентичность. Категория надежности тесно связана с точностью измерения: чём выше надежность теста, тем точнее результаты измерения.
Существует несколько типов надежности и, соответственно, несколько методов ее определения. Степень надежности теста выражается в специально разработанных показателях надежности.
Следует отметить, что высокое качество проведения отбора содержания для теста, составления спецификации, разработки тестовых заданий и их анализа способно обеспечить достаточно высокую надежность. Поэтому, если нет возможности использовать сложные математические методы, рекомендуется обратить особое внимание на вышеуказанные процедуры. Среди методов оценки надежности ПТ встречаются как очень сложные вычислительно и концептуально, так и довольно простые. Этот вид тестов, используемый для разделения испытуемых на группы по уровню их учебных достижений, чаще применяется на практике. Поэтому ниже будет дано описание наиболее простого из доступных методов оценки надежности ПТ.
Обычно для оценки надежности тест проводят два раза и сравнивают полученные тестовые баллы. Оба тестирование проводятся на одной и той же группе испытуемых, но меняются условия проведения: чаще всего либо время, либо набор заданий. На основании проведения теста два раза на одной и той же группе испытуемых через некоторый промежуток времени получают оценку так называемой ретестовой надежности. По ее показателю судят, насколько стабильны результаты тестирования во времени. Пользоваться данным методом следует с осторожностью, особенное внимание следует уделять правильному выбору вели-
чины временного интервала между двумя тестированиями. Если временной интервал слишком короткий, то испытуемые будут просто помнить свои предыдущие ответы и, вероятнее всего, повторят их. Если временной интервал слишком большой, то измеряемое свойство может измениться под влиянием каких-либо факторов. Тогда существенные различия между результатами первого и второго тестирований будут связаны не с низкой надежностью теста, а именно с изменением измеряемого свойства. Например, через значительный промежуток времени испытуемые могут выполнить тест лучше под влиянием дальнейшего изучения предмета или изучения смежных предметов. Ухудшение результатов может быть связано с забыванием усвоенного материала. Отсюда следуют два практических замечания. Во-первых, промежуток между двумя тестированиями должен быть не слишком большим и не слишком маленьким, например, одна-две недели. Во-вторых, оценка ретестовой надежности имеет смысл, только когда предполагается, что степень усвоения учебного материала стабильна во времени. Такая ситуация чаще встречается при итоговом контроле, например, в конце курса обучения.
После проведения анализа заданий математическими методами и оценки качества теста обычно оказывается, что тест требует доработки - удаления неудачных заданий, включения дополнительных заданий с требуемыми свойствами, повышения валидности или надежности. С учетом выявленных недостатков составляется новый вариант теста и опять проводится пилотажное тестирование, чтобы получить эмпирические данные для нового математического анализа. Цикл пилотажное тестирование - математический анализ должен «прокручиваться» до тех пор, пока не получится вариант теста с удовлетворяющими разработчика характеристиками. Наличие банка заданий, существенно превосходящего по объему количество заданий, используемое для теста, облегчает эту работу.
Если тест предназначается для использования в рамках одного учебного заведения, то процесс разработки теста можно упростить. Требования к качеству теста - степени его валидности и надежности могут быть несколько снижены. В этом случае можно прибегнуть к следующему приему. В первый вариант теста включается большее количество заданий, чем это необходимо. После математического анализа заданий и оценки качества теста исключаются неудачные задания, так чтобы повысить качество теста. Получается новый, улучшенный вариант. После этого на основании только оставленных заданий пере-считываются индивидуальные баллы испытуемых, которые и принимаются за окончательный результат тестирования. Если тест разрабатывается для проверки учебных достижений по стандартному курсу, то это дает возможность улучшать тест из года в год по результатам тестирования новых учебных групп.
Таковы, на наш взгляд, научно-методические основы проектирования и конструирования критериально-ориентированных ПТ.
Библиографический список
1. Информационные системы как средство обучения и контроля знаний студентов: монография / Под ред. проф. Б.Г. Бобылева, П.И. Образцова. Орел: Орел ГТУ 2008. 276 с.
2. Технологии подготовки специалистов в системе профессионального образования: монография / Под ред. П.И. Образцова. Орел: Изд-во ОГУ, 2011. 338 с.
3. Технологии профессиональной подготовки специалистов. монография / Под ред. П.И. Образцова. -Palmarium Academic Publishing - ISBN-978-3-659-98274-3, 2013. https://www.ljubljuknigi.ru
References
1. Information systems as means of learning and knowledge control: monograph / Ed. prof. B.G. Bobylev, P.I. Obraztsov. -Orel: Orel State Technical University, 2008. - 276 p.
2. Training technologies of specialists in the system of professional education: monograph / Ed. P.I. Obraztsov. - Orel: Orel State University, 2011. - 338 p.
3. Technologies of professional training. Monograph / Ed. P.I. Obraztsov. - Palmarium Academic Publishing - ISBN-978-3-659-98274-3, 2013. https://www.ljubljuknigi.ru
УДК 792. 027 С.В. ПЕРШИНА
аспирант кафедры педагогики и методики профессионального образования, преподаватель кафедры актерского искусства Белгородского государственного института искусств и культуры Е-maiI: [email protected]
UDC 792. 027 S.V. PERSHINA
graduate student of pedagogy and methodology of vocational education, lecturer of dramatic art, Belgorod State Institute of Arts and Culture Е-mail: [email protected]
СОДЕРЖАТЕЛЬНЫЕ КОМПОНЕНТЫ ОРГАНИЗАЦИОННО-ПЕДАГОГИЧЕСКОЙ КОМПЕТЕНТНОСТИ РУКОВОДИТЕЛЯ ЛЮБИТЕЛЬСКОГО ТЕАТРАЛЬНОГО КОЛЛЕКТИВА
В ВУЗЕ КУЛЬТУРЫ И ИСКУССТВ
CONCEPTUAL COMPONENTS OF ORGANIZATIONAL AND PEDAGOGICAL COMPETENCE OF AN AMATEUR THEATER GROUP LEADER IN CULTURE AND ARTS INSTITUTION OF
HIGHER EDUCATION
В статье рассматриваются содержательные компоненты организационно-педагогической компетентности руководителя любительского театрального коллектива, предлагается решение данного вопроса применительно к образовательным процессам всех вузов социокультурной сферы в системе повышения квалификации кадров профессионального образования на региональном уровне.
Ключевые слова: организационно-педагогическая компетентность, управленческая компетенция, художественно-педагогическая компетенция, коммуникативная компетенция, полисубъектное взаимодействие.
This article describes conceptual components of organizational and pedagogical competence of an amateur theater group leader, offers a solution of the issue with respect to the academic processes in Higher Education Institutions of social and cultural sphere in the system of professional improvement of vocational training personnel at the regional level.
Keywords: organizational and pedagogical competence, managerial competence, artistic and pedagogical competence, communicative competence, poly-subject interaction.
В современном российском обществе исследователями отмечается снижение культурного уровня населения, преобладание материальных ценностей над духовными. Основная масса молодежи ориентирована на атрибуты массовой куль-
туры, в ущерб подлинным духовным, культурным, национальным ценностям. Постепенно утрачиваются формы коллективной деятельности. Одной из причин такого состояния является недостаточный уровень профессиональной подготовки специали-
© С.В. Першина © S.V. Pershina
