CC BY
118
МЕТОДОЛОГИЯ ИЗМЕРЕНИЯ ЗНАНИЙ В ПРОФЕССИОНАЛЬНОЙ ПОДГОТОВКЕ
ТОМИЛЬЦЕВ Алексей Витальевич - канд. пед. наук, доцент, Уральский федеральный университет. E-mail: Tomiltcev@mail.ru
МАЛЬЦЕВ Алексей Владимирович - канд. биол. наук, доцент, Уральский федеральный университет. E-mail: A.V.Maltsev@urfu.ru
Аннотация. В статье поднимаются проблемы методологии измерения знаний студентов, оценки их соответствия требованиям внедряемых в стране профессиональных стандартов. Изучаемая проблема раскрывается с позиций как общеметодологической теории измерения, так и анализа практики ее применения в образовании и в иных сферах экономической деятельности.
Ключевые слова: измерение, профессиональный стандарт, знания специалистов, дидактические тесты
Для цитирования: Томильцев А.В., Мальцев А.В. Методология измерения знаний в профессиональной подготовке // Высшее образование в России. 2016. № 8-9 (204). С. 92-100.
В нашей стране проводятся глобальные изменения в требованиях к уровню профессиональной подготовки работников. Осуществляется попытка внедрить единые требования к работникам той или иной профессиональной группы на территории РФ; создается Национальная рамка профессиональных квалификаций. Стандартизация требований к уровню образования специалиста и его профессиональной квалификации заставляет по-новому организовать взаимодействие сфер профессионального образования и труда в целях повышения качества подготовки работников и их конкурентоспособности на российском и международном рынках труда, обеспечивая послание рынку адекватных сигналов о соответствии квалификации работников требованиям работодателей. Для этого вузы должны привести свои образовательные программы в соответствие с требованиями профессиональных стандартов. Современный профессиональный стандарт представляет собой набор обобщенных трудовых функций с расшифровкой возможных наименований должностей работников и необходимых требований к образованию и опыту работы для выполнения данной функ-
ции. Каждая обобщенная функция распадается на отдельные трудовые функции, содержащие перечень конкретных действий, которые должен выполнять работник, а также требования к знаниям и умениям, необходимым для выполнения данной трудовой функции. В зависимости от наличия соответствующих знаний и умений, а значит, и возможности выполнять ту или иную функцию определяется и уровень квалификации работника. Требования стандарта и требования работодателя становятся для вуза понятными, диагностируемыми и, как результат, достижимыми.
Для профессиональных учебных заведений проблема усугубляется тем, что законодатель требует привести образовательные программы в полное соответствие с профессиональными стандартами, т.е. организовать обучение для овладения компетенциями на уровне требований работодателя. Процитируем: «Формирование требований федеральных государственных образовательных стандартов профессионального образования к результатам освоения основных образовательных программ профессионального образования в части профессиональной компетенции осуществля-
ется на основе соответствующих профессиональных стандартов (при наличии)» Фактически образование превращается в услугодателя, ему отводится сервисная функция для удовлетворения потребностей заказчика.
Включение требований профессионального стандарта в образовательные программы высшего образования является непростой задачей. Очень сложно в рамках обязательной программы профессионального образования обеспечить овладение студентами всеми функциями профессионального стандарта одного квалификационного уровня. Работодатель указывает только тот прикладной аспект знаний и умений работника, который нужен ему для выполнения конкретных работ и должностных обязанностей. А достижение выпускником необходимых знаний и умений - это задача профессионального учебного заведения. Именно сфера образования должна решать, чему и в какой последовательности учить. От того, насколько качественно подготовлен выпускник, насколько он будет востребован на рынке труда, зависит благополучие учебного заведения.
Но возникает вопрос: как определить степень готовности лиц, получающих профессиональную подготовку, измерить уровень их профессиональной компетенции, как оценить, насколько он соответствует требованиям Национальной рамки профессиональных квалификаций? Из вышесказанного следует, что во всех отраслях национальной экономики, наряду с разработкой профессиональных стандартов, стоит задача создания соответствующих систем оценки и сертификации квалификации персонала, а также выпускников учреждений профессионального образования всех уровней, которые приходят на рынки труда. При этом в их основу должны быть заложены
принципы добровольности, беспристрастности и прозрачности, базироваться на системе критериев оценки полноты (качества) знаний, навыков и умений, включающей в себя надежные методики, основанные на четких стандартах и соответствующих способах измерения и оценки, а также готовности оценщиков к осуществлению такой деятельности. К сожалению, мы вынуждены констатировать тот факт, что наблюдается явный разрыв между требованиями закона о внедрении профессиональных стандартов и практическим отсутствием подготовки лиц, способных квалифицированно провести измерение и осуществить оценку уровня сформированности профессиональных компетенций.
Невозможно приступить ктакой работе, не определив сами понятия, на которых строится вся система оценивания. Поскольку браться за весь объем проблемы определения профессиональных компетенций в рамках одной статьи не представляется возможным, мы попытаемся рассмотреть проблему с точки зрения важнейшей составляющей профессиональной компетенции -знаний. При этом свое внимание сосредоточим на количественном подходе к определению уровня знаний - на их измерении. Данный подход стал весьма популярным благодаря широкомасштабному применению в образовании педагогического тестирования.
Проблема измерения знаний лежит в плоскости отличия предмета знаний от материального объекта, для которого процедуры измерения и оценки были первоначально предназначены. Материальный объект можно исследовать с помощью объективных способов измерения, таких какметры, килограммы, вольты и т.д. Если мы имеем надежные измерительные инструменты и проводили замеры в оговорен-
1 Федеральный закон от 02.05.2015 № 122-ФЗ «О внесении изменений в Трудовой кодекс Российской Федерации и статьи 11 и 73 Федерального закона «Об образовании в Российской Федерации». URL: http://www.1kadry.ru/#/document/99/902389617/
ных условиях, то и результат такого исследования может быть объективным. В случае сомнений материальный объект можно измерить повторно. Для получения объективной оценки и тем более измерения знаний требуется их объективация, которая возможна лишь при формализации и упорядоченности информации, представляющей знания. Такая формализация знаний в области образования обеспечивается соответствующими образовательными стандартами, предметными программами и многочисленной методической литературой.
Прежде всего разберемся с понятием "измерение" и его применимостью в образовательном процессе. Довольно распространенное определение измерения, данное в свое время С. Стивенсом (S. Stevens), - как процедуры приписывания чисел в соответствии с некоторыми правилами, - уже мало кого удовлетворяет. Поэтому делалось немало попыток дать новые определения. Ф.М. Лорд и М. Новик (Lord F.M., М. Novick) определяют измерение как такую процедуру приписывания чисел (обычно называемых тестовыми баллами) определенным свойствам, характеристикам испытуемых, которая верно отражает расположение испытуемых на шкале в зависимости от выраженности у них измеряемого свойства. Среди множества имеющихся в литературе определений измерения наиболее плодотворной представляется дефиниция, данная Н.Р. Кемпбеллом (N.R. Campbell) [1]. Он определяет измерение как «процесс приписывания чисел для отображения свойств в соответствии с требованиями науки». Этим определением он как бы подчеркивает измеримость только тех свойств, которые наука может определить. Трудности измерения знаний, интеллекта и тому подобных качеств личности Н.Р. Кемпбелл видит не в самих этих качествах, а в незнании их сущности. Для измерения знаний требуется определение объема учебной дисциплины, её содержания, раскрытие основных понятий, закономерностей и принципов.
Для того чтобы знания могли быть измерены, они должны быть подвергнуты квалиметрическому анализу [2], и тогда к выделенным элементам знания возможно применить инструменты, разработанные в соответствии с теорией измерений. Согласно ГОСТ (РМГ 29-99 «Метрология») выделяются следующие виды измерений:
1) прямые измерения, при которых искомое значение величины находят непосредственно из опытных данных. Например, измерение длины линейкой, температуры термометром и т.п.;
2) косвенные измерения, при которых искомое значение величины находят на основании известной зависимости между этой величиной и величинами, подвергаемыми прямым измерениям;
3) абсолютное измерение, основанное на прямых измерениях одной или нескольких основных величин и (или) использовании значений физических констант;
4) относительное измерение - измерение отношения величины к одноимённой величине, играющей роль единицы, или измерение изменения величины по отношению к одноимённой величине, принимаемой за исходную [3].
Очевидно, что первая и третья позиции имеют отношение кизмерению вещественных объектов, а вторая и четвертая - к измерению знаний.
Чтобы объективно осуществить процесс измерения, требуется осуществить следующие процедуры: выбрать параметры, характеристики, которые определяют интересующие нас свойства объекта; установить степень достоверности, с которой следует определять выбранные параметры, установить допуски, нормы точности и т.д.; выбрать методы и средства измерений для достижения требуемой точности; обеспечить готовность средств измерений выполнять свои функции привязкой средств измерений к соответствующим эталонам (посредством периодической поверки, калибровки средств измерений); обеспечить учет или
создание требуемых условий проведения измерений; обеспечить обработку результатов измерений и оценку характеристик погрешностей.
Измерения могут быть объективными или субъективными. Объективные измерения производятся измерительными приборами, действие которых основано на использовании физических законов. Теория объективных измерений достаточно хорошо разработана. Субъективные измерения производятся человеком, который выполняет роль как бы измерительного прибора. Естественно, что при субъективном измерении на его результаты влияет психология. Законченная теория субъективных измерений пока еще не построена. Однако можно говорить о создании общей формальной схемы как объективных, так и субъективных измерений. На основе логики и теории отношений построена теория измерений, позволяющая с единых позиций рассматривать как объективные, так и субъективные измерения.
Любое измерение включает в свой состав объекты, показатели и процедуру сравнения. Измеряются показатели (характеристики) некоторых объектов(потребите-ли, марки продуктов, магазины, реклама и т.п.). При этом в качестве показателей сравнения объектов используются пространственные, временные, физические, физиологические, социологические, психологические и другие свойства и характеристики объектов. Процедура сравнения включает определение отношений между объектами и способ их сравнения.
Введение конкретных показателей сравнения позволяет установить отношения между объектами, например, «больше», «меньше», «равны», «хуже», «предпочтительнее » и т.д. Существуют различные способы сравнения объектов между собой, например: последовательно с одним объектом, принимаемым за эталон, или друг с другом в произвольной или упорядоченной последовательности. Принципиальное от-
личие одного класса измерений от другого лежит в области объектов, подвергающихся оценкам. В физических измерениях в большинстве своем присутствуют вполне реальные объекты. В образовании все оцениваемые характеристики носят в основном латентный (скрытый) характер, препятствующий непосредственному измерению. В силу этого оцениванию подвергаются не сами характеристики, а их эмпирические референты - наблюдаемые признаки характеристик. Выбор таких референтов происходит интуитивно, поэтому их соответствие латентным характеристикам нуждается в тщательном доказательстве, проводимом на основе экспертного и статистического анализа эмпирических результатов измерения.
При оценивании латентные характеристики (переменная А) являются первопричиной, порождающей наблюдаемое множество результатов измерения (переменная В). Однако на практике совершается обратный шаг, поскольку именно отталкиваясь от наблюдаемых результатов, можно получить оценки латентных характеристик с определенной ошибкой измерения. Неизбежная латентность переменных измерения, в роли которых в образовании выступают уровни освоения знаний, умений, навыков или компетенций, приводит к необходимости проверки адекватности полученных оценок концептуальной переменной (переменным) измерения и точности оценок, что обеспечивается благодаря коррекции свойств измерителя [4]. Как только определена некоторая характеристика для выбранного объекта, говорят, что объект был измерен по данной характеристике. Легче измеряются объективные свойства (возраст, доход, и т.п.), чем субъективные свойства (чувства, отношения, качества услуг и т.п.). В последнем случае респондент должен перевести свои оценки на шкалу плотности (некоторую числовую систему), которую должен разработать исследователь.
В нашей предыдущей статье мы уже говорили о том, что объектом измерения в образовании могут быть не только сами знания, но и уровни знаний [2]. Мы указывали на то, что точно определенный объект измерения, его объем и структура позволяют подобрать измерительный инструмент, т.е. осуществить метрологическое исследование. Первый, самый главный уровень - это рассмотрение проблем измерения в образовании сквозь призму сложившейся практики - той, которая имеет своим предметом разработку и применение дидактических тестов. В практике формируется и соответствующее практическое мышление, заметно отличающееся от форм теоретического мышления. Практическое мышление создаёт и свою систему деятельности, в которой наряду с нормальными формами педагогических измерений встречается немало отклонений от общепринятых в науке. Второй уровень рассмотрения проблем педагогических измерений является теоретическим. Это совсем другая, отличная от практики тестирования форма деятельности, на которую нередко претендуют и практики [5].
Цель педагогических измерений - получение численных эквивалентов уровней подготовленности учащихся и студентов. Педагогические измерения проводятся посредством различных тестов. Основные цели педагогических измерений неразрывно связаны с качеством образования и образовательной деятельностью. В архиве американской литературы обнаруживаются такие, например, цели: помочь студенту познать себя и окружающий его мир; подготовить его к жизни, помочь адаптироваться к современным условиям, к жизни в демократическом обществе; способствовать раскрытию индивидуальных способностей; помочь в интеллектуальном и эмоциональном развитии, в синтезировании фактов и различной информации. Автор одной из очень редких работ по обоснованию процесса тестового контроля Р. Тайлер
(R. Tyler) уже давно наметил общий алгоритм («метод») перехода от формулирования целей обучения к достижению этих целей. Он сводится к следующим действиям: формулирование целей учебного курса; определение каждой цели в терминах реального поведения студента; подбор ситуаций, в которых проявилось бы наличие или отсутствие факта достижения студентом поставленной цели; проверка готовности студента действовать правильно в данных ситуациях; оценка ответов студента с точки зрения меры достижения поставленной цели; определение степени объективности тестового контроля, включая проверку надежности метода; совершенствование метода измерения учебных достижений на основе полученных данных [6].
Широко распространенное в современном образовании тестирование как раз и предполагает составление заданий, соответствующих содержанию учебной дисциплины; число таких заданий должно соответствовать целям и задачам измерительной процедуры. Большинство современных публикаций в области педагогических измерений связаны с расширением возможности применения тестовой формы контроля знаний, именно поэтому справедливо определять такой вид тестов как дидактический [7]. Поскольку в новых стандартах образования в качестве требований результатов обучения выступают разного рода компетенции, многие авторы прикладывают усилия для осуществления возможности применения дидактических тестов к определению уровня освоения компетенций. Можно отметить два направления исследований в этом направлении: использование уровневого подхода к разработке заданий в тестовой форме [8; 9] и сочетание тестовой формы с активными методами контроля [10; 11]. С нашей точки зрения, правомерен и тот и другой подход. Ранее мы уже предлагали в качестве уровневого подхода применение карты знаний как возможности проводить проверку знаний раз-
ного качества, являющихся основой многих компетенций [2].
Важной характеристикой измерений являются точность и надежность, которые определяют объективность процедуры измерений. Надежность педагогических и психологических тестов является одним из основополагающих понятий теории тестов и представляет собой главную характеристику их качества [12]. С понятием надежности в тестологии связано понятие ошибки измерения, которая определяется как величина отклонения от истинного значения. Определение ошибки измерения построено на статистической обработке результатов тестирования. Понятно, что измерение в образовании основано на статистическом характере самой процедуры измерения. В классической теории тестов в основе измерения лежит сравнение индивидуальных результатов с групповыми, а в современной теории тестов в качестве эталона измерения выступают сами задания тестов, точнее, их трудность [13].
Обратим внимание на то, что для проведения измерений и получения объективных результатов необходимо определить предмет измерений, измерительный эталон, методы измерений, способ обработки и интерпретации измерений, а также обеспечить единство измерений, выбор подходов к оценке результатов.
При измерении знаний методом тестирования предмет измерения определяется специальным документом - спецификацией, методическую значимость которого трудно переоценить. Не случайно спецификация материалов государственной аттестации (ЕГЭ и ОГЭ) утверждается на самом высоком уровне руководства системы образования РФ.
Измерительным эталоном в тестах выступают правильные ответы или ответ. Собственно, вся система знаний направлена на получение таких ответов. При этом педагогов при определении правильного ответа в рамках тестовой технологии всегда смуща-
ла его однозначность. Действительно, в рамках классической теории тестов однозначность правильного ответа - это аксиома процедуры тестирования, которая на деле предполагает тщательный отбор той части знаний, которая соответствует этому принципу. Однако в рамках современной теории тестов, предполагающей задания, где однозначность не является обязательным требованием, возможна проверка большей части составляющей знания, а возможно, и всего знания. При разработке заданий в тестовой форме для проверки компетенций ряд авторов также рекомендуют задания с несколькими правильными ответами [7].
Метод измерения в тестологии, применяемой в образовании, определяется, как было отмечено, выбором модели - классической или современной. В первом случае индивидуальный результат каждого участника сравнивается с показателями группы; в качестве таковых выступают понятия среднего математического ожидания и нормы. Во втором - результаты тестируемых соотносятся с трудностью заданий, которые они выполняли. Как и в первом случае, применение метода измерения возможно только если результаты множественны, т.е. имеют статистику, причем чем она больше, тем более качественно осуществляется процедура измерения.
Единство измерений в процедуре тестирования обеспечивается стандартизацией тестов. В регламенте тестирования жестко прописано время, отведенное на выполнение заданий, которое ни в коем случае нельзя нарушать. Ограничение по времени, являющееся обязательным атрибутом тестирования, порождает особенность этой формы проверки знаний - она не для «тугодумов». На практике это означает, что для прохождения проверки знаний в форме тестирования нужна особая подготовка - тренинг, учитывающий временной фактор.
Способ обработки измерений тесно свя-
зан с процедурой стандартизации тестов, поскольку последняя предполагает применение одинакового для всех участников механизма проверки результатов тестирования. В интерпретации результатов тестирования есть своя специфическая особенность. При всем многообразии его целей и задач выделяются два типа тестов: ориентированные на норму и ориентированные на критерий. В первом случае (в так называемых нормативно-ориентированных тестах) главной целью тестирования является максимальная дифференциация группы тестируемых по уровню знаний; исходя из этой цели происходит интерпретация результата. Во втором случае (в критериально-ориентированных тестах) главная цель - установление соответствия каждого результата определенному критерию [12]. В образовании первую группу составляют тесты, предназначенные для отбора, например, при конкурсном поступлении в вуз. Так, в случае ЕГЭ по предметам, которые выбирает сам ученик, процедура ориентирована на их максимальное разделение по уровню знаний (чтобы обеспечить конкурсный отбор). Вторая группа - это аттестационные тесты; в случае ЕГЭ по обязательным предметам для учащихся важно показать результат выше критического, подтвердив тем самым минимум знаний, необходимый для получения аттестата.
Можно сказать, что суть процедуры измерения состоит в переходе от объектов измерения к шкале, на которой выстроены оценки, замещающие исследуемые характеристики этих объектов. Подобная процедура позволяет уйти от объектов измерения и сосредоточить внимание на измеряемых характеристиках. В зависимости от количества измеряемых переменных можно говорить об одномерных (одна переменная) или многомерных (более одной переменной) измерениях. Соответственно, по результатам измерения строится одна шкала или несколько; в последнем случае их число равно числу переменных измерения.
Уровень профессиональной подготовки специалистов обусловлен качеством их подготовки в системе образования, качеством применяемых технологий обучения и воспитания,личностно-ориентированной направленностью на формирование творческих способностей специалиста, опережающим характером профессионального образования [14]. Если в результате измерения и оценки заказчик приходит к выводу о достаточном уровне профессиональной подготовки выпускников, то все заинтересованные лица: союзы работодателей, торгово-промышленные палаты, представители органов исполнительной власти на местах - могут рассматривать вуз не только как центр подготовки и повышения квалификации, но и как центр независимой оценки и сертификации работников региона.
Сертификация квалификаций - это подтверждение независимой стороной того, что все имеющиеся или полученные знания, понимание, опыт, отношения, ценности и т.д. получили оценку и соответствуют требованиям профессиональных стандартов. По сути, система сертификации квалификаций - неотъемлемая часть новой платформы взаимодействия образования и рынка труда, в рамках которой ключевое место отводится профессиональным стандартам. Благодаря этому в значительной степени будет снят барьер недоверия, который существует сейчас между образованием и бизнесом, когда речь идет о качестве подготовки выпускников учреждений образования, о признании дипломов, с которыми они приходят на рынок труда. Создание на базе вуза центра независимой оценки возможно только на основании признания результатов сертификации самим профессиональным сообществом. Этого можно добиться, разрабатывая и внедряя системы измерения и оценки, которые будут понятны заказчику. Вузу это позволит быть в курсе всех изменений, происходящих на рынке труда, и строить образовательную
деятельность в соответствии с намечающимся трендом, осуществляя процесс опережающей подготовки специалиста.
Литература
1. Campbell N.R. An Account of the Principles
of Measurement and Calculation. N-Y. Longmans, Green and Co, Ltd, 1928. 293 p.
2. Томильцев А.В, Мальцев А.В. Стандарти-
зация содержания образования на основе составления Структурно-логической схемы (карты знаний) // Известия Уральского федерального университета. Серия 1. 2015. № 3. С. 141-153.
3. Глушкова О.Г, Медовикова Н.Я, Рейх Н.
Метрологическое обеспечение. URL: http://quality.eup.ru/METROL/mo.htm/
4. Звонников В.И, Челышкова М.Б. Контроль
качества обучения при аттестации: ком-петентностный подход. URL: http:// www.kniga.com/books/ preview_ txt.asp?sku=ebooks180194#TOC_IDAFJZ5G
5. Аванесов В.С. Вопросы методологии педа-
гогических измерений. URL: http:// testolog.narod.ru/EdMeasmt3.html#_ftn18
6. Bloom B.S. The relationship between educa-
tional objectives and examinations designed to measure achievement in general education courses at the college level. A diss. Chicago, 1946. 124 p.
7. Вербицкий А.А, Пучкова Е.Б. Возможно-
сти теста как средства диагностики каче-
ства образования: мифы и реальность // Высшее образование в России. 2013. № 6. С. 33-44.
8. Ан А.Ф, Соколов В.М. О процедуре оце-
нивания подготовленности студентов по физике в техническом вузе // Высшее образование в России. 2014. № 3. С. 99-108.
9. Анисимова М.А, Бляхеров И.С, Маслен-
ников А.В, Моржов А.В. К вопросу о проектировании оценочных средств сформи-рованности компетенций // Высшее образование в России. 2013. № 4. С. 106112.
10. Ибрагимов Г.И., Ибрагимова Е.М. Оценивание компетенций: проблемы и решения // Высшее образование в России. 2016. № 1(197). С. 43-52.
11. Мартыненко О.О, Якимова З.В, Николаева В.И. Методический подход к оценке компетенций выпускников // Высшее образование в России. 2015. № 12. С. 35-45.
12. Введение в классическую и современную теорию тестов: учебник / Л. Крокер, Дж. Алгина; под общ. ред. В.И. Звонникова и М.Б. Челышковой. М.: Логос, 2010. 668 с.
13. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. М.: Логос, 2002. 432 с.
14. Томильцев А.В. Управление качеством образования. Практико-ориентирован-ная монография. Урал. гос. пед. ун-т. Екатеринбург, 2010. 232 с.
Статья поступила в редакцию 25.04.16.
METHODOLOGY FOR KNOWLEDGE MEASUREMENT IN PROFESSIONAL TRAINING
TOMILTCEVAlexey V. - Cand. Sci. (Pedagogy), Assoc. Prof., Ural Federal University named after the first President of Russia B.N. Yeltsin. Ekaterinburg, Russia. E-mail: Tomiltcev@mail.ru
MALTSEVAlexey V. - Cand. Sc. (Biology), Assoc. Prof., Ural Federal University named after the first President of Russia B.N. Yeltsin. Ekaterinburg, Russia. E-mail: A.V.Maltsev@urfu.ru
Abstract. The article addresses the problems of methodology to measure and assess students' knowledge in accordance with the prescriptions of professional standards that are implemented in higher education system of Russia. The research problem is considered both from the position of the general theory of measurement, and the analysis of the application practice in education and other spheres of economic activity.
Keywords: measurement, assessment, knowledge assessment, professional standards, specialists' knowledge, didactic tests
Cite as: Tomiltcev, A.V., Maltsev, A.V. (2016). [Methodology for Knowledge Measurement in Professional Training]. Vysshee obrazovanie v Rossii [Higher Education in Russia]. No. 8-9 (204), pp. 92-100. (In Russ., abstract in Eng.)
References
1. Campbell, N.R. (1928). An Account of the Principles of Measurement and Calculation. N-Y. Longmans, Green and Co, Ltd, 293 p.
2. Tomiltcev, A.V., Maltsev, A.V. [Standardization of the Education Content Based on Structural and
Logical Development Scheme (Knowledge Map)]. Izvestiya Ural'skogo federal'nogo universiteta [Bulletin of Ural Federal University]. Series 1. 2015. No. 3, pp. 141-153. (In Russ.)
3. Glushkova, O.G., Medovikova, N.Ya., Reich, N. Metrological Supporting. URL: http:// quali-
ty.eup.ru/METROL/mo.htm/ (In Russ.)
4. Zvonnikov, V.I., Chelyshkova, M.B. Education Quality Controlling in Attestation: Competency
Approach. URL: http://www.kniga.com/books/preview_ txt.asp?sku= ebooks180194#T0C_ IDAFJZ5G (In Russ.)
5. Avanesov, V.S. Voprosy metodologiipedagogicheskikh izmerenii [Issues of Pedagogic Measurement
Methodology]. URL: http://testolog.narod.ru/EdMeasmt3.html#_ftn18 (In Russ.)
6. Bloom, B.S. (1946). The Relationship Between Educational Objectives and Examinations Designed
to Measure Achievement in General Education Courses at the College Level. A diss. Chicago, 124 p.
7. Verbitskiy, A.A., Puchkova, E.B. (2013). [The Potential of Tests as a Means of Education Quality
Diagnostics: Myths and Reality]. Vysshee obrazovanie v Rossii [Higher Education in Russia]. No. 6, pp. 33-44. (In Russ., abstract in Eng.)
8. An, A.F., Sokolov, V.M. (2014). [About the Estimation Procedure of Training Level in Physics at
Technical University]. Vysshee obrazovanie v Rossii [Higher Education in Russia]. No. 3, pp. 99108. (In Russ., abstract in Eng.)
9. Anisimova, M.A. Blyaherov, I.S., Maslennikov, A.V., Morzhov, A.V. (2013). [About the Designing
of Estimation Means for Students' Professional Competences]. Vysshee obrazovanie v Rossii [Higher Education in Russia]. No. 4, pp. 106-112. (In Russ., abstract in Eng.)
10. Ibragimov, G.I., Ibragimova, E.M. (2016). [Competence Assessment: Challenges and Solutions]. Vysshee obrazovanie v Rossii [Higher Education in Russia]. No. 1 (197), pp. 43-52. (In Russ., abstract in Eng.)
11. Martynenko, O.O., Yakimova, Z.V., Nikolaeva, V.I. (2015). [Methodological Approaches to Assessing Graduates' Competencies]. Vysshee obrazovanie v Rossii [Higher Education in Russia]. No. 12, pp. 35-45. (In Russ., abstract in Eng.)
12. Vvedenie v klassicheskuyu isovremennuyu teoriyu testov: uchebnik [Introduction to Classical and Modern Test Theory: textbook] / Crocker, L., Algina, J.; under the general editorship V.I. Zvonnikov, M.B. Chelyshkova. Moscow: Logos Publ., 2010. 668 p. (In Russ.)
13. Chelyshkova, M.B. (2002). Teoriya ipraktika konstruirovaniya pedagogicheskikh testov [The Theory and Practice of Pedagogic Test Constructing: Education Guidance]. Moscow: Logos Publ., 432 p. (In Russ.)
14. Tomiltcev, A.V. (2010). Upravlenie kachestvom obrazovaniya [Quality Management in Education. Practice-Oriented Monograph] Yekaterinburg, Ural State Pedagogical Univ. Publ. 232 p. (In Russ.)
The paper was submitted 25.04. 16.
