CC BY
16
УДК 378.146:378.662-057.875
https://doi.org/10.24158/spp.2019.4.21
Вялкова Оксана Сергеевна
Vyalkova Oksana Sergeevna
старший преподаватель кафедры «Вычислительная техника и компьютерная графика» Дальневосточного государственного университета путей сообщения
Ельцова Валентина Юрьевна
Senior Lecturer, Computer Engineering and Computer Graphics Department, Far Eastern State Transport University
Eltsova Valentina Yuryevna
кандидат педагогических наук, доцент кафедры «Вычислительная техника и компьютерная графика» Дальневосточного государственного университета путей сообщения
ТЕСТИРОВАНИЕ
КАК МЕТОД КОНТРОЛЯ КАЧЕСТВА ИНЖЕНЕРНО-ГРАФИЧЕСКОЙ ПОДГОТОВКИ СТУДЕНТОВ ВУЗА
PhD in Education Science, Associate Professor, Computer Engineering and Computer Graphics Department, Far Eastern State Transport University
TESTING AS A QUALITY CONTROL TECHNIQUE OF ENGINEERING GRAPHICS TRAINING OF UNIVERSITY STUDENTS
Аннотация:
В статье основное внимание авторов обращено на возможности использования тестирования в оценке уровня инженерно-графической подготовки студентов вуза. Затронута проблема оценки качества обучения по отдельной дисциплине в контексте достижения общего результата профессионального обучения. Таким результатом выступает формирование у студентов профессиональных компетенций, приобретение ими определенных знаний, умений и навыков. Авторы рассматривают достоинства и недостатки актуального теста федерального интернет-экзамена в сфере профессионального образования (ФЭПО-2018). Этот тест является инструментом контроля качества инженерно-графической подготовки студентов технического вуза в процессе их профессионального становления. В заключение сделан вывод о необходимости совершенствования как базы тестовых заданий, так и самой процедуры проведения тестирования. Обозначен потенциал тестирования как дидактической стратегии, реализуемой посредством качественного подбора дидактического материала.
Ключевые слова:
тестирование, контроль качества, инженерно-графическая подготовка, студенты вуза, компетенция, федеральный интернет-экзамен в сфере профессионального образования.
Summary:
The research focuses on the possibilities of testing while assessing engineering graphics training of university students. The study deals with the quality assessment of education in a particular area when achieving overall vocational learning outcomes. These outcomes include the development of students' professional competence and the acquisition of specific knowledge, skills, and abilities by them. The authors consider the advantages and disadvantages of the 2018 Federal Internet Exam in Vocational Education. This test is a tool for monitoring the quality of engineering graphics training of engineering students in their professional development. The authors conclude that both test base and testing procedure should be enhanced. Testing can be regarded as a didactic strategy implemented through the high-quality selection of didactic materials.
Keywords:
testing, quality control, engineering graphics training, university students, competence, Federal Internet Exam in Vocational Education.
Система высшего образования базируется на компетентностном подходе. В научной литературе широко распространено определение компетенции как личностной способности специалиста решать определенный класс профессиональных задач. Проблемой становится оценка качества обучения по отдельной дисциплине в контексте достижения общего интегрального результата профессионального обучения. Основой управления качеством предметного обучения в условиях компетентностного подхода выступает контроль текущего уровня обученности студентов, поскольку формирование требуемых предметных компетенций является процессом, состоящим из нескольких стадий.
Активно развивающиеся компьютерные технологии становятся эффективным инструментом анализа выполненных заданий. Электронные средства обучения (ЭСО) не обходятся без компьютерных тестов.
Обратимся здесь к понятию теста и приведем краткий экскурс в историю тестологии.
В Философском энциклопедическом словаре под редакцией Л.Ф. Ильичева (1983) понятие «тест» применительно к психологии определено как стандартизированные задания, результат выполнения которых позволяет измерять некоторые психофизиологические и личностные характеристики, а также знания, умения и навыки испытуемого.
Толковый словарь русского языка под редакцией Д.В. Дмитриева трактует тест как стандартное задание, которое предлагается с целью оценить умственное развитие, особые способности испытуемого или другие стороны его личности.
Упрощенно «тест» понимается как простой выбор одного ответа из нескольких предложенных к вопросу.
Вопросы тестирования поднимались в трудах как зарубежных ученых: Л. Бахмана, Ф. Галь-тона, Дж. Кеттелла, Р. Ладо, А. Макколла, Э. Торндайка, так и отечественных: С.Р. Балуян, Л.В. Банкевича, В.А. Коккоты, О.Г. Полякова, Ф.М. Рабинович, И.А. Рапопорта, С.К. Фоломкиной, И.А. Цатуровой.
Первыми посвятили свои работы тестам и совершенствованию методик их применения такие видные российские ученые, как А.П. Нечаев, В.М. Кадневский, А.Ф. Лазурский, Н.Е. Румянцев, А.М. Шуберт и др.
Родоначальником учения о тестах признан Дж. Кеттелл, который ввел в науку понятие «интеллектуальный тест». Он заметил, что тестами можно пользоваться как средствами измерения свойств человеческой психики. Ученый предложил систему тестов, которые включали некоторые измерения чувствительности, остроты зрения и слуха, времени реакции, времени, затрачиваемого на называние цвета, количества звуков, воспроизводимых после однократного прослушивания.
В 1904 г. французское министерство образования сформировало комиссию для изучения проблем школьников, отстававших в учебе. Ей было поручено создать методику для отделения детей со способностями к учению от тех, у кого определялись врожденные дефекты, не позволяющие им учиться в обычной школе. В ходе этой проверки психологи А. Бине и Т. Симон провели эксперименты по изучению внимания, памяти, мышления детей разных возрастов. Ученые представили шкалу, вычисляющую коэффициенты уровней развития интеллекта. Тесты Бине - Симона получили широкое признание психологов всего мира. Американский психолог Льюис Мей-дисон Термен из Стэнфорда внес серьезные изменения в методику Бине - Симона, фактически создав новый тест, позднее получивший название «шкала Стэнфорд - Бине». Л.М. Термен ввел понятие коэффициента интеллектуальности, а также применил новый критерий оценки тестирования - статистическую норму. Описываемый тест в скором времени стал одним из самых распространенных методов психологического исследования [1].
За второй этап развития тестирования можно принять 1920-60-е гг. В этот период тесты разрабатывались в рамках биологизаторского направления в развитии личности. Тесты начали разделять на психологические и педагогические (дидактические). Дидактические тесты создавались по всем дисциплинам, которые изучали школьники. Практика тестирования стала системной, и, как следствие, появились тестовые программы.
Проблемам профессионального отбора (или педагогического тестирования) посвящали свои работы многие авторы. Среди них С.М. Василейский, Е.В. Гурьянов, И.Н. Шпильрейн и многие другие. Большой вклад в исследование тестологии внесли В.С. Аванесов, А. Анастази, В.И. Васильев, Г.И. Россолимо, Т.Н. Тягунова, И.А. Цатурова, Г.И. Челпанов, М.Г. Ярошевский и др.
Благодаря возникновению и развитию тестирования появился эффективный метод объективной оценки, обработки и интерпретации необходимых показателей: результата учебного процесса, определенных психологических качеств, свойств и состояний в развитии.
Тестированием определяется, соответствует ли предмет испытания необходимым требованиям, но не устанавливаются причины несоответствия. Это только диагностирование в узком смысле слова. Тестирование применяется в различных сферах: технике, медицине, психиатрии, образовании - для выявления необходимых показателей.
Уровень подготовки по конкретной дисциплине проверяется стандартизованными тестами. Каждый испытуемый получает одинаковые вопросы и задания, выполняет их в тот же промежуток времени, что и остальные, находясь при этом в равных с ними условиях. Правила оценивания результатов едины для всех. Достоверность результатов тестирования во многом зависит от проводящего его специалиста. Широко применяемые тесты главным образом устанавливают уровень знаний испытуемых.
Э. Торндайк путем исследования установил закономерную связь между ситуационными обстоятельствами, в которые попадает тестируемый организм, и его движением как ответной реакцией [2].
Педагогическими тестами определяется эффективность обучения школьников. Они позволяют учитывать разные методы обучения по изучаемым наукам. Педагогические тесты можно определить как совокупность заданий различного уровня, которые дают возможность получить объективное представление о результатах работы учащихся. Задания имеют общую связь и порядок, что объединяет их в систему. Задания одной учебной дисциплины, одной системы знаний, одного раздела, одной темы и т. д. формально делятся по степени трудности.
Определенное содержание теста означает использование в нем только такого контрольного материала, который составляет содержание учебной дисциплины.
Понятие «длина теста» введено в начале XX в. Ч. Спирменом и обозначает количество заданий теста. От числа заданий некоторым образом зависит точность педагогических измерений [3].
Результатом работы над тестовым заданием является выбор того или иного варианта из числа предложенных или высказывание определенной формы. Правдивость выбранных вариантов или высказываний авторы тестов определяют заранее.
Посредством тестирования, как правило, проверяются знания, умения, навыки и представления испытуемого. Выбирать правильные ответы из предложенных, в том числе и неправильных, обучающийся должен на основе приобретенных профессиональных компетенций, которые формируются на протяжении всего периода обучения.
Вопросам контроля в обучении посвятили свои работы такие современные ученые, как В.П. Варушкин, Н.В. Иванушкина, Т.А. Кабанова, Л.А. Коляда, О.А. Маркова, Н.В. Соснин.
О.А. Маркова утверждает, что «каждый тест по графической подготовке для тематического контроля содержит задания различных уровней усвоения и оценивается по числу правильно выполненных заданий. Выполнение тестов каждого уровня преследует определенные цели обучения и контроля» [4, с. 349]. Далее автор характеризует тесты четырех различных уровней, которые дают педагогу представление об уровне усвоения и применения полученных знаний обучающимся, мастерства и способности действовать творчески при принятии профессиональных решений.
Т.А. Кабанова подчеркивает преимущества тестирования по сравнению с другими формами контроля знаний:
1) процедура и тестовые задания стандартизованы, что обеспечивает объективность данного способа проверки;
2) равные условия для контроля и оценивания исключают субъективность;
3) тест - более объемный инструмент контроля по сравнению с традиционными способами оценки;
4) тест - наиболее точный инструмент проверки;
5) тестирование - более выгодный инструмент контроля знаний студентов с экономической точки зрения;
6) тестирование считается более щадящим испытанием, нежели устный экзамен [5].
В периоды промежуточной аттестации студенты Дальневосточного государственного университета путей сообщения участвуют в федеральном интернет-экзамене в сфере профессионального образования (ФЭПО). Приказы о его проведении содержат следующие формулировки: «В целях диагностики состояния базовой подготовки студентов на соответствие требованиям федеральных государственных образовательных стандартов на основе внешней независимой оценки (показатель 5.3 "дорожной карты"), а также для контроля качества знаний, умений и навыков студентов, полученных за 1-е полугодие 2017/18 учебного года, ...директорам институтов и заведующим кафедрами проанализировать аналитический отчет с результатами тестирования по каждой образовательной программе, дисциплине.»; «В целях проверки освоения компетенций, контроля качества знаний, умений и навыков студентов, полученных за 2-е полугодие 2017/18 учебного года, в рамках развития внутренней независимой оценки качества образования приказываю принять участие и утвердить программу проведения интернет-тестирования с 21 мая 2018 г. по 9 июня 2018 г. в соответствии с планом тестирования.»
Приказ также обязывает преподавателей дифференцированно оценивать текущую работу каждого студента, учитывая такие параметры, как посещение лекций, активность на практических и лабораторных занятиях, выполнение графика самостоятельных работ и итоги промежуточного тестирования. Содержание каждой отдельной дисциплины не регламентирует, какие профессиональные компетенции должны формироваться в процессе ее изучения [6, с. 21].
Л.А. Коляда исследует вопросы повышения качества профессиональной подготовки будущих педагогов. По мнению автора, «педагогический аспект повышения качества профессиональной подготовки студентов в вузе требует его рассмотрения как результата образовательного процесса, отвечающего запросам самой личности студента и социального заказа. Вуз должен готовить специалистов, способных к высокоинтенсивному труду, .к творческой деятельности, к осуществлению непрерывного образования» [7]. В связи с этим возникают следующие вопросы: какие показатели характеризуют качество профессиональной подготовки студентов, как их выявить в учебно-воспитательном процессе. Остается неясным, что именно должны демонстрировать, уметь делать студенты в результате прохождения курса.
Федеральный государственный образовательный стандарт высшего образования (ФГОС ВО) по направлению подготовки 08.03.01 «Строительство» (уровень бакалавриата) устанавливает, что в результате освоения программы бакалавриата у выпускника должен быть сформирован ряд универсальных и общепрофессиональных компетенций [8].
В процессе обучения студент технического вуза, помимо знаний ГОСТов и компьютерных технологий (САПР), приобретает геометро-графические знания. Последние определяют специалиста высокого уровня в любой области инженерной деятельности. Цель геометро-графической подготовки - воспитание индивида, обладающего высоким уровнем графической грамотности.
Компонентная структура инженерно-графической подготовки представлена на рисунке 1. В ее основу заложены личностный уровень активности, профессиональная мотивация, профессиональная мобильность, нацеленность на профессиональное обозначение индивидуальности.
Инженерно-графи неская подготовка
-*---" Когнитивный компонент 1 Деятельности (геометро-графич г ый компонент эская подготовка) —-»- Ценностно-мотивационный компонент
Рисунок 1 - Структура инженерно-графической подготовки студентов вузов
Геометро-графическая подготовка является стержневой составляющей инженерно-графической подготовки специалиста.
Когнитивный компонент включает в себя способность и готовность к проявлению инженерно-графического мышления, знание принципов систем автоматического проектирования, способов обработки инженерно-графической информации в различных компьютерных программах, владение профессиональной терминологией.
Ценностно-мотивационный компонент включает в себя способность и готовность к самосовершенствованию и самореализации посредством освоения инженерно-графических модулей, способность самостоятельно работать с информацией в глобальных компьютерных сетях, знание целей и результатов инженерно-графической подготовки, реализацию потребностей в самообучении и самосовершенствовании, повышении статуса через достижение успеха.
Деятельностный компонент включает в себя способность и готовность к решению задач, профессионально значимые умения и навыки, умения определять оптимальные соотношения сборочного чертежа и рабочих чертежей деталей, входящих в сборочную единицу, выполнение и чтение чертежей как конструкторской документации.
Деятельностный компонент инженерно-графической подготовки возможно оценить с помощью тестирования. При этом возникает вопрос, как оценить уровень когнитивного и ценностно-мо-тивационного компонентов? А между тем результаты ФЭПО учитываются при аккредитации и лицензировании вузов. Полагаем, что в ходе этих процедур необходимо принимать во внимание результаты ФЭПО студентов только старших курсов, у которых уже должен быть сформирован творческий уровень компетенций (у первокурсников, как правило, сформирован только 1-й или 2-й уровень компетенций - репродуктивный). Творческий уровень компетенций позволяет судить о сформированное™ когнитивного и ценностно-мотивационного компонентов инженерно-графической подготовки студентов технического вуза в процессе их профессионального становления.
Ранее говорилось о позитивных моментах тестирования, теперь назовем его недостатки.
- Результаты тестирования показывают пробелы в знаниях по конкретным разделам изучаемой дисциплины, но не позволяют оценить их причины.
- Тест не позволяет проверять и оценивать высокие, продуктивные уровни знаний, связанные с творчеством.
- Тесты охватывают широкий объем материала, что рассматривается как положительный фактор. Однако обучающийся при тестировании, в отличие от устного или письменного экзамена, не имеет достаточно времени для сколько-нибудь глубокого анализа темы.
- В тестировании присутствует элемент случайности, что не позволяет составить объективной картины о знаниях обучающихся, приводит к искажению результатов. Например, студент, не ответивший на простой вопрос, может дать правильный ответ на более сложный [9].
При подготовке статьи был проведен следующий эксперимент. Нескольких студентов, которые никогда не изучали начертательную геометрию и инженерную графику, попросили ответить на вопросы теста, не читая их. Варианты ответов предложено было выбрать случайно, пользуясь последовательным выбором сверху вниз и снизу вверх. В качестве контрольного измерения каждого теста было принято количество процентов правильно выполненных заданий. Всего было произведено 100 измерений. В результате каждый из студентов набрал от 14 до 32 %. На 0 % не было выполнено ни одного теста. Среднее значение, полученное по результатам всех измерений, составило 21,10 %. Среднее затраченное время - от 3 до 4 минут (на весь тест с учетом внимательного прочтения вопросов отводится больше 1 часа).
Разработка качественного тестового инструментария - длительный, трудоемкий и дорогостоящий процесс. Но при этом даже в тестах федерального уровня присутствуют существенные недостатки. Так, встречаются задания, которые обесценивают результат. Некоторые вопросы невозможно понять без дополнительных пояснений. Например: «Линиями пересечения соосных поверхностей вращения, изображенных на чертеже, являются...»; «Инвариантное свойство ортогонального проецирования о проецировании без искажения прямого угла проиллюстрировано на
чертежах.» (из теста федерального интернет-экзамена в сфере профессионального образования 2018 г. по модулю «Начертательная геометрия»).
Приведем яркие примеры некорректных заданий в интернет-тренажерах ФЭПО.
Текст задания (рис. 2): «Расстояние от точки М до плоскости определяется длиной отрезка.» Даны четыре варианта ответа: М1К1; М0К1; М1М0; М2К2. Попробуем найти на чертеже горизонтальную проекцию точки К - К1. Где конкретно находится К2?
Рисунок 2 - Задание № 28 интернет-тренажера теста ФЭПО
Таким образом, в ответе предложено выбрать отрезок, обозначенный конкретными точками (проекциями точек), а предложенное графическое условие задания не содержит ни одной точки (проекций точек). Предполагается, что студент угадает, где расположены точки (проекции точек) вообще и выберет из них правильные? Если мы хотим получить от студента верный ответ, то необходимо представить графически точный чертеж со всеми обозначенными геометрическими образами.
Еще один вопрос теста: «Для построения линии пересечения плоскостей, изображенных на рисунке, можно использовать точки пересечения прямых.» Предлагаются чертеж и варианты ответа:
1. АВ и АС с плоскостью £(m || n).
2. m и n с плоскостью £(m | | n).
3. АВ и АС с прямой m.
4. АВ и АС с прямой n.
Проанализировав данные варианты, грамотный специалист сделает вывод, что верного ответа среди представленных нет. Что делать в этой ситуации обучающемуся, если чертеж содержит несоответствия? На графическом рисунке (левое окно рисунка 3) не обозначено ни одной точки, а в вопросе речь идет о точках.
Верным, по мнению авторов, является первый вариант ответа. Анализ данного утверждения позволяет понять, что это скорее условие задачи.
Пояснение к решению задачи звучит так: «Общий прием построения линии пересечения двух плоскостей заключается в следующем. Вводят вспомогательную плоскость, пересекающую обе заданные, строят линии пересечения вспомогательной плоскости и двумя заданными и в пересечении построенных линий находят общую точку двух плоскостей. Для нахождения второй общей точки построение повторяют с помощью еще одной вспомогательной плоскости.
Для построения линии пересечения двух плоскостей общего положения можно также использовать точки пересечения двух прямых, принадлежащих одной из плоскостей, с другой плоскостью, воспользовавшись при этом алгоритмом построения точки пересечения прямой линии с плоскостью общего положения».
Описание верного решения основывается на введенной вспомогательной плоскости, а в вариантах ответов нет даже упоминания о ней.
Рисунок 3 - Задание № 8 интернет-тренажера теста ФЭПО
Таким образом, в данном задании связать логическую цепочку «условие - анализ - решение - ответ - выбор верного варианта» для студента не представляется возможным.
Неудивительно, что преподаватели дисциплин «Начертательная геометрия» и «Инженерная графика» предпочитают внутренние тесты, выполненные в системе компьютерного адаптивного тестирования (АСТ-тесты), а не ФЭПО. В АСТ-тестах при составлении вопросов и подборе заданий преподаватели стараются не допускать недочетов, подобных рассмотренным выше.
В противовес неудачным чертежам можно привести графически точный, грамотно оформленный чертеж другого задания ФЭПО (рис. 4). Вопрос сформулирован просто и понятно. Все необходимые точки обозначены и подписаны. Задание предполагает, что студент владеет понятиями «ребро», «пирамида», «принадлежность точки прямой», умеет читать комплексный чертеж при помощи линий проекционной связи.
Рисунок 4 - Задание № 7 интернет-тренажера теста ФЭПО
Приведем еще один пример из ФЭПО-2018 по модулю «Начертательная геометрия» (рис. 5): «Проанализируйте ортогональный чертеж точек А, В, ^ D и выберите точки, принадле-
жащие указанным прямым». Все точки обозначены в проекциях. Линии проекционной связи показаны. Неправильных ответов не предложено. Хороший вопрос для проверки образного мышления, владения понятийным аппаратом, способности производить анализ и получать результат.
Рисунок 5 - Задание № 1 интернет-тренажера теста ФЭПО
Федеральные тесты предлагают различные режимы работы, в том числе режим обучения. Есть возможность проверить правильность принятого решения в каждой задаче и получить развернутые объяснения и комментарии. В них приведены необходимые правила и понятийный аппарат. Студенты имеют возможность самостоятельно работать и совершенствовать свои познания. Формирование у студентов определенных умственных операций при работе с предлагаемым им учебным материалом сокращает время и силы, необходимые для его усвоения, и позволяет расширить поле творческого поиска. Студенты овладевают все более совершенными способами усвоения знаний, что помогает им быстрее и эффективнее осваивать новый материал.
Таким образом, на современном этапе компьютерное тестирование выступает в роли электронного средства обучения. Оценивание результатов обучения с использованием ЭСО может производиться при условии наличия:
1) четких требований к знаниям, умениям и навыкам обучающихся, которые формулируются перед началом обучения, в соответствии с содержанием и методами обучения;
2) разработанных контрольно-измерительных подсистем, с помощью которых проводится тестирование; материалов, строго соответствующих требованиям стандарта в каждом задании;
3) разработанных технологий, определяющих результаты обучения;
4) экспертной оценки контрольно-измерительных материалов, проверки их на соответствие требованиям стандарта;
5) единой системы оценивания и сравнения результатов для формулирования выводов о качестве обучения.
Обобщая вышеизложенное, отметим высокую значимость тестирования как инструмента проверки качества знаний и уровня сформированности компетенций в профессиональном становлении студентов технических вузов в процессе инженерно-графической подготовки. По результатам исследования делаем вывод о необходимости совершенствовать как базу тестовых
заданий, так и саму процедуру проведения тестирования. Тестирование возможно использовать как эффективную дидактическую стратегию, реализуемую посредством качественного подбора дидактического материала.
Ссылки:
1. Кадневский В.М. История тестов : монография. М., 2004. 464 с.
2. Thorndike E.L. The Psychology of Wants, Interests and Attitudes. N. Y. ; L., 1935. 301 p.
3. Тестовые задания открытой формы [Электронный ресурс] // Московский государственный технический университет гражданской авиации. URL: mstuca.ru/scientific_work/sci_proj/files/3/3.3.doc (дата обращения: 25.04.2019).
4. Маркова О.А., Пономарева Ю.В. Многоуровневые тестовые задания по графической подготовке // Вестник Казанского технологического университета. 2012. Т. 15, № 11. С. 349-352.
5. Кабанова Т.А., Новиков В.Н. Тестирование в современном образовании. М., 2010. 384 с.
6. Соснин Н.В. О структуре содержания обучения в компетентностной модели // Высшее образование в России. 2013. № 1. С. 20-23.
7. Коляда Л.А. Контроль качества профессиональной подготовки будущих педагогов : автореф. дис. ... канд. пед. наук. Самара, 2007. 22 с.
8. Об утверждении федерального государственного образовательного стандарта высшего образования - бакалавриат по направлению подготовки 08.03.01 «Строительство» [Электронный ресурс] : приказ Министерства образования и науки РФ от 31 мая 2017 г. № 481 : зарег. в Минюсте РФ 23 июня 2017 г. № 47139. Доступ из справ.-правовой системы «КонсультантПлюс».
9. Сильвашко С.А. Роль и место педагогических тестов в практике преподавания инженерных дисциплин [Электронный ресурс] // Университетский комплекс как региональный центр образования, науки и культуры : материалы Всероссийской научно-методической конференции с международным участием. Оренбург, 2015. С. 195-197. URL: http://elib.osu.ru/bitstream/123456789/849/1/195-197.pdf (дата обращения: 24.04.2019).
References:
Kabanova, TA & Novikov, VN 2010, Testing in Modern Education, Moscow, 384 p., (in Russian). Kadnevsky, VM 2004, Test History: a Monograph, Moscow, 464 p., (in Russian).
Kolyada, LA 2007, Quality Control of Professional Training of Future Teachers, PhD thesis abstract, Samara, 22 p., (in Russian). Markova, OA & Ponomareva, YuV 2012, 'Multi-Level Test Tasks for Graphic Preparation', Vestnik Kazanskogo tekhnolog-icheskogo universiteta, vol. 15, no. 11, pp. 349-352, (in Russian).
Silvashko, SA 2015, 'The Role and Place of Pedagogical Tests in the Practice of Teaching Engineering Disciplines', Univer-sitetskiy kompleks kak regional'nyy tsentr obrazovaniya, nauki i kul'tury: materialy Vserossiyskoy nauchno-metodicheskoy kon-ferentsii s mezhdunarodnym uchastiyem, Orenburg, pp. 195-197, viewed 24 April 2019, <http://elib.osu.ru/bit-stream/123456789/849/1 /195-197.pdf>, (in Russian).
Sosnin, NV 2013, 'On the Structure of the Content of Education in the Competence Model', Vyssheye obrazovaniye vRossii, no. 1, pp. 20-23, (in Russian).
'Test Tasks of Open Form' 2019, Moskovskiy gosudarstvennyy tekhnicheskiy universitet grazhdanskoy aviatsii, viewed 25 April 2019, <http://mstuca.ru/scientific_work/sci_proj/files/3/3.3.doc>, (in Russian).
Thorndike, eL 1935, The Psychology of Wants, Interests and Attitudes, New York, London, 301 p.
