CC BY
43
Наука и Образование. МГТУ им. Н.Э. Баумана. ВсШИС Электрон, журн. 2014. № 11. С. 817-826."
БОГ 10.7463/1114.0740501
Представлена в редакцию: 26.11.2014
Сетевое научное издание
© МГТУ им. Н.Э. Баумана
УДК 378.22
Структура и контент контрольно-диагностических материалов для вступительных испытаний в магистратуру вуза, работающего по собственным образовательным стандартам
Дорофеев А. А.1'*, Ирьянов Н. Я.1 "а-аЛогоГее?@1ипБтд|
1МГТУ им. Н.Э. Баумана, Москва, Россия
Особенность вступительных испытаний в магистратуру вуза, работающего по собственным стандартам, усматривается в предъявлении одинаковых требований к абитуриентам, обучавшимся по различным программам с компетентностно сформулированной целью, достижение которой не может быть диагностировано типовым тестированием. Оно применимо, если в задании выделяется проверяемая при собеседовании кейс-задача для оценки творческих способностей абитуриентов, базовая и инструментальная подготовленность которых диагностируется по результатам решения задач, ориентированных на блочно-модульное структурирование учебного материала и компетентностное целеполагание.
Ключевые слова:
Новая для приемной комиссии нашего университета задача - массовые приемные испытания бакалавров и специалистов, поступающих в магистратуру - включает проблемные аспекты, связанные с проведением учебного процесса в нашем вузе по собственным, в значительной части уникальным образовательным стандартам и приемом на магистерские программы выпускников других вузов, работающих по федеральным стандартам с различными региональной и вузовской компонентами.
Притом что число абитуриентов, единовременно претендующих на право продолжения обучения по многим направлениям подготовки и нескольким десяткам магистерских программ, относящихся к разным областям науки и техники, уже сейчас превышает тысячу - становится целесообразным включение в процесс вступительных испытаний тестовых технологий (по аналогии с вступительными экзаменами). Причем при поступлении в магистратуру студент сразу же выбирает магистерскую программу, т.е. узкая специализация по определенному направлению существует с самого начала.
При этом цель образовательного процесса программ подготовки и бакалавра, и магистра формулируется как совокупность характеристик приобретаемой профессиональной компетентности, значительная доля компонентов которой могут быть
Наука йОбразо
МГТУ им. Н.Э. Баумана
отнесены к непроверяемым существующими (известными авторам настоящей работы) типами тестовых заданий, что не дает возможности непосредственно применить типовые методики разработки валидных и надежных тестов и технологий, хотя и позволяет на этапе проектирования предусмотреть и принять меры по обеспечению должной надежности теста [1- 2], в частности, включением в них апробированных заданий, учитывающих проявление профессионально существенных личностных характеристик, свойств и качеств [3-5].
Эти особенности должны быть учтены уже в процессе подготовки вступительных испытаний, в частности, при разработке применяемых контрольно-диагностирующих материалов (КДМ) тестового типа и методики проведения испытаний, которые, с одной стороны, должны опираться на многолетний опыт работы экзаменационных комиссий в приемные компании на первый курс и в аспирантуру, а с другой стороны - отражать современное научно обоснованное компетентностное представление целей образовательного процесса при блочно-модульном структурировании учебного материала при соответствующей валидности, опыт гарантированного достижения которой, по меньшей мере в содержательной компоненте, накоплен при разработке и применению КДМ для вступительных экзаменов.
Под качеством приемных испытаний будем понимать соответствие поставленным требованиям, которые можно свести к двум группам, соответствующим двум задачам: надежно отделить абитуриентов, не получивших подготовки, достаточной для продолжения обучения в магистратуре данного вуза, и достоверно ранжировать удовлетворительно подготовленных бакалавров по рейтингу или уровню системы показателей, прогнозирующих успешность выполнения программы.
Для решения первой задачи важна дифференцирующая (разделяющая) способность примененных тестов как основная компонента их валидности и методика тестирования может основываться на известных принципах [2], но требуется учесть отмеченные нами особенности, отразить их в вопросах тестов и методике формирования оценочного суждения для принятия решения. Задача рейтингования, ранжирования участвующих в конкурсе десятков (на одну кафедру) и сотен (на факультет) абитуриентов по прогнозируемой успешности обучения в магистратуре по результатам тестирования в известных работах не рассматривалась ни в методологическом, ни в операционном планах, но аналогичная по целям методика приемных испытаний в аспирантуру разработана и апробирована на уровне кафедр, но только при индивидуальном подходе к каждому всего лишь из нескольких претендентов и в отсутствии практической конкурентности.
Один из факторов, повышающих качество отбора - проведение вступительных испытаний в условиях, моделирующих ситуацию реального применения знаний, умений и навыков. У нас это - нечетко сформулированные задания как в постановке цели, так и в отношении условий однозначности - исходных данных или недостаточно, или они в избытке, что свойственно большинству реальных творческих инженерных и научно-
исследовательских задач, освоение методик постановки, формулировки и решение которых с необходимой креативной составляющей лежит в основе профессиональной компетентности, приобретаемой магистрантом [4-6]. В основу такого подхода положена частная ситуационная трактовка профессиональной компетентности как результата деятельностной системной интеграции усвоенных знаний, умений и навыков и способности и готовности их применять для разрешения противоречий из предметной профессиональной области (некорректных задач при конкурентном сопоставлении противоположно действующих тенденций в условиях нечеткой логики, требующие включения ментальных механизмов творческого анализа и синтеза по меньшей мере в формировании критерия оптимизации и стратегии выбора) в реальных условиях ограничения ресурсов, прежде всего, времени.
И в этом отношении вступительные (приемные) испытания в магистратуру аналогичны отбору аспирантов. Здесь примером может служить задачник академика П.Л. Капицы для студентов и абитуриентов, поступающих в аспирантуру, в котором (задачнике) не редкость такие лапидарные формулировки формально некорректных задач, как: «С какой скоростью можно бежать по тонкому льду?», «Оценить время замерзания пруда.» или «По какой траектории полетит пуля, выпущенная из спутника вперед (назад, в сторону)?» и т.п. Цель таких задач - воспитывать и выявлять творческое научное мышление [7]. Автор в предисловии отмечает, что «задачи должны были быть решены в письменном виде, но способности и характер студента в основном выявляются при устном обсуждении написанного текста». При том что для этого, как правило, было достаточно одного часа.
Очевидно, что задачи такого типа, требующие креативного подхода для их решения, нецелесообразно или невозможно включать в состав тестовых заданий и требуется личная беседа экзаменатора с поступающим для оценки степени успешности выполнения задания с не формализуемым подведением итога испытания. При этом задачи должны касаться предметной и проблемной областей будущей магистерской подготовки, а экзаменатор быть в этой области специалистом-экспертом, т.е. данный этап приемных испытаний должен проходить на кафедре или на факультете, на котором ведется обучение по данному направлению подготовки с особенностями профилей (как аналогом специализаций) на разных кафедрах.
В современном представлении такая формулировка задания отвечает кейс-методике (от англ. case - случай, дело), когда описанная вербально ситуация требует осмысления, понимания, декодировки и формализации, в процессе которой абитуриент проявляет общую и профессиональную эрудицию, а в выборе допущений, позволяющих решить задачу за выделенное на это время, косвенно отражается самооценка его подготовленности, освоенный инструментарий и личностная характеристика - уровень притязаний и объем информированности в области науки, в которой он планирует работать.
По проведенному ситуационному анализу, который является необходимой составляющей решения кейс-задач разнообразного предметно-проблемного содержания, можно составить некоторое представление и об интеллектуальном уровне абитуриента. Элементы кругозора и воспитательной компоненты приобретенной профессиональной компетентности можно диагностировать включением в тексты кейс-заданий объектов, именуемых по фамилии их разработчика или автора (триггер Шмидта, башни Шухова и Татлина, черный квадрат Малевича, руль Жуковского, реакции Коновалова и Зелинского, трубки Бурдона, Пито, Пито-Прандтля и Фильда, сопла Лаваля и Вентури, винт Леонардо да Винчи, спираль Архимеда, зонд Ленгмюра, конус и азбука Морзе, плитки Иогансона, формула Саха, множество Парето и т.п.).
К данному конечному этапу целесообразно допускать абитуриентов, успешно прошедших некоторое предшествующее более массовое испытание, цель которого -оценить достаточность междисциплинарной подготовленности бакалавров для продолжения обучения в магистратуре по группе направлений, имеющих общую научную базу и инструментарий, необходимость освоения которых на конкретном уровне (знания, умения, навыки применении в типовых, неявных или проблемных ситуациях) предписано всей совокупностью магистерских программ принимающих кафедр, но не должны выходить за пределы программ предшествующей бакалаврской подготовки по предметному содержанию. Несогласованность необходимых уровней усвоения возможна и допускается. Причем требования по структуре, содержанию и уровню усвоения контролируемых знаний и умений должны быть заранее известны поступающим и представлены в программе вступительных испытаний (ПВИ), а также в демонстрационном (типовом) варианте тестового и креативного заданий.
Из анализ известных ПВИ следует, что уровни усвоения знаний различных разделов (блоков, модулей, дидактических единиц) дисциплин учебных планов бакалавриата лежат в диапазоне от активного информационного (владение понятийным аппаратом и терминологией, узнавание) до умений и навыков суждений, анализа, синтеза и разрешения выявленных противоречий в нетиповых заранее неизвестных ситуациях с элементами творчества [4, 6, 8], которые должны интегрироваться в реальную готовность и возможность выполнять освоенные действия (деятельностное проявление профессиональной компетентности) в реальных условиях информационного пространства.
Диагностика такой функциональной подготовленности возможна и индивидуально, и в форме массового тестирования, итоги которого позволят составить приоритетный рейтинговый список, место в котором даст возможность принимать обоснованное решение о приеме после прохождения заключительного испытания в виде выполнения творческого задания.
Выполняющий такие функции открытый тест должен быть гетерогенным, т.е. объединять задания разнородные по содержанию (разные учебные дисциплины) и расположенные по возрастанию сложности с объявленным ценностным удельным весом
(шкалой), а методика агрегатирования баллов пройти предварительную апробацию, например, аналогично нашей разработке [9], в которой предлагается алгебраическая модель оценивания результатов диагностирования учебных достижений, проводимого в форме контроля с полным обоснованием ответа на вопрос каждого задания. В этой модели выполнение заданий диагностического теста оценивается первичными баллами не в двоичной шкале, а в традиционной дробной шкале, что отвечает задаче агрегатирования гетерогенного теста.
Задания этого теста должны быть интегративными как по содержанию (объединяют знания нескольких дисциплин), так и по деятельности: итоги деятельности по ответу на задание, начиная от декодирования текста и формализации до собственно ответа, должны оцениваться и учитываться оценками с шагом не более 1/5 от максимального балла. Примером и источником апробированных заданий контента тестов, удовлетворяющих таким требованиям, могут служить КИМ материалы, приведенные в сборнике [10] и учебнике нового типа, ориентированного на современные образовательные технологии с блочно-модульным представлением информационного содержания дисциплин, компетентностным целеполаганием и рейтинговой системой контроля успеваемости [11]. Отметим, что согласно образовательным стандартам МГТУ им. Н.Э. Баумана интеграция знаний предусмотрена в основном при выполнении курсовых работ и проектов, а также при исследовательской работе студентов. И методика отбора содержания интегративных тестов может строиться на основе экспертных выборок из учебно-методических материалов, касающихся курсового проектирования и организации самостоятельной, в том числе, учебной исследовательской или производственной работы, например, при прохождении непрерывной научно-производственной практики [12].
Из приведенного обоснования следует, что тест должен содержать задания открытого типа, т.е. ответ формулируется тестируемым в свободной форме. Это дает возможность, в противоположность классической теории тестов, целенаправленно формулировать задания некорректно, т.е. с избытком или недостатком исходных данных и нечетко сформулированной целью или без критерия качества. Такая концепция в сочетании с системой оценки успешности ответа на каждый вопрос и простановкой итоговой оценки может опираться только на авторитетное профессиональное сообщество педагогов, выступающих в качестве экспертов. При этом актуальным является выравнивание сложности (объективная характеристика структуры и информационного содержания задания, например, по А.А. Добрякову [4 - 5]) и, следовательно, объективной и субъективной трудности разных вариантов одного и того же теста (параллельных эквивалентных вариантов), что может быть достигнуто на основе опыта составления заданий для вступительных экзаменов, где также успешно обеспечивалась валидность теста (вариантов заданий) в части его не менее значимого качества - разрешающей способности.
Заключение
Апробированная и отработанная форма проведения набора на первый курс со вступительными экзаменами и приемная комиссия как исполнительная структура могут быть основой и для технологии проведения массовых вступительных испытаний абитуриентов, поступающих на магистерские программы, где первая, тестовая часть, проводится по поточному методу экспертами приемной комиссии, а творческое испытание - членами экзаменационной комиссии специалистами принимающих кафедр по месту будущей учебы магистрантов.
Пилотные приемные компании на магистерские программы, успешно проведенные в течение нескольких лет на ряде кафедр нашего университета, показали обоснованность и приемлемость предложенной структуры и контента тестов, что, на основе опыта приемной комиссии университета, позволяет устойчиво прогнозировать успешное проведение массового приема на магистерские программы, если тестовые и творческие задания будут составляться высококвалифицированными преподавателями-экспертами, имеющими опыт разработки заданий для вступительных испытаний, с учетом изложенных рекомендаций по структуре и контенту. При этом проверка творческих заданий вступительного испытания в форме собеседования абитуриента и преподавателя должна проходить на принимающих кафедрах. Решение о зачислении в магистратуру принимаетя на основе итогов собеседования, но с учетом рейтинговой суммы и места будущего магистранта в приоритетном списке, определенного отборочной комиссией на основе результатов массового тестирования.
Список литературы
1. Татур Ю.Г. Образовательный процесс в вузе. Методология и опыт проектирования. М.: Изд-во МГТУ им. Н.Э. Баумана, 2005. 224 с. (Сер. Педагогика в техническом университете).
2. Аванесов В.С. Композиция тестовых заданий: учебная книга. 3-е изд., доп., М.: Центр тестирования, 2002. 240 с.
3. Смирнов С.Д. Психология и педагогика для преподавателей высшей школы: учеб. пособие. М.: Изд-во МГТУ им. Н.Э. Баумана, 2007. 400 с. (Сер. Педагогика в техническом университете).
4. Добряков А.А. Психолого-педагогические основы подготовки элитных специалистов как творческих личностей (содержательные элементы субъект-объектной педагогической технологии): учеб. пособие. М.: Логос, 2001. 334 с.
5. Добряков А.А., Печников В.П. Высшие психические функции и функциональная структура гуманизированного образовательного стандарта (модели, методология, примеры): учеб. пособие. М.: Логос, 2001. 245 с.
6. Дорофеев А.А. Функции экзамена в компетентностно ориентированных образовательных технологиях с рубежно-рейтинговым контролем успеваемости // Alma mater. Вестник высшей школы. 2013. № 9. С. 44-47.
7. Капица П.Л. Физические задачи. М.: Знание, 1966. 16 с.
8. Беспалько В.П. Слагаемые педагогической технологии. М.: Педагогика, 1989. 192 с.
9. Власова Е. А., Ирьянов Н. Я. Модель оценивания результатов диагностирования учебных достижений // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2012. № 4. Режим доступа: http://technomag.bmstu.ru/doc/286116.html (обращение 21.11.2014).
10. Березанская Е.Л., Буркальцев В.А., Волков В.Т., Дорофеев А.А., Кудрявцев В.М., Леонтьев Н.И., Сухов А.В. Сборник задач и вопросов по основам теории и расчета ракетных двигателей / под ред. В.М. Кудрявцева, А.А. Дорофеева. М.: Изд-во ЦНИИНТИ КПК, 1995. 228 с.
11. Дорофеев А.А. Основы теории тепловых ракетных двигателей. Теория, расчет и проектирование: учебник. 3-е изд., перераб. и доп. М.: Изд-во МГТУ им. Н.Э. Баумана, 2014. 571 с.
12. Дорофеев А.А., Комаров М.А. Целевая подготовка инженеров на факультетах при ведущих предприятиях ракетно-космической отрасли и реформирование российского высшего технического образования // Полет. 2013. № 12. С. 48-52.
Science and Education of the Bauman MSTU, 2014, no. 11, pp. 817-826.
DOI: 10.7463/1114.0740501
Received:
26.11.2014
Science ^Education
of the Bauman MSTU
ISSN 1994-0448 © Bauman Moscow State Technical Unversity
Test-and-Assessment Materials Structure and Content for Graduate's Entrance Examinations at Higher Education Institution Using Its Educational Standards
A.A. Dorofeev1*, N.Ya. Iriyanov1
a.a.dorofee^'iSbm&tn.nj 1Bauman Moscow State Technical University, Moscow, Russia
Keywords: magistracy, proper educational standards, entrance examinations, structure and content of test tasks, case-study
A feature of the entrance tests for admission to the Master's studies at higher education institution (HEI) using its standards is that the entrants used to study at different higher education institutions taking various curricula, but have to meet identical requirements to show their readiness for learning as students of master level.
A transition to mass enrolment to the master programmes makes applications of test technologies to be expedient. But as the objective of educational process of HEI programmes is formulated as a professional competence with not all components assessed by the existing types of test tasks, it is impossible to use directly the standard techniques for development of valid and reliable tests.
The paper offers an option to eliminate this contradiction using the test-assessment materials with approved tasks, which being fulfilled show professionally significant personal characteristics, properties and qualities, and the technique of conducted tests is based on long-term examination committee's experience to enroll fresh students and postgraduates. Thus, options for testing include the tasks approved during educational process with a competence-based module-structured teaching material, and the tasks concerning the objects with names of their founders serve to diagnose educational components
The main component of a validity of this part of test is the differentiating property, and for diagnostics of readiness to creative research activity is entered a professionally focused case study with the weasel-worded purpose and incorrect basic data.
The approved and fulfilled form in which fresh students are enrolled as a result of entrance examinations, and a selection committee as an executive structure can be also a basis for technology of conducting the mass entrance tests for the entrants applying for master programmes.
References
1. Tatur Yu.G. Obrazovatel'nyy protsess v vuze. Metodologiya i opyt proektirovaniya [The educational process at the University. Methodology and design experience]. Moscow, Bauman MSTU Publ., 2005. 224 p. (Ser. Pedagogika v tekhnicheskom universitete [Pedagogy at the Technical University]). (in Russian).
2. Avanesov V.S. Kompozitsiya testovykh zadaniy [The composition of the test tasks]. Moscow, Testing center Publ., 2002. 240 p. (in Russian).
3. Smirnov S.D. Psikhologiya i pedagogika dlya prepodavateley vysshey shkoly [Psychology and pedagogy for teachers in higher education]. Moscow, Bauman MSTU Publ., 2007. 400 p. (Ser. Pedagogika v tekhnicheskom universitete [Pedagogy at the Technical University]).(in Russian).
4. Dobryakov A.A. Psikhologo-pedagogicheskie osnovy podgotovki elitnykh spetsialistov kak tvorcheskikh lichnostey (soderzhatel'nye elementy sub"ekt-ob"ektnoy pedagogicheskoy tekhnologii) [Psycho-pedagogical bases of preparation of elite specialists as creative individuals (substantive elements of subject-object pedagogical technology)]. Moscow, Logos Publ., 2001. 334 p. (in Russian).
5. Dobryakov A.A., Pechnikov V.P. Vysshie psikhicheskie funktsii i funktsional'naya struktura gumanizirovannogo obrazovatel'nogo standarta (modeli, metodologiya, primery) [Higher mental functions and functional structure of the humanized educational standard (model, methodology, examples)]. Moscow, Logos Publ., 2001. 245 p. (in Russian).
6. Dorofeev A.A. Examination's functions in competence oriented educational technologies with boundary rating control of progress in studies. Alma mater. Vestnik vysshey shkoly, 2013, no. 9, pp. 44-47. (in Russian).
7. Kapitsa P.L. Fizicheskie zadachi [Problems in Physics]. Moscow, Znanie Publ., 1966. 16 p. (in Russian).
8. Bespal'ko V.P. Slagaemyepedagogicheskoy tekhnologii [Summands of pedagogical technology]. Moscow, Pedagogika Publ., 1989. 192 p. (in Russian).
9. Vlasova E. A., Ir'yanov N. Ya. Model of estimation of the results of diagnosing learning. Outcomes. Nauka i obrazovanie MGTU im. N.E. Baumana = Science and Education of the Bauman MSTU, 2012, no. 4. Available at: http://technomag.bmstu.ru/doc/286116.html , accessed 21.11.2014. (in Russian).
10. Berezanskaya E.L., Burkal'tsev V.A., Volkov V.T., Dorofeev A.A., Kudryavtsev V.M., Leont'ev N.I., Sukhov A.V. Sbornik zadach i voprosovpo osnovam teorii i rascheta raketnykh dvigateley [Collection of problems and questions on the basics of the theory and calculation of rocket engines]. Moscow, TsNIINTI KPK Publ., 1995. 228 p. (in Russian).
11. Dorofeev A.A. Osnovy teorii teplovykh raketnykh dvigateley. Teoriya, raschet i proektirovanie [Fundamentals of the theory of thermal rocket engines. Theory, calculation and design]. Moscow, Bauman MSTU Publ., 2014. 571 p. (in Russian).
12. Dorofeev A.A., Komarov M.A. Targeted Training of Engineers at Acuities under Leading Space Rocket Enterprises and Reformation of Education. Polet, 2013, no. 12, pp. 48-52. (in Russian).
