CC BY
97
Образование и наука. Том 20, № 4. 2018/The Education and Science Journal. Vol. 20, № 4. 2018
ПРОБЛЕМЫ МЕТОДОЛОГИИ
УДК 377.111.3 DOI: 10.17853/1994-5639-2018-4-9-33
ПРОБЛЕМЫ ОЦЕНКИ ПРОФЕССИОНАЛЬНОЙ ПОДГОТОВКИ: МЕТОДОЛОГИЧЕСКИЕ ПОДХОДЫ
А. В. Томильцев1, А. В. Мальцев2
Уральский федеральный университет, Екатеринбург, Россия.
E-mail: 1Tomiltcev@mail.ru; 2A.V. Maltsev@urfu.ru Аннотация. Введение. В течение последних двух лет в официальных документах правительства РФ выщвигается требование приведения профессиональной подготовки вытускников высших и среднеспециальнык образовательный учреждений в соответствие разрабатышаемым профессиональным стандартам. Проверка этого соответствия должна производиться через процедуры объективной оценки квалификации выпускников вузов и колледжей. В новых условиях возникает альтернатива создания нового или совершенствования прежнего диагностического инструментария. Свежие для системы образования идеи можно почерпнуть, как полагают авторы публикации, в области реальный секторов производственно-экономической и социальной деятельности, где аспекты определения качества конечного продукта проработаны намного лучше и трактовки результатов деятельности однозначны и непротиворечивы.
Цель статьи - с позиций управления образованием и сложившейся вне этой сферы практики оценки квалификации работников обсудить общеметодологические подходы к организации научно-методического сопровождения экспертизы результатов профессиональной подготовки специалистов в учебных учреждениях.
Методология и методики. В ходе работы использовались положения квали-метрического и системного подходов, методы сравнительного анализа содержания отечественных и зарубежных нормативных документов, а также научных публикаций, посвященных теории и практике оценки качества продуктов образовательной, технической, экономической и управленческой деятельности.
Результаты и научная новизна. Обозначены методологические проблемы измерения знаний студентов и адекватности их оценки с точки зрения внедряемых профессиональных стандартов. Описаны различные подходы к оценке качества образования и его результатам; процедура оценивания и ее основной инструментарий: критерии, параметры, показатели и нормы как ориентир в выборе эталонов оценки. Констатируется, что традиционные методы и средства оценки, принятые сегодня в образовании, сильно устарели и продолжают отставать от прогрессивный тенденций измерения качества. В частности, широко распространенные тестовые измерения учебных достижений выпускников высшей
(и средней) школы не носят комплексного характера, поэтому не могут считаться валидными, особенно относительно уровня профессиональной квалификации.
На основе обобщения подходов к оцениванию в различных сферах утверждается возможность их проецирования на практику организаций профессионального образования. Рассмотрены методика и технология выработки оценочных суждений, которые строятся на заключениях формализованных экспертных процедур и позволяют делать разнообразные выводы о деятельности отдельных организаций и системы образования в целом; выявлять степень приближения к норме полученных результатов и отклонения от нее, а также производить требующуюся коррекцию обучения. Подчеркивается необходимость формирования корпуса квалифицированных экспертов, способных обеспечить разработку и внедрение эффективных технологий организации и проведения оценочных мероприятий.
Практическая значимость. Очерчено проблемное поле исследований по поиску новых подходов к внутренним (в стенах вуза и колледжа) процедурам оценивания компетенций выпускников системы профессионального образования. Объективность оценивания и достоверность результатов таких процедур должны быть сопоставимы с подобными характеристиками деятельности центров независимой оценки профессиональных квалификаций. Это позволит значительно снизить трансакционные издержки субъектов и потребителей образовательных услуг и создаст условия для перехода от существующих тарифно-квалификационных справочников к системе профессиональных стандартов.
Ключевые слова: оценка, методы оценивания, критерии оценивания, показатели оценивания, шкалы оценивания, эксперт.
Для цитирования: Томильцев А. В., Мальцев А. В. Проблемы оценки профессиональной подготовки: методологические подходы / / Образование и наука. 2018. Т. 20. № 4. С. 9-33. DOI: 10.17853/1994-5639-2018-4-9-33
THE PROBLEMS OF PROFESSIONAL TRAINING ASSESSMENT: METHODOLOGICAL APPROACHES
А. V. Tomiltcev1, А. V. Maltsev2
Ural Federal University named after the first President of Russia B. N. Yeltsin,
Yekaterinburg, Russia.
E-mail: 1Tomiltcev@mail.ru; 2A.V. Maltsev@urfu.ru
Abstract. Introduction. Over the last two years, in the official documents of the Government of the Russian Federation there has been the requirement to organize the professional training of students in accordance with the professional standards. The verification of the compliance with the standards should be provided through the procedures of objective assessment of qualification of college and
university graduates. Thus, in the current conditions arose the need to searching for new assessment tools or ways to improve the previous ones. The authors believe that the new and original ideas can be derived from the fields of real sectors of productive-economic and social activity where the aspects of determination of quality of the final product are worked out far better, and interpretations of the results of activity are unambiguous and consistent
Aim. Taking into account the aspects of education management and established practices of assessment procedures, the aim of the present publication is to discuss general methodological approaches to organization of scientific-methodical maintenance of the expertise on the results of professionals' training in educational institutions.
Methodology and research methods. The research is based on the qualimet-ric and system-based approaches, methods of comparative analysis of the content of the local and foreign normative documents as well as a wide range of scientific publications that describe the theory and practice of application of assessment in educational technical, economic and management systems.
Resuts and scientific novelty. According to the introduced professional standards, methodological problems of measurement of students' knowledge and adequacy of their assessment are designated. Various approaches to assessment of education quality and its results are described; assessment procedure and its main tools are presented: criteria, parameters, indicators and norms as a reference point in the choice of standards for assessment. It is stated that the traditional methods and means of assessment accepted today in education are severely outdated and continue to lag far behind progressive tendencies of quality measurement. In particular, widespread test measurements of educational achievements of graduates of the higher (and secondary) school are not holistic therefore cannot be considered as valid, especially concerning the level of professional qualification.
On the basis of synthesis of the approaches to assessment in various spheres, the possibility of their application in the organizations of professional education is approved. The considered technique and technology of development of evaluative judgments are based on the results of the formalized expert procedures; thus enabling to draw various conclusions about activity of the separate organizations and education systems in general, to reveal the level of bringing them into line with norms and standards of the received results and deviations from the rated values, as well as to perform the required training correction procedures. The authors stress the need for formation of a team of the qualified experts capable to provide development and implementation of effective technologies for the organization of assessment activities.
Practical significance. The problem research area on the search for new approaches to internal procedures for assessment of the graduates' competencies is determined. The objectivity of evaluation and reliability of the results of such procedures have to be comparable to similar performance characteristics of the Centers for Independent Assessment of Professional Qualifications. It will enable to significantly reduce transactional costs of all agents of educational services, and
will create conditions for transition from the existing standard-qualification reference books to the system of professional standards.
Keywords: assessment, methods of assessment, criteria of assessment, index of assessment, scale of assessment, expert.
For citation: Tomiltcev А. V., Maltsev А. V. The problems of professional training assessment: Methodological approaches. The Education and Science Journal. 2018; 4 (20): 9-33. DOI: 10.17853/1994-5639-2018-4-9-33
Введение
В 1992 г. в России начался процесс разработки и внедрения образовательных стандартов. Стандарт - некий эталон нормативно одобряемого уровня достижения результата. Он является методологической основой для определения успешности деятельности образовательных организаций и вынесения определенных суждений о степени полноты, глубины, комплексности и эффективности процесса обучения. После вступления в 2016 г. в силу изменений, внесенных в трудовое законодательство (ст. 195 ТК РФ), организации, занимающиеся подготовкой кадров для различных социально-экономических и производственных сфер, были поставлены в новые условия: теперь результаты обучения должны измеряться с учетом положений как образовательных, так и профессиональных стандартов, в соответствие с требованиями которых следует привести программы высших и среднеспециальных учебных учреждений.
Ранее на квалификационных (выпускных) экзаменах использовался оценочный инструментарий, разработанный внутри образовательных организаций. Сегодня диагностические процедуры нуждаются в изменении: их следует максимально приблизить к технологиям, практикующимся в независимых центрах оценки квалификации (ЦОК). Независимая экспертиза квалификации работников - новое явление для отечественного трудового законодательства. Она была введена параллельно с внедрением профессиональных стандартов для того, чтобы иметь возможность объективной, непредвзятой проверки соответствия специалиста требованиям этих документов. Порядок независимой оценки профессиональной компетентности регламентируется отдельным федеральным законом1.
Обязанность учреждений профессионального образования осуществлять обучение в соответствии с требованиями профстандартов отражена
1 О независимой оценке квалификации. Федеральный закон от 03.07.2016 № 238-ФЗ [Электрон. ресурс]. Режим доступа: http://www.consultant.ru/document/ cons_doc_LAW_200485/ (дата обращения: 12.01.2018).
в постановлении правительства РФ от 08.01.2018 г., где говорится: «...проект в части, касающейся профессионального образования, до направления в Министерство образования и науки Российской Федерации направляется разработчиком в совет по профессиональным квалификациям по соответствующему виду профессиональной деятельности (при наличии) (далее - совет по профессиональным квалификациям) для проведения экспертизы проекта, оценки соответствия содержащихся в нем требований к результатам освоения основных профессиональных образовательных программ в части, касающейся профессиональной компетенции, положениям соответствующих профессиональных стандартов (при наличии)»1. По сути, профессиональному образованию отводится сервисная функция для удовлетворения потребностей заказчика. Результатом обучения должен стать работник, соответствующий требованиям профессии. Чтобы адекватно и равновесно устанавливать данное соответствие, образовательные организации и ЦОКи, как минимум, должны договориться о едином понятийном аппарате, согласовать оценочные технологии и основания для взаимопризнания документов, выдаваемых по итогам испытательных квалификационных процедур. Это позволит значительно снизить трансакционные издержки субъектов и потребителей образовательных услуг и создаст условия для перехода от существующих тарифно-квалификационных справочников к системе профессиональных стандартов.
Поскольку согласно принятой в настоящее время нормативно-правовой базе квалификация может присваиваться специалистам не только по итогам традиционных экзаменационных испытаний непосредственно в стенах учебных заведений, целесообразно проанализировать иной имеющийся опыт оценки качества подготовки кадров, а также применяющийся в этих целях инструментарий.
Качество и уровень профессионального обучения зависит от многих факторов: личностно-ориентированной направленности на развитие творческих способностей студентов, эффективности применяемых технологий обучения и воспитания, способности руководителей образовательных учреждений прогнозировать векторы развития рынка труда и в соответствии с этим корректировать деятельность педагогических коллекти-
1 О внесении изменений в Правила разработки, утверждения федеральнык государственнык образовательнык стандартов и внесения в них изменений. Постановление Правительства Российской Федерации от 8 января 2018 г. № 2 [Электрон. ресурс]. Режим доступа: http://docs.cntd.ru/document/556190202 (дата обращения: 12.02.2018).
вов (опережающий характер обучения и гибкость программ). В правильном, научно выверенном измерении результатов работы образовательных организаций, базовым ориентиром которого являются стандарты, заинтересованы не только и не столько органы управления образования, сколько обширный круг заказчиков и конечных потребителей образовательных услуг - представители работодателей, торгово-промышленных палат, органов исполнительной власти на местах и т. п.
Для адекватной диагностики качества итоговых продуктов образовательной деятельности необходимо выработать общую концепцию экспертизы. Методология измерительных процедур обсуждалась нами в одной из предыдущих публикаций [1]. В данной статье будут обозначены наиболее общие подходы к организации научно-методического сопровождения этих процедур: инструментарий и методики определения результатов профессиональной подготовки с позиций управления образованием, а также сложившейся вне сферы образования практики оценки квалификации специалистов.
Сразу оговоримся, что мы сознательно обходим вопросы, касающиеся имеющихся в институциональной экономике моделей оценки человеческого интеллектуального капитала как части нематериальных активов компании и носителя значительной доли используемых ею знаний [2, 3], и не рассматриваем педагогические теории формирования и применения оценочного инструментария. Размеры статьи не позволяют осветить все вопросы, связанные с оценочной деятельностью, поэтому мы сосредоточились на наиболее общих из них: подходах к оцениванию, понятии оценки, процедурах оценивания, составляющих оценки и ее шкалировании.
Подходы к оцениванию
Сложность измерения результатов профессиональной подготовки во многом вызвана трудностями формализации, обобщения и анализа критериев оценки, а также проблемой выбора репрезентативных параметров и методов их определения. Предпочтительность входящих в систему оценивания параметров во многом определяется направлением подготовки, в зависимости от специфики которого критерии оценки могут значительно различаться как по приоритетности, так и по набору входящих в них показателей.
А. И. Субетто и другие специалисты в области качества образования отмечают крайности исходных позиций авторов, препятствующие рациональному выбору подходов к изучению этого феномена [4]. В отдельных теоретико-методологических исследованиях не учитываются возможности
адаптации их содержания к практическим разработкам методик оценки качества и внедрения их в учебный процесс; а в некоторых практических разработках, напротив, при создании контрольно-измерительных средств игнорируются концептуальные методологические положения. Соблюсти разумный баланс между теоретико-методологической и практической составляющими решения рассматриваемой проблемы действительно трудно, но только так можно определить приемлемые подходы к измерению качества и уровня обучения.
Имеющееся в настоящее время множество подходов к пониманию качества образования связано с большим разбросом и разнообразием запросов к результатам обучения у различных социальных, профессиональных групп и отдельных личностей (обучающихся, родителей, педагогов и др.). Многообразие целей субъектов образования и потребителей образовательных услуг объясняет разные критерии, технологии и способы оценки в разных измерениях и на разных уровнях. В табл. 1 приводится классификация подходов к измерению качества образования, которая была предложена ранее одним из авторов данной статьи [5]. Эта не претендующая на полный охват предмета обсуждения и далеко не единственная классификация показывает, однако, сложность и многослойность проблемы поиска методологических оснований к оценке профессиональной подготовки выпускников высших и среднеспециальных учебных заведений.
Успешным примером подхода к оценке результатов обучения является разработанная группой российских специалистов модель SAM (School Achievement's Monitoring), структура которой включает механизм диагностики качества усвоения предметного содержания [6]. Модель сочетает интегральную количественную оценку предметной компетенции на основе выяснения ее места на метрической шкале с качественной оценкой компетенции, выводящейся с помощью определения структуры ее ориентировочной основы, что дает более объемную информацию о квалификации испытуемого [6].
Заслуживают внимания материалы об оценке и системе оценивания в образовании, изданные в рамках международных программ ТА-СИС, ДЕЛФИ, а также пилотного проекта Европейского фонда образования по Северо-Западному региону [7]. Полезен и анализ опыта отдельных стран Европы. Например, «внедрение голландской системы оценки качества высшего образования отражает более общие социальные события, которые изменили институциональную роль высшего образования: растущее осознание социальных последствий науки и сопутствующее желание
для общественного контроля над научными и образование новых исследователей и преподавателей; взрывной рост числа студентов и сопутствующий рост сложности образования; увеличение финансовой нагрузки на сектор образования» [8].
Таблица 1
Различные подходы к оценке качества образования
Table 1
Different approaches to assessing the quality of education
Подход Основание
Интуитивно-эмпирический Опыт и интуиция человека
Формально-отчетный Уровень успеваемости обучаемых (процент успевающих на «3», «4» или «5»)
Психологический Уровень развития познавательных процессов и степень проявления психических новообразований личности
Педагогический Уровень воспитанности и обученности
Процессуальный Оценка состояния образовательного процесса
Результирующий Оценка результата педагогической деятельности образовательного учреждения
Комплексный Внешняя экспертиза (материальная база, кадровый состав, образовательные программы, формы, методы работы и другие показатели)
Многопараметрический Оценка деятельности образовательных учреждений на основе внутрисистемных параметров
Методологический Соотношение результата с операционально заданными целями
Интегрированный Оценка на основе категорий, которые носят интегрированный характер (компетентность, грамотность, образованность)
Личностно-ориен-тированный Личностное развитие обучаемого
Социальный Степень удовлетворенности индивидуального и общественного потребителя
Квалиметрический Измерение показателей качества по количественным параметрам
Комплексное и широкомасштабное исследование ключевых тенденций и направлений политики в области оценки результатов высшего образования в странах-членах и странах-партнерах ОЭСР представлено в публикации «Роль высшего образования в экономике знаний» (Tertiary Education for the Knowledge Society) [9]. Изучением тех же проблем занят
ряд крупных американских организаций, таких как Национальный институт по изучению вовлечения студентов в образовательный процесс (National Institute of Education's Involvement in Learning, 1984), Ассоциация по совместному составлению учебных планов в американских колледжах (the Association of American Colleges' Integrity in the College Curriculum, 1985), Национальная руководящая ассоциация по результатам обучения (the National Governors Association's Time for Results, 1986) [7].
В указанных источниках описаны различные подходы к оценке качества образования. Наибольшую популярность в России получили те из них, которые опираются на требования стандартов серии ИСО и теорию квалиметрии. Определение качества образования, данное в ст. 2 Федерального закона «Об образовании» (ФЗ № 273)1, практически полностью идентично определениям качества в стандартах ИСО2.
Есть, безусловно, и российские исследования, посвященные измерению качества образования и его результатов. Среди них хотелось бы выделить изыскания, в которых разрабатываются аспекты квалиметричес-кого подхода к решению проблемы [10-14]. Некоторые из авторов убеждены, что в современной педагогике эффективное управление качеством невозможно без методов квалиметрии [15].
В педагогических работах нередко приводятся довольно близкие толкования оценки качества деятельности структурных элементов системы образования. Приведем одно из них: «Оценка качества образовательных услуг - это экспертно-оценочная деятельность, результатом которой является установление степени соответствия образовательных результатов и условий их достижения государственно-общественным требованиям к качеству образования, социальным и личностным ожиданиям потребителей. Это деятельность ориентирована на поиск "проблемных" точек, разрывов в образовательном процессе и создание проектов их снятия»3.
Очевидно, что довольно общих и обтекаемых формулировок, которые содержатся в педагогических исследованиях, явно недостаточно для реше-
1 Об образовании в Российской Федерации. Федеральный закон № 273-ФЗ от 29.12.2012 (последняя редакция) [Электрон. ресурс]. Режим доступа: http:// www.consultant.ru/document/cons_doc_LAW_140174/ (дата обращения: 21.02.2017).
2 ГОСТ Р ИСО 9001-2001 Системы менеджмента качества. Требования (с изменением № 1) [Электрон. ресурс]. Режим доступа: http://docs.cntd.ru/docu-ment/1200015262 (дата обращения: 19.03.2017).
3 Харькова Е. В. Оценка качества образовательных услуг как основа развития учреждений среднего профессионального образования: диссертация... канд. пед. наук [Электрон. ресурс]. Москва, 2011. 202 с. Режим доступа: http:// www.dslib.net/ prof-obrazovanie/ ocenka-kachestva-obrazovatelnyh-uslug-kak-osnova-razvitija-uchrezhdenij-srednego.html (дата обращения: 20.07.2017).
ния задач оценки качества подготовки специалиста и уровня его квалификации. На наш взгляд, имеет смысл обратиться к практике, сложившейся в производственно-экономическом секторе, где занимающие нас подходы к процедурам оценивания проработаны много лучше, а трактовки измерения качества отличаются однозначностью и непротиворечивостью.
На наш взгляд, методологически приемлемым для сферы образования при определенной адаптации является подход, принятый в федеральном стандарте оценочной деятельности. Он заключается в применении «совокупности методов оценки стоимости объекта оценки, основанных на сравнении объекта оценки с объектами-аналогами объекта оценки, в отношении которых имеется информация о ценах. Объектом-аналогом объекта оценки для целей оценки признается объект, сходный с объектом оценки по основным экономическим, материальным, техническим и другим характеристикам, определяющим его стоимость». Указываются и параметры экспертизы: «Задание на оценку должно содержать следующую информацию: объект оценки; имущественные права на объект оценки; цель оценки; предполагаемое использование результатов оценки и связанные с этим ограничения; вид стоимости; дата оценки; срок проведения оценки»1.
Четко прописанные в стандарте рекомендации по определению качества оцениваемого объекта посредством конкретных процедур его сопоставления с эталоном позволяют получить достоверную информацию об этом объекте. Подобный подход может быть спроецирован на оценку качества знаний при условии наличия эталонов, на которые следует ориентироваться и которые не должны постоянно меняться. В противном случае проведение беспристрастной экспертизы будет затруднительно. Внедрение новых стандартов дает шанс на перенесение описанного выше опыта на отвечающую запросам времени организацию оценочной деятельности в образовании.
Понятие «оценка»
Понятие «оценка» используется в разных значениях в зависимости от контекста употребления. Оно может, например, выражать мнение оценщика о стоимости объекта; указывать на способ установления значимости и важности чего-либо для кого-либо; обозначать заключение (отчет) о результатах той или иной деятельности и ее последствиях и т. д.
1 Общие понятия оценки, подходы к оценке и требования к проведению оценки. Федеральный стандарт оценки № 1 (ФСО № 1) [Электрон. ресурс]. Режим доступа: http://www.rg.ru/2007/09/04/otsenka-standart1-dok.html (дата обращения: 10.01.2016).
Терминологическая неопределенность в сфере образования как самой категории «оценка», так и технологии ее применения осложняет интерпретацию контрольно-диагностических результатов в управлении образовательными организациями. Так, большинство педагогических работников отождествляет синонимичные (и согласно словарям действительно близкие) понятия «оценка» и «отметка», что с методологической точки зрения в корне неверно.
Мы под данным понятием подразумеваем, во-первых, действие или процесс сопоставления предмета / явления с эталоном оценивания; во-вторых, результат экспертизы, сопровождающейся описанием определенных качеств оцениваемого объекта и имеющей целью получение нового знания о нем.
Оценка основывается на определенном знании, которое служит для человека ориентиром в мире ценностей. Однако она «не просто знание, а мнение субъекта об объекте, т. е. нечто, не сводимое только к знанию» [16]. Оценка - сознательное выражение отрицательного или положительного отношения субъекта (человека или группы людей) к оцениваемому им объекту (предмету, действию, знанию и пр.). Основанием оценки выступают ценностно-смысловые субстраты (стандарты, нормы, традиции, идеалы, образцы и т. п.), которыми руководствуется субъект для вынесения оценочного суждения. В зависимости от вида основания оценки можно разделить на внутренние, проявляющиеся в эмоциях, переживаниях, чувствах, склонностях субъекта оценивания; и внешние, не зависящие от личностных характеристик субъекта. Внешние оценки утилитарны: они приписывают ценность рассматриваемому объекту с точки зрения его полезности, применимости.
Оценки могут быть абсолютными, когда в оценочных суждениях используются категорические ярлыки типа «хороший», «плохой», «добро», «зло», «безразлично»; и сравнительными, когда выстраивается сопоставительный ряд - «лучше», «хуже», «больше», «меньше» [17].
Относительно формы выражения оценки классифицируются
• на балльные: результаты оценивания измеряются в баллах;
• метрические: определяются в метрических единицах (метрах, килограммах, рублях и пр.);
• безразмерные, или относительные (используют обычно для характеристики качества продукции или сравнения качества изделий различного назначения): выражаются в долях единицы или процентах.
Объективная оценка знаний учащихся предполагает воспроизводимость результата обучения при любом числе повторных проб (конечно,
при надлежащей надежности измерения) [18]. Если содержание контрольно-измерительных заданий будет постоянно меняться, то результаты нельзя будет соотнести друг с другом.
Сложность рассматриваемой нами проблемы заключается в том, что для систематизации сложившейся практики оценки пока нет единого основания. В связи с этим приходится ограничиваться классификацией методов оценивания и видов оценки по нескольким признакам, которые позволяют учитывать как структуру процесса оценивания, так и его особенности в сфере образования.
Процедура оценивания
Процесс оценивания может осуществляться разными методами в зависимости от средств анализа:
• инструментальным: измерения и анализ проводятся с помощью специальных приборов;
• органолептическим: в оценке задействованы органы чувств (зрение, слух, обоняние, осязание);
• экспертным: инструментами измерения и анализа являются информация, опыт и интуиция эксперта;
• смешанным методом: различные комбинации трех предшествующих.
Наибольшей популярностью в разных областях деятельности пользуется метод экспертных оценок, так как он сравнительно прост в использовании и универсален. Как самостоятельная дисциплина в теории управления (менеджмента) экспертные оценки стали рассматриваться с середины ХХ века. Метод опирается на знания, опыт и интуицию специалистов - экспертов, чьи мнения должны быть обработаны и выражены в качественной и/или количественной форме с целью подготовки информации для принятия решения компетентными лицами [19]. Есть разные способы получения экспертных оценок. Каждый эксперт может работать автономно, не зная ничего об остальных участниках экспертизы и высказывая свое мнение независимо от авторитетов. Или эксперты могут собираться вместе и коллективно обсуждать проблему, учась друг у друга и делая общие выводы. В одних ситуациях число экспертов определяется таким образом, чтобы с помощью статистических методов проверки согласованности мнений и затем их усреднения можно было принимать обоснованные решения. В других случаях - «число экспертов растет в процессе проведения экспертизы, например при использовании метода "снежного кома"» [20].
В сфере образования большинство показателей качества носит латентный (скрытый) характер, в силу чего оцениваются не само качество, а его наблюдаемые признаки, т. е. эмпирические референты. Так как последние выбираются интуитивно, для доказательства их соответствия латентным характеристикам прибегают к статистическому и экспертному анализу эмпирических результатов измерений.
Латентные характеристики объекта требуют множества результатов его оценивания. На практике же совершается обратное действие: в зависимости от наблюдаемых результатов дается оценка латентных характеристик. Латентность оцениваемых переменных, к которым в образовании относятся уровни освоения знаний, умений, навыков или компетенций, порождает необходимость проверки адекватности полученных оценок концептуальной переменной (переменными) качества знаний. Точность оценок может быть обеспечена хорошо построенной работой квалифицированных экспертов [21].
Метод экспертных оценок применяется, например, в работе предметных комиссий ЕГЭ. Ответы учащихся на задания части № 2 экзаменационной работы ЕГЭ проверяются специально подготовленными учителями, причем одну ученическую работу рассматривают два эксперта. Если их оценки расходятся на установленную критическую величину, из отдельно подобранной группы назначается третий эксперт, заключение которого становится окончательным.
Теория и практика использования метода экспертных оценок в высшей школе, прежде всего для подготовки специалистов технических специальностей, подробно рассмотрены в работах Ю. А. Шихова и О. Ф. Ши-ховой [10-13].
Составляющие оценки
К ключевым вопросам определения качества относятся выбор и формирование составляющих оценки: критериев, параметров, показателей, а также норм.
Критерий - признак, по которому производится оценка, т. е. он является ее мерилом и средством проверки [21] - эталоном для сравнения результатов оценивания. Разработка и обоснование критериев и критериальной базы - одна из важнейших проблем любого вида оценки.
Различают критерии результативности и эффективности. Первые позволяют понять, достигнуты ли желаемые результаты и соответствуют ли они стандартам качества. С помощью вторых определяется соразмерность затрат и привлеченных ресурсов целям и результатам выполненной задачи.
Существует ряд требований, предъявляющихся к критериям. К ним относятся однозначность, валидность, независимость от субъективных условий и обстоятельств, простота в использовании, достаточность, но не избыточность (формулировка критериев не должна быть громоздкой, чтобы не осложнять процесс экспертизы).
Важным фактором, влияющим на объективность оценки, является подбор оптимального количества критериев. Для примера обратимся к диагностике результативности деятельности государственных служащих. Если количество критериев будет излишним, затраты на мониторинг и сложность обработки его результатов могут превысить положительный эффект от практического применения показателей результативности. Следствием недостаточного количества критериев может стать «эффект искажающего поведения» работников, которые будут заниматься только той деятельностью, которая попадает под измерения. Отдельные группы критериев составляют характеристики процесса (сроки, нормативы осуществления должностных обязанностей госслужащего и пр.), затраты на осуществление определенной деятельности и показатели влияния (например, эффект воздействия госслужащего на определенную целевую группу). Ф. И. Шамхалов как наиболее актуальные выделяет следующие критерии оценки деятельности госслужащих: степень соответствия содержания и результатов деятельности управленческих структур и работников тем параметрам, которые определены вышестоящими управленческими руководителями; степень соблюдения управляющими правовых и иных установленных норм; степень влияния управленческой деятельности на состояние и развитие управленческих объектов; степень изменения объекта управления в позитивную или негативную сторону; то, насколько управляющая деятельность направлена на улучшение реального положения людей, на реализацию их интересов и потребностей; объемы издержек управляющей деятельности с точки зрения окупаемости вкладываемых в управление ресурсов; авторитетность решений и действий управленческих структур и работников1.
Критерии определяются на основе системы параметров и показателей, которые позволяют отслеживать предметность и целенаправленность какой-либо деятельности, а кроме того, описывают ее состояние и эффективность. Определение параметров, входящих в систему оценки, во многом зависит от специфики обследуемого объекта и требует, в свою очередь, тщательного выбора критериев и набора входящих в них показателей.
1 Шамхалов Ф. Основы теории государственного управления: учебник для вузов. Москва: Экономика, 2003. 518 с.
Параметры и показатели в совокупности должны достаточно полно характеризовать состояние деятельности и давать возможность определить ее эффективность, при этом количество их должно быть минимальным.
Различают несколько видов параметров:
а) деятельностно-процессуальные - описывают основные структурные компоненты, характеризующие состояние (качество) и сущность деятельности;
б) социальные - учитывают основные факторы определенного вида деятельности, обеспечивающие ее эффективность;
в) функциональные - отражают степень реализации потенциальных возможностей субъектов деятельности.
Все перечисленные параметры должны отвечать следующим требованиям: во-первых, их число должно быть оптимальным; во-вторых, они должны быть простыми и понятными.
Показатель, наряду с критерием, служит инструментом, при помощи которого измеряется и выбирается оптимальный вариант решения практической задачи в конкретных условиях. Главными характеристиками показателя являются диагностичность и конкретность, делающие его доступным для наблюдения, учета и фиксации. Показатель по отношению к критерию рассматривается как частный измеритель. В общем смысле под показателем понимают основание, позволяющее судить о наличии того или иного признака. Число показателей, как и параметров, должно быть минимальным для того, чтобы не осложнялась процедура экспертизы. Отсюда вытекает важнейшее требование к системе показателей - они должны быть конкретными, ясными, емкими и удобными для измерения.
Посредством анализа качественных показателей создается система их проверки и утверждаются их эталоны. На основе эталонных показателей, например, на уровне образовательных учреждений проводится внутренний и внешний бенчмаркинг, которым занимаются соответствующие государственные органы в период проведения аттестации организации. Надо отметить, что в связи с высокой степенью транспарентности компаний-конкурентов по качественным показателям проводить по ним внешний бенчмаркинг значительно проще, чем по количественным [21], препятствием для использования которых часто становятся трудности формализации, обобщения и анализа результатов оценки.
Помимо критериев, показателей и параметров систему оценки составляют нормы, понимающиеся в философии как предписания, разрешения или запрещения действовать определенным образом1; а в социоло-
1 Философия: энциклопедический словарь / под ред. А. А. Ивина. Москва: Гардарики, 2004. С. 584.
гии - как образцы, средние величины чего-нибудь; узаконенные представления, признанный порядок чего-либо; формы регулирования поведения в биологических, технических, социальных системах; а также правила поведения в определенных ситуациях1. Норма представляет собой ориентир в выборе эталонов оценивания: это социально апробированные и закрепленные в обществе стереотипы, которые в самом общем виде можно разделить на правила, предписания и технические требования.
Шкалирование оценок
Обязательная составляющая процедур оценивания - соотнесение его критериев со специальной шкалой. Известны несколько типов шкал: номинальные, порядковые, интервальные, шкалы отношений и шкалы абсолютных величин.
Оценки, выставляемые за успехи в обучении, традиционно присуждаются по порядковой шкале2, или иначе - шкале рангов, название которой говорит само за себя: все оцениваемые объекты по определенным признакам выстраиваются в ранжированный ряд. Данная шкала характеризует относительный размер дескрипторов («меньше чем», «больше чем», «равен»). Поскольку оценка «5» - максимальный результат в 4-балльной шкале, она свидетельствует о более высоком уровне знаний, чем оценка «4», которая, в свою очередь, является показателем лучших знаний, чем оценка «3». Но на вопрос, насколько больше знает ученик, получивший 4 балла, в сравнении с учеником, которому поставили 3 балла, ответить весьма затруднительно, так как данная шкала не предполагает нахождение разности. Она лишь демонстрирует различие между объектами: А > Б, Б > В и т. п., тем самым упорядочивая их. Никаких математических действий: сложения, вычитания, тем более умножения и деления -в рамках этой шкалы произвести нельзя. Но можно учитывать частотность повторяемости разных показателей: А - _%, Б - _%, В - _%. Это единственная количественная операция, возможная в рамках такого типа оценивания.
Вне сферы образования наглядным примером применения порядковой шкалы является оценка достижений спортсменов на соревнованиях: золотая медаль - 1-е место, серебряная - 2-е, бронзовая - 3-е место. По числу медалей соответствующего достоинства определяют результаты в командном зачете на соревновании. Но нахождение средних значений,
1 Социологический энциклопедический словарь: на русском, английском, немецком, французском и чешском языжах. Москва: НОРМА-ИНФРА М, 2000. С. 204.
2 О введении цифровой пятибалльной системы оценки успеваемости и поведения учащихся начальной, семилетней и средней школы. Постановление Совета Народных комиссаров от 10 января 1944 г. № 18 [Электрон. ресурс]. Режим доступа: http://www.libussr.ru/doc_ussr/ussr_4475.htm (дата обращения: 3.01.2017).
например между золотой и серебряной медалями, и здесь, как и в образовании, невозможно.
Один из вариантов порядковой шкалы предлагается в «Методических указаниях по оценке технического уровня и качества промышленной продукции»1. Градация качества продукции зависит от ее технического уровня (табл. 2). Разница образовательной и промышленной версий шкал состоит в направлении установленной градации. В первой значения направлены от меньшего к большему значению, во второй - от большего к меньшему, однако общий принцип ранжирования от этого не меняется.
Таблица 2
Градация технической продукции по уровню качества
Table 2
Gradation of technical products in terms of quality level
№ Градация качества продукции
1. Градация П - превосходный (высший) уровень
2. Градация С - средний уровень качества
3. Градация У - удовлетворительный уровень качества
4. Продукция низкого качества
5. Некачественная (бракуемая) продукция
Вместе с тем «Методические указания...» дают представление о подходе к измерению результатов, построенном на оценочных суждениях, что принципиально отличается от подхода, принятого в образовании, который сильно устарел и продолжает отставать от современных тенденций в оценке качества. Измерения результатов обучения посредством тестирования сводятся к переводу полученных баллов в качественную порядковую шкалу. Если тестирование экзаменационное, баллы ранжируются согласно категориям «отлично», «хорошо», «удовлетворительно», «неудовлетворительно». При процедуре зачета действует дихотомическая система - «аттестован / не аттестован». Оба варианта, укоренившиеся в образовании, вызывают справедливые нарекания педагогов: все чаще возникают предложения введения системы оценивания с большим числом качественных уровней - 9-, 10- или даже 12-балльных.
Примером перевода измерений в оценочные суждения является интерпретация результатов тестирования в рамках международных исследований, таких как PISA (Programme for International Student As-
1 Режим доступа: http://qmmatireal.ucoz.ru/index/ ocenka_tekhnichesko-go_urovnja_izdelij/0-69-0-69 (дата последнего обращения 19.01.2016).
sessment)1. Интерес вызывают не цифровые расчеты шагов шкалы, а именно оценочные суждения, отражающие уровень приближения к заданному эталону и позволяющие сравнивать с ним полученные в ходе экспертизы данные. В табл. 3, где размещены результаты PISA-2015, демонстрирующие грамотность обучающихся по естествознанию, видно, что оценочная шкала мало чем отличается от приведенной в табл. 2: «превосходный (высший) уровень» качества соответствует категории «самостоятельно мыслящие и способные функционировать в сложных условиях». «бракуемая продукция» - 1-му уровню шкалы PISA.
Таблица 3
Описание уровней естественнонаучной грамотности в PISA-2015
Table 3
Description of the levels of natural science literacy in the PISA-2015 study
Уровень Нижняя граница уровня, баллы Что могут продемонстрировать учащиеся, достигшие данного уровня естественнонаучной грамотности
1 2 3
6-й 708 Способны самостоятельно мыслить и функционировать в сложных условиях; при интерпретации данных и использовании научных доказательств отличать относящуюся к теме информацию от неотносящейся и опираться на знания, полученные ими вне обычной школьной программы. Могут различать аргументы, основанные на научных данных и теориях, и аргументы, основанные на других соображениях. Могут дать оценку альтернативным способам проведения сложных экспериментов, исследований и компьютерного моделирования и обосновать свой выбор
5-й 633 Могут использовать абстрактные естественнонаучные идеи или понятия, чтобы объяснить незнакомые им и более сложные, комплексные, явления, события и процессы, включающие в себя несколько причинно-следственных связей. Могут оценить различные способы исследования предложенного им вопроса с научной точки зрения и видеть ограничения при интерпретации данных, включая источники погрешностей и неопределенностей в научных данных
1 Международная программа по оценке образовательных достижений учащихся [Электрон. ресурс] // Центр оценки качества образования. 2015. Режим доступа: http://www.centeroko.ru/pisa15/pisa15_pub.htm (дата обращения: 19.01.2017).
1 2 3
4-й 559 Могут использовать более сложные или более абстрактные знания, которые либо предоставляются, либо извлекаются из памяти, для объяснения достаточно сложных или не совсем знакомых ситуаций и процессов. Могут интерпретировать информацию, состоящую из не слишком сложного набора данных, делать вытекающие из анализа данных выводы, приводя их обоснование
3-й 484 Могут опираться на не очень сложные знания для распознавания или построения объяснений знакомых явлений. В менее знакомых или более сложных ситуациях способны строить объяснения, используя подсказки. Опираясь на элементы содержательных или процедурных знаний, мгут выполнить простой эксперимент для ограниченного круга задач
2-й 410 Могут опираться на знания повседневного содержания и базовые процедурные знания для распознавания научного объяснения, интерпретации данных, а также задач, решаемых в простом экспериментальном исследовании. Способны использовать базовые или повседневные естественнонаучные знания, чтобы распознать адекватный вывод из простого набора данных
1-й 335 Могут использовать повседневные содержательные и процедурные знания, чтобы распознавать объяснение простого научного явления. При поддержке способны выполнять по заданной процедуре исследования не более чем с двумя переменными. Могут выбрать лучшее научное объяснение для представленных данных в знакомых ситуациях, относящихся к личному, местному и глобальному контекстам
Заключение
Для успешной реализации федерального закона «О независимой оценке квалификации» от (03.07.2016 г. № 238-ФЗ) необходима добротная методологическая база такой экспертизы. В тексте закона утверждается, что идеальной моделью специалиста должны стать требования профессионального стандарта, которые должны быть легко формализуемы для обеспечения объективной оценки квалификации работников, в первую очередь выпускников учреждений профессионального образования. На основании формализованных процедур будут вербализироваться различные оценочные суждения. Для вузов такие внешние заключения станут определять право осуществления деятельности по подготовке специалис-
тов. Широко распространенные в настоящее время тестовые измерения учебных достижений выпускников высшей (и средней) школы не носят комплексного характера, поэтому не могут считаться валидными, особенно относительно проверки уровня профессиональной подготовки обучающихся. Очевидно, что тестовый контроль должен быть не единственным, а лишь одним из возможных и не главным инструментом оценки результатов образования и аудита качества услуг.
Построенные на основе данных формализованных экспертных процедур оценочные суждения позволят делать разнообразные выводы о деятельности не только отдельных организаций, но и системы образования в целом; выявлять степень приближения к норме полученных результатов и отклонения от нее, а также производить необходимые корректирующие действия. Объективность процедур оценивания и достоверность их результатов будут зависеть от того, насколько полно в них удастся учесть современные научные требования к диагностике, определению ее критериев и выбору методологических подходов к интерпретации установленных фактов. Все это актуализирует вопрос о подготовке корпуса квалифицированных экспертов, которые смогут обеспечить разработку и внедрение эффективных технологий организации и проведения оценочных мероприятий.
Вузы должны проанализировать деятельность и уже имеющийся опыт Минтруда РФ, который начал формировать пакет предписаний к экспертам, обучающим их организациям и процедурам оценки квалификации кадров для различных отраслей производства и экономики. Возможно, для системы отечественного образования следует спроектировать единый стандарт оценки по образцу международного стандарта IVS 2017 и добиться его учреждения [22]. После 2020 г., когда согласно правительственным документам должен завершиться процесс перехода экономики на профессиональные стандарты, в связи с чем требования к квалификации выпускников станут значительно жестче, принимать подобные меры будет, мягко говоря, проблематичней. Затягивание высшими учебными организациями и колледжами решения официально заявленной задачи привести программы и результаты обучения в соответствие с требованиями профстандартов может ко всему прочему повлечь дополнительные экономические издержки и повлиять на стоимость образовательных услуг.
Во избежание усугубления и так существующих противоречий между работодателями и сферой профессионального образования нужно продолжать дальнейший поиск адекватного инструментария оценки квали-
фикационных характеристик потенциальных кадров производственно-экономического и социального секторов.
Список использованных источников
1. Томильцев А. В., Мальцев А. В. Методология измерения знаний в профессиональной подготовке / / Высшее образование в России. 2016. № 8-9. С. 92-100.
2. Постаногова Л. В. Качественные модели оценки интеллектуального капитала компании / / Современные научные исследования и инновации. 2011. № 2 [Электрон. ресурс]. Режим доступа: http://web.snauka.ru/issu-es/2011/06/692 (дата обращения: 12.01.2018).
3. Козырев А. Н., Макаров В. Л. Особенности оценочной деятельности применительно к условиям новой экономики: хрестоматия. Москва: Интерреклама, 2003 [Электрон. ресурс]. Режим доступа: http://prochee.proocen-ka.ru/index.htm?139 (дата обращения: 21.01.2018).
4. Субетто А. И. Качество непрерывного образования: логика развития и проблемы. С.-Петербург: СПГАППО, 2005. 75 с.
5. Томильцев А. В. Управление качеством образования: практико-ори-ентированная монография. Екатеринбург: Уральский государственный педагогический университет, 2010. 232 с.
6. Нежнов П. Г., Карданова Е. Ю. SAM (Student Achievement Monitoring): инструмент мониторинга учебных достижений школьников. 2011 [Электрон. ресурс]. Режим доступа: http://sam.edutech.fund/docs/ru/Framework_ru.pdf (дата последнего обращения 20.07.2017).
7. Clifton F. Conrad, Divya Malik Gupta. «Traditional and Emerging Approaches to Assessing the Quality of Higher Educational Institutions, Programs and Courses: A Perspective from the United States» // University of Wisconsin-Madison. Paper presented at the 2006 International Conference on Higher Education Evaluation and Accreditation. Higher Education Evaluation and Accreditation Council of Taiwan (HEEACT), May 10, 2006. Available from: http://www.scu.edu.tw/conferen-ce/950620_speech (дата обращения: 1.02.2018).
8. Rob de Klerk, Klaas Visser and Liesbeth van Welie. Quality Asessment and Education Policy at the Universittit van Amsterdam the Netherlands / OECD/IMHE, 2008. Available from: http://www.oecd.org/netherlands/ 1871470.pdf (дата обращения: 2.02.2018).
9. Tertiary Education for the Knowledge Society / OECD, 2008. Available from: www.oecd.org/edu/tertiary/review (дата обращения: 2.02.2018).
10. Шихов Ю. А. Квалиметрический мониторинг качества фундаментальной подготовки в техническом вузе: монография. Москва; С.-Петербург; Ижевск: Исследовательский центр проблем качества подготовки специалистов; Стикс; ИжГТУ, 2007. 208 с.
11. Шихова О. Ф., Шихов Ю. А. Квалиметрический подход к диагностике компетенций выпускников высшей школы // Образование и наука. 2013. № 4 (103). С. 40-57.
12. Шихова О. Ф. Модель проектирования многоуровневых оценочных средств для диагностики компетенций студентов в техническом вузе // Образование и наука. 2012. № 2 (91). С. 23-31.
13. Шихова О. Ф. Основы квалиметрии вузовского образовательного стандарта: монография. Москва; Ижевск: Удмуртский университет, 2006. 232 с.
14. Бекоева М. И. Педагогическая квалиметрия в управлении качеством образования студентов современного вуза / / Nauka-Rastudent.ru [Электрон. ресурс]. 2015. № 6 (18). Режим доступа: https://elibrary.ru/download/elib-rary_23616586_31866586.pdf (дата обращения 18.02.2017).
15. Лашко А. Г. Сущность квалиметрического подхода как научной парадигмы // Современная педагогика. 2016. № 11 [Электрон. ресурс]. Режим доступа: http://pedagogika.snauka.ru/2016/11/6236 (дата обращения:
01.10.2017).
16. Воронина Л. И., Костина С. Н., Томильцев А. В. Функции и услуги в системе государственного и муниципального управления: монография / под общ. ред. Т. М. Резер. Екатеринбург: Уральский университет, 2017. 139 с.
17. Хорешко О. Н. Жанровый аспект положительной оценки лица [Электрон. ресурс]. Режим доступа: http://cheloveknauka.com/zhanrovyy-aspekt-po-lozhitelnoy-otsenki-litsa (дата обращения: 20.01.2016).
18. Беспалько В. П. Природосообразная педагогика. Москва: Народное образование, 2008. 112 с.
19. Орлов А. И. Современный этап развития теории экспертных оценок [Электрон. ресурс]. Режим доступа: http://orlovs.pp.ru/diff/antorlov/exper-toc.htm (дата обращения: 14.01.2016).
20. Пономарева Т. А. Качество услуг: качественные параметры оценки // Маркетинг в России и за рубежом. 2005. № 1. С. 141-153.
21. Гладких Б. А. Выбор шкалы оценивания знаний в вузе в контексте Болонского процесса // Проблемы управления в социальных системах. 2011. Вып. 5. Т. 3. С. 98-118.
22. Мягков В. Международные стандарты оценки IVS 2017. С.-Петербург: НМСО, 2017. Режим доступа: http://docplayer.ru/59807725-Mezhduna-rodnye-standarty-ocenki-ivs-2017-obzor-i-kommentarii.html (дата обращения:
19.01.2018).
References
1. Tomiltcev A. V. Maltsev A. V. Methodology for knowledge measurement in professional training. Vysshee obrazovanie v Rossii = Higher Education in Russia. 2016; 8-9: 92-100. (In Russ.)
2. Postanogova L. V. Qualitative models of assessment of the intellectual capital of the company. Sovremennye nauchnye issledovaniya i innovacii = Modern Scientific Research and Innovations [Internet]. 2011 [cited 2018 Jan 12]; 2. Available from: http://web.snauka.ru/issues/2011/06/692 (In Russ.)
3. Kozyrev A. N., Makarov V. L. Osobennosti ocenochnoj deyatel'nosti pri-menitel'no k usloviyam novoj ekonomiki. Xrestomatiya = Features of estimated ac-
tivity in relation to conditions of new economy: Anthology [Internet]. Moscow: Publishing House Interreklama; 2003 [cited 2017 Jan 01]. Available from: http://prochee.proocenka.ru/ index.htm (In Russ.)
4. Subetto A. I. Kachestvo nepreryvnogo obrazovaniya: logika razvitiya i problem = Quality of continuous education: Logic of development and problems. St.-Petersburg: St. Petersburg State Academy of Post-Degree Pedagogical Education; 2005. p. 75. (In Russ.)
5. Tomiltcev A. V. Upravlenie kachestvom obrazovaniya = Education quality management. Yekaterinburg: Ural Pedagogicl University; 2010. р. 75. (In Russ.)
6. Nezhnov P. G., Kardanova Е. Y. SAM (Student Achievements' monitoring): Instrument of monitoring of educational achievements of school students [Internet]. 2011 [cited 2017 Jul 20]. Available from: http://sam.edu-tech.fund/docs/ru/Framework_ru.pdf (In Russ.)
7. Clifton F. Conrad, Divya Malik Gupta. "Traditional and emerging approaches to assessing the quality of higher educational institutions, programs and courses: A perspective from the United States" [Internet]. In: 2006 International Conference on Higher Education Evaluation and Accreditation. Higher Education Evaluation and Accreditation Council of Taiwan (HEEACT); 2006 May 10 [cited 2018 Feb 01]. Available from: http://www.scu.edu.tw/conference/950620_speech
8. Rob de Klerk, Klaas Visser, Liesbeth van Welie. Quality Assessment and Education Policy at the Universiteit van Amsterdam the Netherlands [Internet]. OECD/IMHE, 2008 [cited 2018 Feb 02]. Available from: http://www.oecd.org/netherlands/1871470.pdf
9. Tertiary Education for the Knowledge Society [Internet]. OECD, 2008 [cited 2018 Feb 02]. Available from: www.oecd.org/edu/tertiary/review
10. Shihov Ju. A. Kvalimetricheskij monitoring kachestva fundamental'noj podgotovki v tehnicheskom vuze = Qualimetric monitoring of quality of fundamental preparation in technical college. Moscow; St.-Petersburg; Izhevsk: Research Center for Problems of Experts' Training Quality; Stiks; Kalashnikov Izhevsk State Technical University; 2007. 208 p. (In Russ.)
11. Shihova O. F., Shihov Ju. A. Qualimetric approach to diagnosing the competences of university graduates. Obrazovanie i nauka = The Education and Science Journal. 2013; 4 (103): 40-57. (In Russ.)
12. Shihova O. F. The design model of multilevel estimation means for students' competence assessment at technical higher school. Obrazovanie i nauka = The Education and Science Journal. 2012; 2 (91): 23-31. (In Russ.)
13. Shihova O. F. Osnovy kvalimetrii vuzovskogo obrazovatel'nogo standar-ta = Bases of a qualimetry of the high school educational standard. Moscow; Izhevsk: Udmurt University; 2006. 232 p. (In Russ.)
14. Bekoyeva M. I. Pedagogical qualimetry in the management of the quality of education of students of a modern university. Nauka-Rastudent.ru [Internet]. 2015 [cited 2017 Feb 18]; 6. Available from: http://nauka-rastudent.ru/18/ 2760/ (In Russ.)
15. Lashko A. G. The essence of qualimetric approach as scientific paradigm. Sovremennajapedagogika = Modern Pedagogics [Internet]. 2016 [cited 2017 Oct 01]; 11. Available from: http://pedagogika.snauka.ru/2016/11/6236 (In Russ.)
16. Voronina L. I., Kostina S. N., Tomiltcev A. V. Funkcii i uslugi v sisteme gosudarstvennogo i municipal'nogo upravleniya = Functions and services in the system of state and municipal management. Ed. by T. M. Rezer. Yekaterinburg: Ural University; 2017. 139 p. (In Russ.)
17. Horeshko O. N. Genre aspect of positive assessment of the person [Internet]. [cited 2016 Jan 20]. Available from: http://cheloveknauka.com/zhan-rovyy-aspekt-polozhitelnoy-otsenki-litsa (In Russ.)
18. Bespal'ko V. P. Prirodosoobraznaya pedagogika = Nature-aligned pedagogy. Moscow: Narodnoe obrazovanie; 2008. 112 p. (In Russ.)
19. Orlov A. I. The modern stage of development of the theory of expert analysis [Internet]. [cited 2016 Jan 14]. Available from: http://orlovs.pp.ru/ diff/antorlov/expertoc.htm (In Russ.)
20. Ponomareva T. A. Quality of services: Quality parameters of assessment. Marketing v Rossii i za rubezhom = Marketing in Russia and Abroad. 2005; 1: 141-153. (In Russ.)
21. Gladkih B. A. Selection of the scale of assessment of knowledge in the university in the context of the Bologna process. Problemy upravlenija v social'nyh sistemah = Management Problems in Social Systems. 2011; 3 (5): 98-118. (In Russ.)
22. Myagkov V. Mezhdunarodnye standarty ocenki IVS 2017 = International standards of assessment of IVS (International Valuation Standards) 2017 [Internet]. St.-Petersburg: NMSO; 2017 [cited 2018 Jan 19]. Available from: http://docplayer.ru/59807725-Mezhdunarodnye-standarty-ocenki-ivs-2017-ob-zor-i-kommentarii.html (In Russ.)
Информация об авторах:
Томильцев Алексей Витальевич - кандидат педагогических наук, доцент кафедры теории, методологии и правового обучения Уральского федерального университета им. Б. Н. Ельцина, Екатеринбург, Россия. E-mail: Tomiltcev@mail.ru
Мальцев Алексей Владимирович - кандидат биологических наук, доцент кафедры общей и социальной психологии департамента психологии Уральского федерального университета им. Б. Н. Ельцина, Екатеринбург, Россия. E-mail: A. V. Maltsev@urfu.ru
Вклад соавторов:
А. В. Томильцеву пренадлежит идея статьи и большая часть ее текста; А. В. Мальцев развил основную идею работы.
Статья поступила в редакцию 15.01.2018; принята в печать 14.03.2018.
Автор прочитал и одобрил окончательный вариант рукописи.
Information about the authors:
Alexey V. Tomiltcev - Candidate of Pedagogical Sciences, Associate Professor, Ural Federal University named after the first President of Russia B. N. Yeltsin, Yekaterinburg, Russia. E-mail: Tomiltcev@mail.ru
Alexey V. Maltsev - Candidate of Biological Sciences, Associate Professor, Ural Federal University named after the first President of Russia B. N. Yeltsin, Yekaterinburg, Russia. E-mail: A. V. Maltsev@urfu.ru
Contribution of the authors:
Aleksey V. Tomiltsev suggested the main idea of the article and wrote the larger part of it. Alexey V. Maltsev developed the main idea of the publication.
Received 15.01.2018; accepted for publication 14.03.2018. The authors have read and approved the final manuscript.
