CC BY
40
КВАЛИМЕТРИЧЕСКИЙ ПОДХОД В ОБРАЗОВАНИИ
УДК 378.146
Шихов Юрий Александрович
доктор педагогических наук, профессор, заведующий кафедрой профессиональной педагогики Ижевского государственного технического университета им. М. Т. Калашникова, Ижевск (РФ). E-mail: shihov55@mailru
Шихова Ольга Федоровна
доктор педагогических наук, профессор, профессор кафедры профессиональной педагогики Ижевского государственного технического университета им.. М. Т. Калашникова, Ижевск (РФ). E-mail: shihov55@mailru
Касаткин Антон Александрович
ассистент кафедры общей и клинической фармакологии Ижевской государственной медицинской академии Министерства здравоохранения РФ, Ижевск (РФ). E-mail: ant-kasatkin@yandex.ru
ПРОБЛЕМА ИЗМЕРИМОСТИ ОБРАЗОВАТЕЛЬНЫХ СТАНДАРТОВ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ
Аннотация. Цель статьи состоит в описании таксономической модели, позволяющей классифицировать учебную информацию, педагогические контрольные материалы, а также уровни сформированности у обучающихся компетенций, соответствующих требованиям федерального государственного образовательного стандарта.
Методология и методики исследования основаны на квалиметрическом подходе, предполагающем педагогическую экспертизу элементов матрицы таксономической модели посредством групповых экспертных оценок в виде многофункциональной матрицы
Результаты. Описаны методика и математический аппарат для определения рейтинга ячеек многофункциональной матрицы, на основе которой осуществляется классификация рассматриваемых педагогических объектов.
Научная новизна. Предложена новая таксономическая модель, позволяющая решить проблему измеримости компонентов образовательных стандартов в условиях реализации в высшей школе компетентностного подхода.
Практическая значимость. Представленные в статье таксономическая модель и методика ее применения могут быть использованы для конкретизации компетентностно-ориентированных целей обучения в вузе и диагностики степени их достижения.
Ключевые слова: таксономическая модель, многофункциональная матрица, рейтинг, уровень подготовленности, компетенции. DOI: 10.17853/1994-5639-2016-1-21-33
Shikhov Yuri A.
Doctor of Pedagogical Sciences, Professor, Head of the Department of Vocational Pedagogy, M. T. Kalashnikov Izhevsk State Technical University, Izhevsk (RF). E-mail: shihov55@mail.ru
Shikhova Olga F.
Doctor of Pedagogical Sciences, Professor, Department of Vocational Pedagogy, M. T. Kalashni-kov Izhevsk State Technical University, Izhevsk (RF). E-mail: shihov55@mail.ru
Kasatkin Anton A.
Assistant Lecturer, Department of General and Clinical Pharmacology, Izhevsk State Medical Academy of Ministry of Health, Izhevsk (RF). E-mail: ant-kasatkin@yandex.ru
THE PROBLEM OF STANDARDS MEASURABILITY IN HIGHER VOCATIONAL EDUCATION
Abstract. The paper aims to describe the taxonomic model as a multifunction matrix which ensures classifying educational information, educational reference materials, and students on the base of their competencies development level in the framework of the Federal State Educational Standards.
Methods. The methods are based on qualimetric approach involving pedagogical expertise of matrix elements based on the Expert Group Appraisal method.
Results. The paper presents methods and mathematical tools for assessing the ranking of cells of multifunctional matrix used for classifying the pedagogical objects.
Scientific novelty. The paper introduces a new taxonomic model that solves the problem of educational standards measurability when implementing the competency-based approach in higher education.
Practical significance. The taxonomic model and its application methods described in the study can be used for specifying and assessing the degree of achieving competency-based learning outcomes in higher education.
Keywords: taxonomic model, multi-function matrix, ranking, level of expertise, competence.
DOI: 10.17853/ 1994-5639-2016-1-21-33
В Федеральном государственном образовательном стандарте (ФГОС) в качестве основных норм качества результата образования студентов и выпускников высшей школы обозначены состав и уровни сформиро-ванности общекультурных и профессиональных компетенций [1, 8 и др.], фиксация и измерение которых возможны лишь в рамках какой-либо определенной таксономической модели.
Анализируя наиболее известные таксономии, исследователи выделяют ряд присущих им общих черт и особенностей, характеризующих их инструментальные возможности при описании педагогических целей [2, 4, 5 и др.]. Каждая из таксономий построена на каком-либо одном основании: внутренней или внешней процессуальной стороне деятельности, аффективном или когнитивном начале, предметных или межпредметных, общеучебных или организационных умениях и т. д. Так, последовательность целей, пожалуй, в самой известной таксономии, предложенной Б. Блу-мом и его коллегами, для когнитивной сферы выглядит следующим образом: знание, понимание, применение, анализ, синтез, оценка; а в аффективной области это восприятие, реакция, оценка, организация и оценка комплекса ценностей. Причем каждая из категорий сопровождается расшифровкой ее «скрытого смысла»: знание понятий, принципов, конкретных фактов и т. п.; понимание - умение транслировать, интерпретировать, экстраполировать; применение методов, правил, общих понятий; анализ элементов, принципов организации целого, отношений между элементами; синтез - создание собственного произведения, разработка плана деятельности, создание образа целого на основе частичных данных; оценка на основе внутренних критериев, на основе внешних критериев и т. д.
Что касается вариантов таксономических систем, предлагаемых отечественными авторами, то они достаточно близки между собой и разрабатываются преимущественно в рамках технологического подхода к обучению, который предполагает такое проектирование учебного процесса, при котором образовательные программы включают разработку полного набора учебных целей и критериев их измерения. Особенностью этого подхода является оперативная обратная связь с обучающимися и постоянная коррекция учебного процесса, ориентированного на гарантированное достижение поставленных целей.
В данном отношении представляет интерес двумерная таксономическая модель Б. У. Родионова и А. О. Татура, которая представляет собой дидактически унифицированную классификацию категорий обученно-сти. В структуре знаний каждого образовательного уровня авторы выделяют четыре звена:
1) мировоззренческий минимум, т. е. знания, которые остаются в памяти любого обучающегося по данному предмету;
2) базовые знания, необходимые для дальнейшего успешного изучения предмета;
3) программные знания сверх базового уровня;
4) сверхпрограммные знания как дополнение к программе для наиболее сильных обучающихся.
Структура умений также подразделяется на четыре уровня:
1) фактический - умение узнавать основные факты, формулы, термины, принципы предмета;
2) операционный - выполнение действий по образцу;
3) аналитический - умение анализировать ситуацию и строить процедуры из простых операций;
4) творческий - свободное владение материалом предмета, умение находить нетривиальное решение.
Названные блоки знаний и умений авторы отображают в виде матрицы обученности, в которой выделены элементы, относящиеся к образовательному минимуму, определенному образовательными стандартами. Такая матрица позволяет не только классифицировать учебный материал в любой предметной области, но и определять уровни подготовленности обучающихся в области образовательной деятельности [3].
Развивая иди Б. У. Родионова и А. О. Татура, мы предлагаем трехмерную таксономическую модель (рис. 1), разработанную на основе ква-лиметрического подхода [6, 7, 8]. Здесь в качестве третьей координаты выступает время, затрачиваемое студентом на обработку какого-либо объема информации определенного уровня сложности.
В структуре знаний мы выделяем четыре градации:
• мировоззренческий минимум (М) - знания (как структурированная, логически связанная совокупность фактов, понятий, законов, принципов и т. д.), которые остаются в оперативной памяти студента после изучения определенного учебного предмета (либо после изучения цикла дисциплин) и предъявляются без опоры на внешние источники информации;
• базовые знания (Б), без которых невозможно дальнейшее изучение и понимание содержания учебных предметов (либо цикла дисциплин);
• программные знания (П), объем которых определяется учебной программой;
• сверхпрограммные знания (С) - дополнительные по отношению к учебной программе и приобретаемые студентами индивидуально в ходе самостоятельной работы.
Структура умений представлена следующими уровнями:
• фактическим - начальным уровнем умений и навыков, опирающихся на знания по профилирующим учебным предметам. В системе непрерывного образования этот уровень оценивается при переходе на следующую ступень обучения;
• алгоритмическим - уровнем, предполагающим умения действовать согласно известным алгоритмам в известной ситуации и выполнять соответствующие математические преобразования;
• аналитическим - требующим умения анализировать неизвестную ситуацию и применять несколько типовых алгоритмов с опорой на абстрактное мышление и высокую степень автоматических навыков;
• многофункциональным - подразумевающим наличие навыков анализа и моделирования проблемных ситуаций с созданием собственного алгоритма действий, требующим обобщения и трансформации знаний по всему курсу учебной дисциплины и соответствующей математической подготовки студента;
• креативным - предполагающим умение самостоятельно ориентироваться в данной области знаний, способность к использованию созданных алгоритмов действий и информационных технологий для планирования и осуществления эксперимента с целью создания новых устройств и формирования новых знаний и навыков.
Каждая ячейка в матрице представляет собой синтез знаний и способностей их применения за оптимальное время, т. е. может характеризовать компетенции студента, освоенные на том или ином этапе обучения в вузе.
Четыре первые ячейки определяют минимум образовательной программы, которым должен овладеть студент в соответствии с Федеральным государственным образовательным стандартом - ему соответствует базовый уровень сформированности компетенций учащегося. Девять ячеек характеризуют системно-профессиональный уровень, а шестнадцать -профессионально-креативный.
Матрица многофункциональна: цифры в ее ячейках могут указывать на порядок нарастания сложности помещаемого в них учебного материала или же оценочных средств, используемых для определения уровня и качества сформированности общекультурных и профессиональных
компетенций студентов. Самый простой учебный материал или оценочные средства для диагностики единичных (далее не разложимых) компетенций помещаются в ячейках МФ1, а самый сложный материал и соответствующие оценочные средства для диагностики системных компетенций - в ячейке СТ16.
Время
Уровень умений
N
V
Рис. 1. Универсальная матрица с учетом рейтинга ячеек
Универсальность созданной таксономической модели заключается в том, что с ее помощью возможна классификация:
• традиционных педагогических контрольных материалов (например, задач для самостоятельных и контрольных работ);
• отдельных тестовых заданий различного типа и тестов в целом;
• многоцелевых анкет;
• компетенций, которыми должны обладать студенты и выпускники
вуза;
• обучающихся (студентов бакалавриата и магистратуры) по освоенным ими уровням общекультурных и профессиональных компетенций (присвоение личного рейтинга).
Выполнение перечисленных выше функций универсальной таксономической модели возможно за счет ранжирования ячеек матрицы с применением в каждом конкретном случае своей специфической градации.
Для того чтобы с помощью матрицы оценить сформированность компетенций студентов или качество используемых для этой цели оценочных средств (тестовых заданий, комплексных аттестационных заданий, показателей анкет и др.), каждой ячейке присваивается рейтинг, определяемый с позиций педагогической квалиметрии на основе метода групповых экспертных оценок [6, 7, 8]. Во всех случаях рейтинг определяется по формуле:
А = К ■ ру. ■ т (1),
_ к
где К1 = —— - нормированный коэффициент компетентности 1-го
K
max
эксперта в данной области знаний;
Ki - коэффициент компетентности l-го эксперта;
Kmax - максимальный коэффициент компетентности в экспертной группе [9];
- N
В,-. = —---соответственно:
1 N
max
• для показателей анкеты: ву - нормированный j-й коэффициент
«важности» г-го показателя анкеты; Nj - j-й коэффициент «важности» г-го показателя анкеты; Nmax - максимальный коэффициент «важности» в данном наборе показателей;
• для компетенций: ву - нормированный j-й коэффициент «важности» г-й компетенции; Nj - j-й коэффициент «важности» г-й компетенции; Nmax - максимальный коэффициент «важности» в данном наборе компетенций;
• для тестовых и комплексных аттестационных заданий ву - нормированный j-й уровень сложности г-го задания; Nj - j-й уровень сложности г-го задания; Nmax - максимальный уровень сложности;
тэк
ту - соответственно:
1 Т
т у
• для анкеты - нормированное время, необходимое респонденту или эксперту для ответа на г-й показатель анкеты, имеющего j-й коэффициент
«важности»; тЭ* - время, необходимое квалифицированному эксперту в данной области знаний для ответа на г-й показатель анкеты, имеющего j-й коэффициент «важности»; тц - время, необходимое для этого респонденту;
• для тестовых и комплексных аттестационных заданий - нормированное время, необходимое обучающемуся или эксперту для ответа на 1-е
задание, имеющее у-й уровень сложности; т1 - время, необходимое квалифицированному эксперту в данной области знаний для ответа на 1-е задание, имеющее у-й уровень сложности; ту - время, необходимое для этого обучающемуся;
_ т™
• для компетенций тг/ = - нормированное время, необходимое
т
для формирования у обучающегося г-й компетенции, имеющей у-й коэффициент «важности»; т™ - время, запланированное в рабочей программе
по данному направлению подготовки на формирование у обучающегося г-й компетенции, имеющей у-й коэффициент «важности»; Ту - время, необходимое для этого обучающемуся.
Рейтинг, определяемый по формуле (1), - это рейтинг, присваевае-мый с помощью 1-го эксперта для г-го показателя анкеты, компетенции или задания, имеющих у-й коэффициент «важности» или у-й уровень сложности.
Результирующий рейтинг (коллективная экспертная оценка) находится по формуле:
1 1
Г = тI1 , (2ь
т I=1
где Ь - число экспертов в группе.
Определив по формуле (2) рейтинги каждой ячейки матрицы, можно рассчитать суммарный рейтинг их любого набора по формуле:
п т
* = IIг , (3),
1=1 1=1
где п - число градаций объема информации (количество ячеек матрицы по горизонтали), обрабатываемого с помощью данной анкеты или теста либо входящей в данную компетенцию;
т - число коэффициентов (уровней) «важности» (количество ячеек матрицы по вертикали) показателей анкеты или компетенций либо уровней сложности заданий.
В универсальной матрице заложен модульный принцип: программа каждого последующего этапа подготовки включает программу предыдущих этапов. Поэтому, если рассматривать программы бакалавриата и ма-
гистратуры в целом, то первой соответствуют девять ячеек матрицы, включая ячейки образовательного минимума. А программа магистратуры охватывает все ячейки матрицы - от первой до шестнадцатой.
На рис. 1 ячейки матрицы расширяются как по горизонтали, так и по вертикали, что означает следующее. Семантическая сторона информации в кибернетическом понимании характеризуется степенью смысловой упорядоченности и количеством содержания, заключенным в определенном ее объеме. Это позволяет оценивать информацию по степени эффективности того воздействия, ради которого она попадает в содержание образования. Ели можно оценить количественно эффективность этого воздействия с помощью какого-либо критерия, то, следовательно, можно оценить и содержание данной информации в объективных показателях. Качественно величина учебной информации определяется исходя из запаса сведений в области изучаемого предмета, который можно представить в виде учебного тезауруса. Он рассматривается нами как совокупность иерархически взаимосвязанных компетенций (знаний, умений, способностей и т. п.), которые должны быть сформированы у студента на том или ином этапе обучения.
Очевидно, что поступающая извне информация меняет тезаурус, в противном случае ее содержательная сторона равна нулю. Следовательно, измерив семантический объем информации, меняющей тезаурус, можно оценить количественно посредством какого-либо критерия качество содержания образования.
Однако понимание информации с точки зрения кибернетики нельзя распространять на педагогический процесс без определенных коррективов. Так, требует коррекции одно из основных правил классической теории информации: в ходе передачи информация не может возрастать, она уменьшается или остается количественно неизменной. Для учебного процесса необходимо иное преобразование информации: соединение «новых» и «старых» знаний и компетенций и создание на базе этого «новой» учебной информации, что осуществляется на основе определенной организации мыслительной деятельности обучающихся: дедукции, индукции, алгоритмов, эвристик, прямо или косвенно присутствующих в учебном процессе. Поэтому количество и содержание присутствующей в нем информации не уменьшается, не остается неизменным, а возрастает.
Кроме того, для современного образования важен процесс уплотнения информации, приводящий к повышению емкости знаний, а следовательно, и компетенций, с которыми они связаны. Согласно принципу системности обучения учебный процесс рассматривается как переход от одной ступени познания к другой, осуществляющийся по спирали. При
переходе от нижних ступеней познания к более высоким и происходит последовательное уплотнение информации на основе выведения обобщенных закономерностей, абстрактных положений, а также на основе замены пассивных знаний активными, т. е. знаниями, которые находят постоянное применение в учебном процессе и переходят из одного учебного предмета в другой. В рамках компетентностного подхода это можно трактовать как трансформацию единичных компетенций (знаний, умений, навыков) в сложные системные компетенции, необходимые студенту для выполнения различных видов и задач будущей профессиональной деятельности.
В качестве примера на рис. 2 показана динамика нарастания степени подготовленности эталонного и реального обучающихся в системе «школа - вуз». Прямая 1 соответствует полностью подготовленному (эталонному) обучающемуся (отличнику) по какому-либо направлению. На практике основная часть реальных учащихся имеет степень подготовленности ниже 100%, поэтому прямая 2 на рисунке проходит ниже, чем прямая 1.
V
Креативный
—-
IV Многофункциональный 1
III __
II Алгоритмический Аналитический - " ""*** 2
1 Фактический — •"""
4% Школа 12% 20 % 28 % Вуз 36%
Рис. 2. Динамика степени подготовленности обучающихся в системе «школа - вуз»
Общую степень подготовленности студентов составляют пять названных выше уровней (фактический, алгоритмический, аналитический, многофункциональный, креативный). Учащегося, подготовленность которого соответствует пятому уровню, условно считают подготовленным полностью (до 100%). Каждый уровень оценивается в процентах от общей степени подготовленности: I уровень - 4%, II + 12%, III + 20%, IV + 28%, V + 36% - итого 100%. Поскольку мы, вслед за В. П. Симоновым, считаем,
что графическая зависимость нарастания степени подготовленности линейна, соотношение показателей каждого уровня выражается как соотношение нечетных чисел - 1:3:5:7:9. Тогда общую степень обученности составят 25 частей (1 + 3 + 5 + 7 + 9 = 25).
В нашем случае I уровень подготовленности в системе «школа - вуз» оценивается на вступительных испытаниях в высшее учебное заведение -это тот объем знаний, умений и навыков, которыми обладает абитуриент. О достижении им следующего, II уровня можно говорить, когда компетенции приступившего к учебе студента прирастают на 12%; III уровень -это приращение подготовленности к предстоящей профессиональной деятельности от запланированного объема осваиваемой образовательной программы еще 20% и т. д. Данные последовательной градации приведены в таблице.
Степени подготовленности обучающихся в системе «школа - вуз»
№ Показатель степени подготовленности Степень подготовленности
I II III IV V
1 Часть от общей степени подготовленности 1/25 3/25 5/25 7/25 9/25
2 Доля каждого уровня подготовленности от общей степени подготовленности, % 4 12 20 28 36
3 Степень подготовленности обучающихся при достижении ими соответствующего уровня, % до 4 до 16 до 36 до 64 до 100
Как отмечают исследователи, процесс подготовки обучающихся можно считать завершенным при степени их подготовленности от 70% (В. П. Беспалько [1] и др.) до 95% (К. Ингенкамп [3] и др.). Проведенный нами опрос наиболее квалифицированных преподавателей Ижевского государственного технического университета им. М. Т. Калашникова показал, что целесообразно взять за основу точку зрения В. П. Беспалько, отражающую реально достижимую и соответствующую требованиям ФГОС степень подготовленности обучающихся, которые способны приобретать в дальнейшем знания, умения, навыки или компетенции самостоятельно путем самообучения.
Обобщая вышеизложенное, можно сделать вывод, что квалиметри-ческий подход к построению таксономической модели подготовки студентов, предусматривающий ее педагогическую экспертизу и количественную оценку качества соответствующих ей оценочных средств, позволяет научно обосновать отбор учебных модулей, в рамках которых формируются те или иные компетенции, определить уровень их сформиро-
ванности у каждого обучающегося и при необходимости провести своевременную коррекцию его образовательной траектории с учетом временного фактора обучения.
Статья рекомендована к публикации д-ром пед. наук, проф. В. И. Блиновым
Литература
1. Беспалько В. П. Педагогика и прогрессивные технологии обучения. Москва: Издательство института профобразования и МО, 1995. 336 с.
2. Вербицкая Н. О., Котова Д. И., Романцев Г. М., Федоров В. А. К вопросу о структурировании и стандартизации профессиональных компетенций / / Образование и наука. 2007. № 5. С. 119-125.
3. Ингенкамп К. Педагогическая диагностика. Москва: Педагогика, 1991. 239 с.
4. Любимова О. В., Шихова О. Ф. Основы образовательной стандартоло-гии и нормологии: монография. Ижевск: ИжГТУ, 2009. 184 с.
5. Родионов Б. У., Татур А. О. Стандарты и тесты в образовании. Москва: Исследовательский центр проблем качества подготовки специалистов, 1995. 12 с.
6. Соколов В. М. Основы проектирования образовательных стандартов (методология, теория, практический опыт): монография. Москва: Исследовательский центр проблем качества подготовки специалистов, 1996. 86 с.
7. Чошанов М. А. Обзор таксономий учебных целей в педагогике США // Педагогика. 2000. № 4. С. 86-91.
8. Шихов Ю. А. Некоторые проблемы организации мониторинга качества подготовки в системе «школа - втуз» / / Интеграция образования. 2004. № 2. С. 50-52.
9. Шихов Ю. А. Квалитативная технология конструирования дидактических тестов // Образование и наука. 2004. № 5. С. 53-60.
10. Шихов Ю. А., Шихова О. Ф. Модель мониторинга качества образования в условиях компетентностного подхода // Современные фундаментальные и прикладные исследования: международное научное издание. 2013. № 4 (11). С. 35-39.
11. Шихова О. Ф., Шихов Ю. А. Квалиметрический подход к диагностике компетенций выпускников высшей школы // Образование и наука. 2013. № 7 (103). С. 40-57.
References
1. Bespalko VP Pedagogy and advanced learning technologies. Moskow: Publishing House of the Institute of the vocational education and MO, 1995. 336 p. (In Russian)
2. Verbickaya N. O., Kotova D. I., Romantsev G. M., Fedorov V. A. K vo-prosu o strukturirovanii i standartizacii professional'nyh kompetencij. [On structuring and standardizing professional competencies]. Obrazovanie i nauka. [Edu-
cation and Science. News of Ural Branch of Russian Academy of Education]. 2007. № 5. P. 119-125. (In Russian)
3. Ingenkamp K. Pedagogical diagnostics. Moskow: Education, 1991. 239 p. (In Russian)
4. Lubimova O. V., Shikhova O. F. Osnovy obrazovatel'noj standartologii i normologii. [Fundamentals of educational normal and standard study]. Izhevsk: Izhevskij gosudarstvennyj tehnicheskij universitet im. M. T. Kalashnikova. [M. T. Kalashnikov Izhevsk State Technical University]. 2009. 184 p. (In Russian)
5. Rodionov B. U., Tatur A. O. Standarty i testy v obrazovanii. [Standards and tests in education]. Moscow: Issledovatel'skij centr problem kachestva podgo-tovki specialistov. [The research centre of quality problems of experts' preparation]. 1995. 12 p. (In Russian)
6. Sokolov V. M. Osnovy proektirovanija obrazovatel'nyh standartov (me-todologija, teorija, prakticheskij opyt). [Fundamentals of designing educational standards (methods, theory, experience)]. Moscow: Moscow: Issledovatel'skij centr problem kachestva podgotovki specialistov. [The research centre of quality problems of experts' preparation]. 1996. 86 p. (In Russian)
7. Choshanov M. A. Obzor taksonomij uchebnyh celej v pedagogike SShA. [Overview of educational objectives taxonomy in US pedagogy]. Pedagogika. [Pedagogy], 2000. № 4. P. 86-91. (In Russian)
8. Shikhov Yu. A. Nekotorye problemy organizacii monitoringa kachestva podgotovki v sisteme «shkola-vtuz». [Some problems of organizing expertise quality monitoring in «school-technical university» system]. Integracija obrazovanija. [Integration of Education]. 2004. № 2. P. 50-52. (In Russian)
9. Shikhov Yu. A. Kvalitativnaja tehnologija konstruirovanija didak-ticheskih testov. [Qualitative methods for designing didactical tests]. Obrazovanie i nauka. [Education and Science. News of Ural Branch of Russian Academy of Education], 2004. № 5. P. 53-60. (In Russian)
10. Shikhov Yu. A., Shikhova O. F. Model' monitoringa kachestva obra-zovanija v uslovijah kompetentnostnogo podhoda. [The model of education quality monitoring in the framework of competency based approach]. Sovremennye fun-damental'nye i prikladnye issledovanija. [Modern Fundamental and Applied Researches]. 2013. № 4 (11). P. 35-39. (In Russian)
11. Shikhova O. F., Shikhov Yu. A. Kvalimetricheskij podhod k diagnostike kompetencij vypusknikov vysshej shkoly. [Qualimetrical approach to diagnostics of competences of graduates of the higher school]. Obrazovanie i nauka. [Education and Science. News of Ural Branch of Russian Academy of Education]. 2013. № 7 (103). S. 40-57. (In Russian)
