CC BY
31
Проблемы экономики и менеджмента
МАТЕМАТИЧЕСКИЕ И ИНСТРУМЕНТАЛЬНЫЕ МЕТОДЫ ЭКОНОМИКИ
УДК 330.4
В.Н. Гусятников
д-р физ.-мат. наук, профессор, заведующий кафедрой прикладной математики и информатики, ФГБОУ ВПО «Саратовский государственный социально-экономический университет»
И. В. Каюкова
аспирант, кафедра прикладной математики и информатики, ФГБОУ ВПО «Саратовский государственный социально-экономический университет»
ОБЕСПЕЧЕНИЕ КАЧЕСТВА ОБРАЗОВАНИЯ НА ОСНОВЕ КОМПЕТЕНТНОСТНОГО ПОДХОДА
Аннотация. Предметом исследования являются методы оценки уровня формируемых компетенций для управления качеством обучения в высшем учебном заведении. Разработаны принципы и алгоритмы формирования тестовых заданий для объективной оценки уровня компетенций обучаемого. Предложено использовать критерии сложности и нестандартности тестовых заданий при оценке уровня компетенции. Построен интегральный показатель, позволяющий оценивать уровень совокупности формируемых компетенций.
Ключевые слова: образовательный процесс, компетенция, оценка качества образования, тестирование.
V.N.Gusyatnikov, DSc (Physics&Math), professor, head of department of applied mathematic and computer science, Saratov State Socio-Economic University
I.V.Kayukova, post-graduate student of department of applied mathematic and computer science, Saratov State Socio-Economic University
SUPPORT OF EDUCATIONAL QUALITY BASED ON COMPETENCE APPROACH
Abstract. The paper deals with the methods of an assessment of level formed competences for educational quality management in a higher school. Principles and algorithms of formation of test tasks are developed for an objective estimation of trainee’s competences level. It is offered to use criteria of complexity and a nonstandard of test tasks at an assessment of level of the competence. The integrated indicator, allowing to estimate level of set formed competences is constructed.
Key words: educational process, competence, educational process quality assessment, testing process.
Повышение качества высшего образования является одной из ключевых проблем российской высшей школы. Переход на новые федеральные государственные образовательные стандарты (ФГОС), основанные на компетентностном подходе к оценке качества обучения, требует применения количественных методик оценки уровня формируемых компетенций [8]. К сожалению ни новые федеральные государственные образовательные стандарты, ни имеющиеся профессиональные стандарты не содержат измеряемых критериев и объективных методик оценки качества подготовки специалистов на основе компетентностного подхода. В стандартах предлагается вузам ориентироваться на профессиональные стандарты качества подготовки специалистов, разработанные работодателями. Однако нынешняя ситуация с профессиональными стандартами говорит о том, что вузам необходимо самостоятельно разрабатывать оценочные
№ 10 (14) - 2012
139
Проблемы экономики и менеджмента
средства для контроля качества освоения основных образовательных программ как в процессе обучения, так и по его окончании.
В статье обсуждаются подходы, позволяющие количественно оценить уровень формируемых компетенций с использованием тестирования и методов теории педагогических измерений.
Существует большое разнообразие определений термина компетенция. В работе будем использовать определение, положенное в основу федеральных государственных образовательных стандартов: «Компетенция (англ: competence) - способность применять знания, умения и практический опыт для успешной трудовой деятельности». Исходя из данного определения ясно, что компетенция может проявиться только в реальной деятельности человека. Поэтому прямое измерение уровня компетентности студента в процессе обучения невозможно [1, 3]. Таким образом, задача оценки уровня компетенции состоит в разработке методики, позволяющей на основе некоторых косвенных измерений, доступных на этапе обучения, спрогнозировать уровень компетенции будущего специалиста.
Тестирование как форма педагогического измерения традиционно использовалась в высшей школе в основном для определения знаний и, в какой-то степени, умений и навыков. Оценка уровня компетенций с помощью тестирования является для российской высшей школы новой задачей. Поэтому при разработке подходов к измерению уровня компетенций необходимо использовать зарубежный опыт, где такие измерения проводятся достаточно продолжительное время.
В основу предлагаемой методики положен подход, использованный при проведении зарубежных исследований качества образования PISA, TIMSS, а также методы теории педагогических измерений.
Оценка компетенций в исследованиях PISA, TIMSS и им подобных основана на составлении заданий специального типа. Например, в исследовании PISA, независимо от того, на проверку какой из компетентностей делается акцент (математической, естественнонаучной грамотности, грамотности чтения или умения решать проблемы), тест состоит из комплексных задач. Каждая задача - это отдельный текст, в котором описывается некоторая ситуация (проблема), обычно жизненная. К этому тесту формулируется от одного до шести заданий-вопросов различной трудности. По результатам их выполнения оценивается способность учащихся понять проблему, тем или иным образом, связанную с рассматриваемой в тексте ситуацией, и решить ее, используя знания из той или иной предметной области. При этом предметное знание является для испытуемого ресурсом лишь в той степени, в которой оно помогает ему решить жизненную ситуацию. Достигается это за счет искусственного снижения сложности предметного материала и, параллельно, продуманными и проверенными требованиями к набору тех интеллектуальных умений, которые позволят ученику выполнить задание [7].
Для обеспечения объективности тестов и высокого качества измерений, тестовые задания должны соответствовать требованиям теории педагогических измерений (IRT).
140
№ 10 (14) - 2012
Проблемы экономики и менеджмента
1. Для каждого задания должен быть определен его уровень трудности, система заданий должна образовывать последовательность заданий с равномерно возрастающей трудностью (желательно с интервалом 0,5 логита).
2. Тест не должен содержать заданий, на которые все знают ответ, или никто не знает ответа.
3. Коэффициент связи задания с итоговой суммой баллов всегда должен быть больше нуля.
Оценка уровня компетенции отличается от традиционного показателя уровня знаний тем, что испытуемому необходимо продемонстрировать имеющиеся знания умения и навыки на практике в нестандартной ситуации [2]. Поэтому результат может зависеть не только от сложности материала, но и от нестандартности ситуации, в которой студент должен эти знания проявить.
Для измерения такой более сложной характеристики как уровень компетенции предлагается учитывать как сложность задания, так и его неожиданность и нестандартность. Т. е. задания в тесте должны отличаться не только по сложности, но и по степени нестандартности ситуации, которая также будет измеряться в логитах.
Статистический анализ результатов тестирования, проводимого по типовой методике, показывает, что для оценки уровня подготовленности учащегося с необходимым уровнем надежности требуется не менее 30 заданий.
Для сокращения времени тестирования и повышения точности измерений уров-
ня компетенции можно rH =-----------оптимизировать длину теста [6]. Предлагается
1 + (k - 1)гн
использовать опыт международного исследования TIMSS. Процесс тестирования может состоять из двух этапов. Во время первого измерения определяется диапазон, в котором находится предполагаемый уровень компетенции. Для второго этапа разрабатываются варианты теста, отличающиеся сложностью и дифференцирующей способностью. В зависимости от того, в какую группу был отнесен студент, ему предоставляется второй тест, который сможет с необходимой точностью определить уровень компетенции.
Необходимая длина теста определяется по обобщенной формуле Спирмена-Брауна для определения ожидаемой надежности теста.
r
H
krH
1 + (k - 1)rH ’
где k - число раз, в которое увеличивается длина теста;
Гн - коэффициент надежности теста до увеличения длины теста; rH’- коэффициент надежности после увеличения длины теста.
После проведения измерения и определения основных характеристик теста и испытуемых следует перейти к анализу полученных результатов.
Поскольку сложность задания разделяется на две составляющих - сложность и нестандартность, предлагается добавить дополнительное слагаемое а в показатель экс-
№ 10 (14) - 2012
141
Проблемы экономики и менеджмента
поненты классической модели Раша, который будет отвечать за степень нестандартности задания и складываться со слагаемым в, отвечающим за трудность задания. Тогда формула для вероятности правильного ответа испытуемого примет вид:
= expl,7(fl- jfi + a))
1 + exp 1,1(0- (в + а)),
где P(9) - вероятность правильного ответа испытуемых некоторого уровня подготовленности (9) на задание определённого уровня трудности;
9 - уровень подготовленности (знаний), латентная переменная;
в, а - уровни трудности и нестандартности конкретного задания проектируемого теста соответственно.
С помощью полученной формулы можно определять вероятность проявления компетенции обучаемого в различных ситуациях. Например, вероятность правильного ответа на задания, различающиеся по степени сложности и стандартности, испытуемого с уровнем компетенции 1 логит можно представить в виде графика (рис. 1). По горизонтали откладывается суммарный показатель, характеризующий задание. Найденная точка на графике соответствует вероятности проявления компетенции при решении задачи определенного уровня сложности и нестандартности. Так если этот уровень составит - 3 логита, то данный студент выполнит его с вероятностью почти 100%. Чем выше показатели сложности и нестандартности задания, тем меньше шансы испытуемого справится с ним.
Рисунок 1 - График вероятности проявления компетенции обучающего
с уровнем 9 = 1 логит
Возникает вопрос, что лучше, решать легкие, но нестандартные задачи, или трудные, но стандартные. Как в этом случае оценивать компетенции специалистов. На наш взгляд для ответа на этот вопрос необходимо провести анализ структуры знаний обучающегося. Хотя в практической деятельности, по-видимому, нужны и те и другие специалисты.
В отличие от традиционных средств контроля тесты позволяют выявить не толь-
142
№ 10 (14) - 2012
Проблемы экономики и менеджмента
ко уровень компетенции, но и структуру знаний учащихся, вернее, степень ее отклонения от идеальной структуры, планируемой педагогом на момент начала обучения.
Особенно привлекательно выглядит оценка структуры знаний студентов в тех случаях, когда речь идет об оценке эффективности работы отдельных преподавателей либо групп преподавателей, как например, при аттестации образовательных учреждений. На фоне многообразий существующих аттестационных моделей, методик, технологий, показателей и критериев, оценка качества подготовки выпускников остается важнейшим показателем эффективности работы педагога. При этом в центре внимания аттестационных комиссий, работающих по традиционным схемам, находится, несомненно, уровень подготовки.
В то время как уровень подготовленности зависит от прилежности учащегося, его способности и желания учиться, структура знаний в большей степени отражает особенности организации учебного процесса. На формирование структуры знаний обучаемых влияют умение преподавателя правильно построить программу подготовки и доступно ее изложить, его ответственность в работе по выявлению и устранению пробелов в знаниях учащихся и применение индивидуального подхода.
До настоящего времени для оценки качества образования студентов при аккредитации конкретного направления подготовки использовалась система дидактических единиц. Каждую из них студенты должны были освоить на минимально допустимом уровне [5]. В новых федеральных государственных стандартах эта система не прописана. Вместо нее предъявляются требования к измерению уровня достижения компетенций. Существующая методика оценки качества подготовки студентов не может быть использована как средство измерения компетенций в рамках новых образовательных стандартов.
Для оценки качества образовательного процесса в работе предлагается использовать методику оценки индекса структурированности знаний (method S-P lines).
Структура знания показывает насколько оно системное и полное. Для этого строится профиль знаний (профиль Гуттмана), представляющий собой последовательность 0 и 1, где 0 - неправильный ответ, а 1 - правильный. Поскольку каждое задание имеет две характеристики, то профиль можно стоить как по каждой из них, так и в целом.
Мерой «правильности» профиля является следующая величина [4]:
I (1 - Z )R - t Z,R
С _ _____________1 _ xi +1_
' xi к
t R - t R
1 _1 1 _k+1-xi
5
где xi - количество правильных ответов i-го испытуемого, Rj - количество правильных ответов на j-ое задание, к - количество заданий в тесте, Zj - результат ответа i-го испытуемого на j-ое задание теста, может принимать значения 0 (неверные ответ) и 1 (верный ответ).
№ 10 (14) - 2012
143
Проблемы экономики и менеджмента
Чем более сбалансированной является структура знаний студента, тем меньшей будет величина Cj. У студентов с идеальным «правильным» профилем Cj =0, а с абсолютно «неправильным» профилем Cj = 1.
Методы регрессионного анализа позволяют прогнозировать оценки истинных баллов испытуемых по распределению наблюдаемых баллов и коэффициенту надежности теста. Прогноз получается путем подстановки индивидуального балла испытуемого, среднего балла испытуемых и коэффициент надежности теста в регрессионное уравнение Дж. Стенли [5]:
T = X + rH(Xt -X),
где T - истинный балл; Xj - индивидуальный балл i-го испытуемого; X - среднее значение баллов испытуемых; rH - коэффициент надежности теста.
На основе измерения уровня отдельных компетенций возможно построение некоторого агрегированного показателя уровня подготовки студента, в состав которого со своими весами входят отдельные компетенции [4]. Поскольку в результате применения IRT получаются абсолютные величины, поддающиеся сравнению, то можно получить общий показатель по нескольким компетенциям, например, используя их линейную комбинацию. Веса для каждой из компетенций могут быть определены в зависимости от требований заказчика или экспертной оценкой:
К,., = 1 е,К,.
Таким образом, предлагаемая методика позволяет не только измерить уровень компетенции студента с заданной точностью и достоверностью, но и прогнозировать его профессиональную пригодность, а также оценивать качество учебного процесса с использованием компетентностного подхода.
Список литературы:
1. Гусятников В.Н. Инструменты интеграции систем управления качеством в образовательный процесс / Гусятников В.Н., Безруков А.И., Соколова Т.Н. // Интеграция образования. 2010. № 4. С. 16-19.
2. Взаимосвязь результатов ЕГЭ и уровня освоения математики в высшем учебном заведении / Гусятников В.Н. [и др.] // Стандарты и мониторинг в образовании. 2010. № 6. С. 40-43.
3. Модели для анализа качества образовательного процесса по результатам тестирования / Гусятников В.Н. [и др.] // Вестник Саратовского государственного социально-экономического университета. 2010. № 5. С. 148-151.
4. Гусятников В. Н. Методики использования результатов компьютерного тестирования в системах поддержки принятия решений / Гусятников В.Н., Соколова Т.Н., Каюкова И.В. // Интеграция образования. 2009. № 3. С. 26-29.
5. Построение моделей для анализа качества образовательного процесса на основе технологий компьютерного тестирования / Гусятников В.Н. [и др.] // Вестник Саратовского государственного социально-экономического университета. 2009. № 4. С. 197-200.
6. Гусятников В.Н. Технологии компьютерного тестирования как элемент системы поддержки принятия решений в образовательной деятельности / Гусятников В.Н., Соколова Т.Н. // Интеграция образования. 2008. № 4. С. 114-117.
7. Каюкова И.В. Модели для оценки уровня достижения компетенций по резуль-
144
№ 10 (14) - 2012
Проблемы экономики и менеджмента
татам тестирования // Наука и общество. 2011. № 1. С. 24-27.
List of references:
1. Gusyatnikov V.N. Instruments of integration of management systems quality in educational process / Gusyatnikov V.N., Bezrukov A.I., Sokolova T.N. // Education integration. 2010. № 4. P. 16-19.
2. Correlation of results of Unified State Examination and level of mastering of mathematics in a higher educational institution / Gusyatnikov V.N. [et al] // Standards and monitoring in education. 2010. № 6. P. 40-43.
3. Models for the analysis of quality of educational process by results of testing / Gusyatnikov V.N. [et al] //Vestnic Saratov stats social-economic univercity. 2010. № 5. P. 148-151.
4. Gusyatnikov V.N. Techniques of use of results of computer testing in decision making support systems / Gusyatnikov V.N., Sokolova T.N., Kayukova I.V // Education integration. 2009. № 3. P. 26-29.
5. Creation of models for the analysis of quality of educational process on the basis of technologies of computer testing / Gusyatnikov V.N. [et al] // Vestnic Saratov stats social-economic univercity. 2009. № 4. P. 197-200.
6. Gusyatnikov V.N. Technologies of computer testing as a decision making support system element in educational activities / Gusyatnikov V.N.., Sokolova T.N. // Education integration. 2008. № 4. P. 114-117.
7. Kayukova I.V. Models for an assessment of level of achievement of competences by results of testing // Science and society. 2011. № 1. P. 24-27.
УДК 519.868
Л. С. Гущина
соискатель степени кандидата экономических наук, ФГБОУ ДПО «Государственная академия промышленного менеджмента им. Н.П. Пастухова»
Ю.В. Васильков
д-р техн. наук, профессор,
ФГБОУ ДПО «Государственная академия промышленного менеджмента им. Н.П. Пастухова»
ДВУХУРОВНЕВАЯ МОДЕЛЬ ФОРМИРОВАНИЯ КОМПЕТЕНЦИЙ ПЕРСОНАЛА ПРЕДПРИЯТИЯ ДЛЯ СНИЖЕНИЯ РИСКА
Аннотация. В работе рассматривается модель формирования компетенций персонала предприятия для снижения риска предприятия. Она представлена как двухуровневая, на первом уровне решаются задачи формирования управленческих компетенций, результатом которых являются требования к обучению второго уровня - ровня специалистов. Определены задачи обучения каждого уровня и пути их достижения.
Ключевые слова: модель, компетенции, риски предприятия, обучение.
L.S. Gushchina, Pastukhov State Academy of Industrial Management, Yaroslavl
Y.V. Vasilkov, Pastukhov State Academy of Industrial Management, Yaroslavl
A TWO-LEVEL MODEL OF THE ENTERPRISE WORKFORCE COMPETENCIES TO REDUCE THE RISK
Abstract. In this paper the model of the enterprise workforce competencies to reduce the risk of the enterprise. It is presented as a two-level, on the ground level to solve the problem of formation of managerial skills that result in the training requirements of the second level - he level of experts. The goals of each level of training and ways to achieve them.
Keywords: model of competence, enterprise risk, training.
В деятельности современного предприятия существует большое число различ-
№ 10 (14) - 2012
145
