CC BY
14
вызовов. Материалы Международной (очно-заочной) научно-практической конференции. Саратов : ССЭИ РЭУ им. Г.В. Плеханова, 2015.
Chistyakova S.V., Gold N. А. (2015) Как spravit'sya s nepredskazuyemost'yu mira [How to cope with the unpredictability of the world] / Bentsmanskiye chteniya 2015 : Sovremennyy vzglyad na problemy kachestva i upravleniya konkurentosposobnost'yu v usloviyakh vneshnikh vyzovov. Materialy Mezhdunarodnoy (ochno-zaoch-noy) nauchno-prakticheskoy konferentsii [Bentsman Readings 2015: A Modern View on Quality and Competitiveness Management in the Face of External Challenges. Papers from International Scientific-practical Conference] . Saratov : SSEI REU im. G.V. Plekhanova.
7. Чистякова C.B., Голд H.A. Трюки конкурентов и стратегии выживания модных операторов такси / Информационное реформирование экономики и общества в условиях глобальной нестабильности: материалы II Международной научно-практической конференции. Саратов : ИИРПК, 2016.
Chistyakova S.V., Gold N.A. (2016) Tryuki konkurentov i strategii vyzhivaniya modnykh operatorov taksi [Competitive tricks and survival strategies of popular taxi operators] / Informatsionnoye reformirovaniye ekonomiki i obshchestva v usloviyakh global'noy nestabil'nosti: materialy II Mezhdunarodnoy nauchno-prakticheskoy konferentsii [Information Reforms in Economy and Society in the Context of Global Instability: Proceedings of the II International Scientific-practical Conference]. Saratov : IIRPK, 2016.
УДК 004-9
ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ СОВЕРШЕНСТВОВАНИЯ СИСТЕМЫ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ*
INFORMATION TECHNOLOGY FOR IMPROVING COMPUTER TESTING
Безруков Алексей Иосифович
Bezrukov Alexei losifovich
кандидат экономических наук, доцент кафедры прикладной математики и информатики, Саратовский социально-экономический институт (филиал) РЭУ им. Г.В. Плеханова, Саратов
Cand. Sc. (Economics), associate professor of the department of applied mathematics and IT, Saratov socio-economic institute (branch) of Plekhanov Russian University, Saratov
e-mail: bezr_alex@mail.ru
Погожильская Галина Георговна
Pogozhilskaya Galina Georgovna
студентка 2 курса факультета экономики и менеджмента, Саратовский социально-экономический институт (филиал) РЭУ им. Г.В. Плеханова, Саратов
second year student of the faculty of economics and management, Saratov socio-economic institute (branch) of Plekhanov Russian University, Saratov
e-mail: galina.pog@inbox.ru
' Работа выполнена при финансовой поддержке РФФИ (проект №14-06-00339).
От того, насколько качественное образование получат будущие специалисты в вузе, зависит безопасность регионов, городов и страны в целом. Данная статья посвящена формированию требований и описанию процесса функционирования информационной метрологической службы для системы управления качеством образования в вузе. Такая служба сможет обеспечить объективную, актуальную и своевременную оценку внутренних показателей качества - уровней компетенций студентов.
Ключевые слова: качество образования, система управления качеством, статистические методы, метрологическая система, ACT, компьютерное тестирование.
The paper states that future security of regions, cities and the country as a whole depends on the quality of education that future experts receive in higher education institutions. The paper deals with the requirements and description of the process of performance assessment and computer-based testing service for quality management system of education at universities. This service can provide an objective, relevant and timely assessment of internal quality indicators such as levels of student competence.
Keywords: quality of education, quality management system, statistical methods, system of metrology, ACT, computer testing.
Одним из важнейших факторов стратегии обеспечения безопасности и конкурентоспособности России является формирование эффективной и качественной системы подготовки специалистов.
В статье «Система управления качеством образования в свете современных концепций управления качеством» [4] был предложен подход к формированию системы требований к качеству образования, учитывающий интересы и требования всех участников и потребителей этого процесса. Рассмотрено место современных технологий компьютерного тестирования в системе, предложена методика статистического анализа результатов тестирования, позволяющая постоянно совершенствовать этот инструмент. Отмечается, что одним из условий эффективной работы системы менеджмента качества (СМК) учебного заведения является наличие подсистемы мониторинга и измерения, предоставляющей своевременные, объективные и достоверные данные о достигнутом уровне качества.
Естественным путем повышения качества образования является применение опыта внедрения СМК, накопленного в индустрии. Однако образовательный процесс слишком специфичен, чтобы прямое копирование индустриальных систем позволило решить эту проблему.
В отличие от индустрии, предметом труда в вузе является студент, а процесс обучения фактически становится процессом развития у студента компетенций, которые будут полезны выпускнику и в его профессиональной деятельности, и в жизни [5]. Очевидно, что уровень и динамика развития компетенций -важный фактор, который необходимо учитывать при управлении качеством учебного процесса. По своему смыслу компетенция -умение специалиста решать практические проблемы. Она может быть выявлена только на практике, а в период обучения уровень
компетенции студента скрыт. Для его оценки потребуется использование специальных методов и средств измерений [l; 2; 3]. Поэтому возникает потребность в создании метрологической системы, которая обеспечила бы объективное, достоверное и актуальное измерение всех факторов, влияющих на учебный процесс. Эта своеобразная «метрологическая служба» должна не только содержаться в работоспособном состоянии, но постоянно совершенствоваться и развиваться.
Данная статья посвящена формированию требований и описанию процесса функционирования информационной системы, обеспечивающей объективную оценку уровня компетенций студентов.
В качестве инструмента оценки уровня компетенции студентов рассмотрим систему компьютерного тестирования [6; 9]. Теоретической основой тестирования является теория педагогических измерений (Item Response Theory, IRT), рассматривающая тестирование как случайный процесс, параметрами которого являются уровень подготовки студента в и уровни трудности заданий Si, включенных в тест. Вероятность успешного выполнения задания Р(0,8) оценивается моделью Раша-Бирнбаума. Результат тестирования оценивается по совокупности выполнения всех заданий включенных в тест. Методы обработки результатов тестирования рассматриваются как статистические методы нахождения неизвестного параметра в по известным результатам выполнения тестовых заданий и трудностям каждого из них.
Применение модели Раша-Бирнбаума позволяет сопоставить различные методы обработки по их эффективности. Наилучшие оценки в дает метод максимального правдоподобия. Реализация этого метода требует достаточно трудоемких вычислений, поэтому он редко используется при ручной обработке результатов тестирования. Применение компьютеров сни-
мает эту проблему, поэтому метод максимального правдоподобия должен быть включен в инструментарий современных систем компьютерного тестирования.
Построенная нами имитационная модель тестирования позволяет проанализировать зависимость основных метрологических характеристик тестов от характеристик тестовых заданий и теста в целом. Показано, что наилучшие результаты имеют тесты с равномерным распределением заданий по трудности. К сожалению, в настоящее время не принято оценивать трудности заданий, включаемых в банки тестовых заданий. Как показывают наши исследования, формирование банков без такой проверки, как правило, приводит к нормальному распределению, то есть к дефициту относительно простых и относительно трудных заданий. Тесты, построенные путем случайной выборки заданий из таких банков, обладают худшими метрологическими характеристиками. Для повышения качества тестов банки необходимо целенаправленно пополнять заданиями определенной трудности, обеспечивая тем самым равномерное распределение.
Вторая проблема применения тестирования - искажение результатов, вызванное наличием некорректных или устаревших заданий. До сих пор мы предполагали, что вероятность успешного выполнения задания определяется моделью Раша-Бирнбаума. Однако, это справедливо только для корректных заданий. Действительно, малограмотный студент
скорее выберет «правильный» ответ, чем грамотный, понимающий, что указанный автором теста ответ неверный.
Рассмотрим процесс организации и проведения тестирования с использованием системы адаптированного компьютерного тестирования (см. рис.). Стрелками на рисунке показано преимущественное направление информационных запросов.
Объектом управления является учебный процесс. Тестирование проводится для оценки уровня компетентности студентов, результаты тестирования используются для оперативного и стратегического управления учебным процессом. Результаты выполнения каждого тестового задания сохраняются.
Чтобы обеспечить разнообразие тестов и многократное использование тестовых заданий, предусмотрено хранение заданий в специальном банке тестовых заданий (БТЗ). Тест формируется путем случайного выбора заданий из БТЗ.
Задания разрабатываются преподавателями, ведущими конкретные дисциплины. Для обеспечения адекватности тестов и в учебном процессе и при разработке тестовых заданий должны использоваться одни и те же учебно-методические материалы. В настоящее время качество БТЗ не контролируется.
Предлагается дополнить существующий процесс этапами статистического и содержательного анализа. Добавленные этапы на рис. выделены жирными линиями. На этапе стати-
Место статистического анализа результатов тестирования в процессе совершенствования инструмента тестирования
стического анализа по соотношению числа успешного выполнения задания к числу попыток его выполнить оценивается фактическая трудность каждого задания. Анализируется распределение заданий, хранящихся в БТЗ по трудности. Выявляются слишком трудные (никто не справился) и тривиальные (справились все) задания; формируются рекомендации по пополнению банка заданиями дефицитных трудностей.
Вторым шагом статистического анализа является выявление заданий, статистика выполнений которых не соответствует модели Раша-Бирнбаума. Следует отметить, что существует несколько причин такого несоответствия. Кроме неправильно указанного автором ответа это может быть нечеткая формулировка задания, несоответствие задания учебно-методическим материалам, используемым при обучении, неактуальное, устаревшее задание и так далее. Выявить и устранить причину несоответствия для конкретного задания можно только после оценки экспертом его содержания. Однако наличие несоответствия однозначно свидетельствует о необходимости анализа. Таким образом, второй этап статистического анализа отфильтровывает «подозрительные» задания, что существенно сокращает трудоемкость содержательного анализа. По результатам статистического и содержательного анализов формируются «Рекомендации по совершенствованию банка тестовых заданий».
Фактически, добавление в процесс организации и проведения тестирования блоков статистического и содержательного анализа формирует петлю обратной связи, обеспечивающую постоянное совершенствование инструмента тестирования. Для реализации этого предложения нами разработана компьютерная программа статистического анализа результатов тестирования.
Третья проблема использования тестирования - традиционная ориентация тестов на проверку знаний, а не компетенций. В работах [7; 8] развивается концепция многоаспектного анализа результатов тестирования. Согласно этой концепции, каждое задание оценивается не только по сложности, но и по таким дополнительным характеристикам, как: практическая значимость; необходимость нестандартного мышления для его выполне-
ния; место знаний и навыков, необходимых для выполнения задания, в структуре знаний и другим. При возможности отслеживать ход выполнения задания оцениваются методичность и скорость выполнения, а также другие характеристики. Вероятность выполнения задания описывается многомерным обобщением модели Раша-Бирнбаума. Для учета такой многоаспектности заданий следует разработать методы, позволяющие сформировать целостную и многостороннюю картину компетенций студента.
Рассмотренные методы и подходы позволят существенно повысить качество тестирования как инструмента объективной оценки уровня компетенций студентов. Однако они не будут востребованы, если не создать удобную информационную технологию, использующую эти методы. Такая технология может быть реализована как информационно-программная надстройка над существующими системами компьютерного тестирования, а в дальнейшем, после накопления и обобщения опыта ее применения, включена в функциональность новых систем.
Рассмотрим функции, которые должна реа-лизовывать предлагаемая технология:
- фильтрование данных о результатах тестирования, формирование наборов данных для решения конкретных задач;
- определение фактической трудности заданий, формирование заявок на разработку заданий требуемых трудностей;
- расширенное описание заданий, оценка их практической значимости, нестандартности, проверка адекватности введенных оценок на результатах прошлых тестирований;
- разработка и использование новых методов обработки результатов тестирования;
- отслеживание изменений профиля студентов (совокупности его успехов в изучении нескольких дисциплин) и траектории развития компетенций.
Предлагаемая в статье информационная технология является примером механизма совершенствования фондов оценочных средств. Такие механизмы должны быть заложены в системы управления качеством образования в целом и каждого отдельного вуза, чтобы российская система высшего образования постоянно совершенствовалась.
Библиографический список (References)
1. Гусятников В.Н., Безруков А.И., Каюкова И.В. Количественные методы оценки уровня компетенций для систем управления качеством образования // Современные технологии управления. 2015. № 3 (51). С. 30-35-
Gusyatiiikov V.N., Bezrukov A.I., Kayukova I.V. (2015) Kolichestvennyye metody otsenki urovnya kom-petentsiy dlya sistem upravleniya kachestvom obrazovaniya [Quantitative methods of assessing performance for quality management system in education] // Sovremennyye tekhnologii upravleniya [Modern Methods of Magage-ment], № 3 (51). 30-35 p.
2. Гусятников B.H., Безруков А.И., Каюкова И.В. Методы оценки уровня формируемых компетенций на основе модернизированной модели Раша // Современные проблемы науки и образования. 2014. № 6. С. 1704.
Gusyatiiikov V.N., Bezrukov A.I., Kayukova I.V. (2014) Metody otsenki urovnya formiruyemykh kompe-tentsiy na osnove modernizirovannoy modeli Rasha [Methods of assessing performance level based on the updated Rush model] // Sovremennyye problemy nauki i obrazovaniya [Modern Challenges in Science and Education]. № 6. 1704 p.
3. Гусятников B.H., Безруков А.И., Каюкова И.В. Многомерная модель тестирования для измерения уровня формируемых компетенций // Междисциплинарные исследования в области математического моделирования и информатики. Материалы 2-й научно-практической интернет-конференции. 2013. С. 34-40.
Gusyatiiikov V.N., Bezrukov A.I., Kayukova I.V. (2013) Mnogomernaya model' testirovaniya dlya izme-reniya urovnya formiruyemykh kompetentsiy [A multivariate testing model for measuring education performance] // Mezhdistsiplinarnyye issledovaniya v oblasti matematicheskogo modelirovaniya i informatiki. Materialy 2-y nauch-no-prakticheskoy internet-konferentsii [Interdisciplinary Studies in Mathematics and Information Technology. Collected Papers form the 2nd Online Conference]. 34-40 p.
4. Гусятников B.H., Безруков А.И., Каюкова И.В. Система управления качеством образования в свете современных концепций управления качеством // Информационная безопасность регионов. 2016. № 2 (23). С Ю-15.
Gusyatiiikov V.N., Bezrukov A.I., Kayukova I.V. (2016) Sistema upravleniya kachestvom obrazovaniya v svete sovremennykh kontseptsiy upravleniya kachestvom [Quality management system in education in the light of modern quality management concepts]// Informatsionnayabezopasnost' regionov [Regional Information Security]. № 2 (23). 10-15 P-
5. Гусятников B.H., Безруков А.И., Соколова Т.Н. Проблемы формирования компетенций в области информационной безопасности // Информационная безопасность регионов. 2014. № 2. С. 27-31.
Gusyatiiikov V.N., Bezrukov A.I., Sokolova T.N. (2014) Problemy formirovaniya kompetentsiy v oblasti informatsionnoy bezopasnosti [Problems of providing education in the field of information security] // Informatsi-onnayabezopasnost' regionov [Regional Information Security]. № 2. 27-31 p.
6. Гусятников B.H., Каюкова И.В., Соколова Т.Н. Статистические методы формирования банков тестовых заданий // Математическое моделирование в экономике, страховании и управлении рисками: сборник материалов IV Международной молодежной научно-практической конференции : в 2-х томах. Т. 1. 2015. С. 66-71.
Gusyatiiikov V.N., Kayukova I.V., Sokolova T.N. (2015) Statisticheskiye metody formirovaniya bankov testovykh zadaniy [Statistical methods for compiling test banks] // Matematicheskoye modelirovaniye v ekonomike, strakhovanii i upravlenii riskami : sbornik materialov IV Mezhdunarodnoy molodezhnoy nauchno-prakticheskoy konferentsii : v 2-kh tomakh [Mathematical modeling in economics, insurance and risk management: collected papers from the IV International Youth Scientific-practical Conference: in 2 volumes]. Vol. 1. 66-71 p.
7. Гусятников B.H., Митрофанов А.Ю., Дьякова T.B., Носова Е.Г. Модели для анализа качества образовательного процесса по результатам тестирования // Вестник Саратовского государственного социально-экономического университета. 2010. № 5. С. 148-151.
Gusyatiiikov V.N., MitrofaiiovA.Yu., D'yakova T.V., Nosova Ye.G. (2010) Modeli dlya analiza kachest-va obrazovatel'nogo protsessa po rezul'tatam testirovaniya [Models for analyzing quality of education based on test results] // Vestnik Saratovskogo gosudarstvennogo sotsiarno-ekonomicheskogo universiteta. № 5.148-151 p.
8. Гусятников B.H., Соколова О.Ю., Соколова Т.Н., Каюкова И.В. Построение моделей для анализа качества образовательного процесса на основе технологий компьютерного тестирования // Вестник Саратовского государственного социально-экономического университета. 2009. № 4. С. 197-200.
Gusyatiiikov V.N., Sokolova O.Yu., Sokolova T.N., Kayukova I.V. (2009) Postroyeniye modeley dlya analiza kachestva obrazovatel'nogo protsessa na osnove tekhnologiy komp'yuternogo testirovaniya [Developing models for analyzing quality of education with the help of computer-based testing technologies] // Vestnik Saratovskogo gosudarstvennogo sotsial'no-ekonomicheskogo universiteta. № 4.197-200 p.
9. Каюкова И.В. Методика оценки и прогнозирования уровня формируемых компетенций // Вестник Саратовского государственного социально-экономического университета. 2012. № 4 (43)- С. 148-151.
Kayukova I.V. (2012) Metodika otsenki i prognozirovaniya urovnya formiruyemykh kompetentsiy [Methods of assessing and forecasting the level of educational competencies] // Vestnik Saratovskogo gosudarstvennogo sotsial'no-ekonomicheskogo universiteta. № 4 (43). 148-151 p.
ПРАВОВЫЕ ПРОБЛЕМЫ ИСПОЛЬЗОВАНИЯ КОМПЬЮТЕРНЫХ ТЕХНОЛОГИЙ И СОВЕРШЕНСТВОВАНИЕ ЗАКОНОДАТЕЛЬСТВА
УДК347.77/.78
ИНТЕЛЛЕКТУАЛЬНАЯ СОБСТВЕННОСТЬ В РОССИИ: ЕЕ ЗАЩИТА И БЕЗОПАСНОСТЬ
INTELLECTUAL PROPERTY IN RUSSIA: ITS PROTECTION AND SECURITY
Мамаева Людмила Николаевна
Mamaeva Lyudmila Nikolayevna
кандидат экономических наук, доцент, Саратовский социально-экономический институт (филиал) РЭУ им. Г.В. Плеханова, Саратов
Cand. Sc. (Economics), associate professor, Saratov socio-economic institute (branch) of Plekhanov Russian University, Saratov
e-mail: L.mamaeva2014@yandex.ru
Кондратьева Оксана Александровна
Kondratieva Oksana Aleksandrovna
аспирантка кафедры экономической безопасности, Саратовский социально-экономический институт (филиал) РЭУ им. Г.В. Плеханова, Саратов
postgraduate student of the department of economic security, Saratov socioeconomic institute (branch) of Plekhanov Russian University, Saratov
e-mail: zolotko1988@yandex.ru
'j*. а и
