CC BY
100
ИНТЕГРАЦИЯ ОБРАЗОВАНИЯ. Т. 23, №3. 2019 ISSN 1991-9468 (Print), 2308-1058 (Online) http://edumag.mrsu.ru
АКАДЕМИЧЕСКАЯ ИНТЕГРАЦИЯ / АCADEMIC INTEGRATION
УДК 371.26-021.4
DOI: 10.15507/1991-9468.096.023.201903.440-457
Разработка комплекса критериев анализа ответов обучаемого в экспертных системах контроля и оценки знаний
В. Н. Головачева*, Н. И. Томилова, Г. Б. Абилдаева
РГП «Карагандинский государственный технический университет», г. Караганда, Казахстан, * golovacheva_vn@mail.ru
Введение. В статье рассматривается проблема объективного оценивания знаний с использованием экспертных автоматизированных систем контроля и оценки знаний. Актуальность статьи обусловлена повышением качества проведения контроля и оценки знаний методом тестирования. Цель статьи заключается в обосновании эффективности и разработки комплекса критериев анализа тестового ответа и научно обоснованного подхода к их оцениванию.
Материалы и методы. Исследование проводилось на основе системного анализа и методики отслеживания результатов обучения Б. Блума, а также методики, широко используемой в исследовании качества обучения по оценке образовательных достижений учащихся Program for International Student Assessment. Для изучения проблемы было проведено анкетирование, в котором приняли участие 102 преподавателя и 357 студентов Карагандинского государственного технического университета и Карагандинского государственного университета имени Е. А. Букетова.
Результаты исследования. В статье предложен новый подход к конструированию тестового вопроса и ответа, допускающего свободно конструируемую форму тестового ответа. Анализ оценки такого ответа достигается комплексом критериев ее формирования на основе разработанных алгоритмов критериев оценки их качества. Это дает возможность применить полученные результаты для решения научной проблемы объективного оценивания знаний с использованием тестирования. Обсуждение и заключение. Выполненное исследование расширило представление о возможностях использования экспертных систем контроля и оценки знаний и повышении объективности знаний, приобретенных в процессе обучения. Полученные результаты представляют практическую значимость для педагогов при разработке экспертных систем контроля и оценки знаний. Перспектива дальнейшего изучения - совершенствование метода тестирования посредством расширения комплекса критериев оценки знаний.
Ключевые слова: дидактика, тестирование, формы конструирования тестового ответа, комплекс критериев, экспертная система контроля и оценки знаний, качество обучения
Для цитирования: Головачева В. Н., Томилова Н. И., Абилдаева Г. Б. Разработка комплекса критериев анализа ответов обучаемого в экспертных системах контроля и оценки знаний // Интеграция образования. 2019. Т. 23, № 3. С. 440-457. DOI: https://doi.org/10.15507/1991-9468.096.023.201903.440-457
© Головачева В. Н., Томилова Н. И., Абилдаева Г. Б., 2019
0 1 Контент доступен под лицензией Creative Commons Attribution 4.0 License. ife^^E^^ The content is available under Creative Commons Attribution 4.0 License.
Development of a Set of Criteria for Analysing Trainee Answers in Expert Control Systems and Assessment of Knowledge
V. N. Golovachyova*, N. I. Tomilova, G. B. Abildaeva
Karaganda State Technical University, Karaganda, Kazakhstan, * golovacheva_vn@mail.ru
Introduction. The article deals with the problem of objective knowledge assessment using expert automated systems for monitoring and evaluating knowledge. The relevance of this study is determined by qualitatively improving the monitoring and evaluation of knowledge using a testing method. The purpose of the work was to develop a set of criteria for analysing a test response along with an objective approach to their assessment.
Materials and Methods. The study was conducted on the basis of the system analysis and B. Bloom's method tracking learning outcomes, as well as the method widely used in the study of the quality of studies on the assessment of educational achievement of students: Program for International Student Assessment. In order to study the problem, 102 teachers and 357 students of two universities - Karaganda State Technical University and Karaganda State University named after E.A. Buketov - in Karaganda, Kazakhstan were interviewed and their responses observed.
Results. The results of the work are of interest to the scientific and pedagogical community, as well as practicing teachers. The article proposes a new approach to constructing a test question to allow a response in a freely-constructed form. Such an answer can be analysed by a set of criteria for its formation based on the developed algorithms for a criterial assessment of their quality. This makes it possible to apply the obtained results to solve the scientific problem of objective knowledge assessment using testing. Discussion and Conclusion. The completed study has expanded the representation of the possibilities of using the expert systems for monitoring and evaluating knowledge and increasing the objectivity of knowledge acquired during learning processes. The received results represent the practical importance for teachers involved in the development of expert control systems and assessment of knowledge. The prospect of further study consists in improving the testing method by expanding the set of criteria for assessing knowledge.
Keywords: didactics, testing, forms of designing the test answer, complex of criteria, expert control system and assessment of knowledge, quality of training
For citation: Golovachyova V.N., Tomilova N.I., Abildaeva G.B. Development of a Set of Criteria for Analysing Trainee Answers in Expert Control Systems and Assessment of Knowledge. Integratsiya obrazovaniya = Integration of Education. 2019; 23(3):440-457. DOI: https://doi.org/10.15507/1991-9468.096.023.201903.440-457
Введение
На современном этапе развития дидактика стремится отчетливо управлять процессом обучения на всех этапах, начиная от постановки целей и заканчивая проверкой результатов. В связи с этим в педагогической науке идет поиск путей и средств совершенствования контроля и оценки знаний с целью повышения качества обучения. Так, К. Инген-камп считает, что «современная научно обоснованная дидактика обречена на поражение, если она не опирается на
богатый инструментарий максимально объективных методов педагогической диагностики»1.
В качестве одного из таких средств педагогическая наука рассматривает тестирование. В. С. Аванесов называет тестирование «одной из наиболее технологических форм проведения автоматизированного контроля с управляемыми параметрами качества»2. Преимущество такой формы контроля в его объективности, т. е. независимости проверки и оценки знаний от эксперта-препода-
1 ИнгенкампК. Педагогическая диагностика. М.: Педагогика, 1991. 240 с. URL: http://infonarod.ru/info/ ingekamp-k-pedagogicheskaya-diagnostika-s-nem-m-pedagogika-1991 -240-s (дата обращения: 31.01.2019).
2 Аванесов В. С. Основы научной организации педагогического контроля в высшей школе. М.: МИСИС, 1989. 168 с. URL: https://search.rsl.ru/ru/record/01001477768 (дата обращения: 31.01.2019).
вателя, владеющего знаниями в данной предметной области.
Дидактическое тестирование - это не новый метод исследования. Еще в XIX в. исследователи Ф. Гальтон, А. Кеттел изучали индивидуальные различия людей с помощью тестов. Изначально ученые-дидакты считали, что тестирование не является полезным, поскольку оно ограничивает возможности развития обучающихся. Дидактический тест проверяет исключительно знания и поэтому является эффективным средством контроля наряду с другими методами. По словарю С. И. Ожегова, «дидактический тест -это набор стандартизированных заданий по определенному материалу, устанавливающий степень его усвоения обуча-емыми»3. С точки зрения В. С. Аване-сова, «тест - это метод педагогического измерения»4. М. И. Потеев определяет тест как совокупность составленных в стандартной форме знаний, умений и навыков, удовлетворяющих требованиям надежности и валидности, по которым проводится сравнительная оценка знаний, умений и навыков, способностей, умственного развития5.
Существующие в педагогической науке формы представления ответа на тестовое задание целесообразны. Целесообразность их применения в учебном процессе оправдана практикой. Дидактические тесты по многим признакам являются наиболее передовым методом контроля и прочно удерживают лидирующие позиции среди традиционных форм контроля знаний.
Проведенный нами анализ современного состояния исследований, а также систем контроля и оценки знаний показал, что существующие способы конструирования вопросов и ответов
на основе дидактических тестов имеют массу достоинств6:
- уменьшают субъективность оценок;
- создают возможность комплексной компьютеризации всего процесса контроля и оценки знаний;
- повышают интенсивность труда;
- обеспечивают простоту и оперативность проверки результатов и др.
Практика показывает, что существующие способы конструирования вопросов и ответов на основе дидактических тестов не всегда позволяют объективно выявить реальный уровень знаний учащихся и имеют отрицательные стороны [1]: серьезные искажения восприятия учащимися целостности материала, выработка стереотипности мышления, механическое заучивание ответов, запоминание и списывание ключей к тестам, не всегда можно выяснить, как учащийся определил ответ - путем логических рассуждений или случайно и т. д. Такая ситуация имеет негативные последствия: снижается стимулирующее воздействие педагогической оценки на познавательную деятельность обучаемых и качество учебного процесса в целом.
Поиск педагогически эффективных путей и разработка новой методики анализа ответа обучаемого в экспертных автоматизированных системах контроля и оценки знаний является проблемой нашего исследования. Однако в педагогической науке пока недостаточно научных работ, нацеленных на исследование путей совершенствования процесса контроля и оценки знаний на основе тестирования.
Таким образом, одним из эффективных средств контроля и оценки знаний является дидактический тест.
3 Ожегов С. И. Толковый словарь языка / РАН. Институт русского язык им. В. В. Виноградова / под ред. С. И. Ожегова, Н. Ю. Шведовой. 4-е изд., доп. М.: Азбуковник, 1997. 944 с. URL: http:// ozhegov.textologia.ru (дата обращения: 31.01.2019).
4 Аванесов В. С. Форма тестовых заданий: учеб. пособие. 2-е изд. М.: Центр тестирования, 2005. 155 с. URL: http://mirsmartbook.ru/news/forma_testovykh_zadanij_avanesov_v_s_2005_g/2014-02-12-164 (дата обращения: 31.01.2019).
5 ПотеевМ. И. Основы аналитической дидактики. СПб., 1992. 167 с.
6 Головачева В. Н. Основы применения тестовых технологий в педагогике. Алматы: Изд-во «Гылым», 2001. 100 с.
Теоретическая значимость заключается в том, что предложен новый подход к разработке теоретических положений контроля и оценки знаний на основе дидактических тестов. Данный подход позволяет повысить степень приближения оценки за тест к уровню реальных знаний учащихся, особенно по предметам социально-гуманитарного цикла. Практическая значимость исследования заключается в проектировании экспертной системы контроля и оценки знаний с использованием нового подхода к конструированию тестового вопроса и ответа, допускающего свободно конструируемую форму тестового ответа. Разработан комплекс критериев анализа ответа обучаемого.
В статье ставится цель - научно обосновать эффективность и разработать комплекс критериев анализа тестового ответа, позволяющих объективно организовать проверку результатов обучения.
Обзор литературы
В контексте новых парадигм образования проблема объективного оценивания знаний приобретает новые формы и содержание. Широкое распространение способов получения оценки знаний обусловило проблему оценивания преподавателем результатов учебной деятельности обучающихся как самостоятельное направление педагогической науки.
Зарубежные исследователи Х. Хин, Дж. Саундерс, Дж. Алгина, Л. Крокер, Р. Гамбелтон, Х. Роджерс, Х. Свамина-тан, Д. Райт, С. Ливингстон и многие другие, работающие в данной области, фокусируются прежде всего на проблемах измерения и оценивания знаний.
Так, в работе Х. Хин, Дж. Саундерс оценивается точность двух процедур оценки надежности тестов [2]. Ученые С. Ливингстон, Х. Сваминатан, Р. Гамбелтон, Дж. Алгина, М. Сабковиак считают, что объем предусмотренных программой обучения знаний можно определить с помощью специального вида педагогического теста - критериально-ориентировочного. При этом выделяют два основных его типа: ори-
ентированные на определенную область содержания и тесты «на мастерство» (квалификационные) [3-5].
Помимо перечисленных ученых-исследователей существенный вклад в развитие текстологии внесли публикации К. Пирсона, Ч. Спирмена, Л. Терстоуна, Г. Томсона в области тестовых систем, а также методики обработки результатов тестирования, которые способствовали созданию метода корреляции и факторного анализа, успешно применяющихся в современных исследованиях по проблемам совершенствования качества теста, программной обработке результатов тестирования.
Проблемам повышения объективности оценки знаний с использованием компьютерного тестирования посвящены работы многих отечественных исследователей. Так, в работе И. И. Соколовой показано, что компьютерное тестирование можно рассматривать как современную наукоемкую педагогическую технологию [6]. Согласно исследованию Т. В. Кишкурно, Т. П. Брусенцовой, тестовые методы эффективны при оценке знаний студентов [7]. А. В. Неверов, А. И. Метельский, А. В. Равино раскрыли преимущества применения системы тестирования в учебном процессе подготовки специалистов [8]. В исследовании Г. С. Куприяновой с целью преодоления трудностей формирования тестов предлагается тезаурус-ный подход к формированию тестового инструментария по дисциплинам [9]. Д. Ю. Альтиментова, А. Ю. Федосов в своей работе предлагают адаптивные алгоритмы проверки ответов на одиночные тестовые вопросы, которые позволят освободить преподавателя от значительного количества рутинной работы, а также повысить качество оценки знаний студентов [10]. В свою очередь, Г. В. Пачурин, Н. С. Тюмина, С. М. Шевченко на основании проведенного исследования пришли к выводу, что тест как инструмент оценки знаний является эффективным при организации учебного процесса, но при решении, например, творческих задач или в проектной деятельности необходимо сочетать тесты
с другими методами контроля, поскольку они не всегда позволяют в полной мере оценить знания обучающихся [11], а Л. А. Соловьева проанализировала системный подход к тестированию [12].
Значительная часть исследований посвящена разработке алгоритмов, методов и технологий тестирования, лежащих в основе проектирования экспертных систем контроля и оценки знаний. Так, в исследовании С. В. Сипайло проанализированы возможности компьютерной программы MyTestX для разработки тестовых заданий с целью повышения эффективности учебного процесса. Дана характеристика тестовых заданий, разработанных для контроля знаний студентов по конкретным дисциплинам [13]. Подобная позиция реализована в исследованиях В. Н. Головачевой, А. В. Горбунова, В. П. Овчаренко [14-16].
Для более объективного внутреннего аудита качества полученных знаний Л. В. Ляпустиной, Т. В. Жарниковой, Ю. М. Евченко рекомендуется проводить статистическую обработку результатов тестирований [17]. Для объективности оценивания знаний учающихся, по мнению К. Б. Брянкина и И. А. Вылегжаниной, необходимо проводить экспертизу тестовых заданий. При этом следует учитывать краткость, логичность, правильность формы и содержания, репрезентативность, соответствие целям тестирования, единообразие записи всех заданий одного теста, разнообразие форм и структуры [18]. В педагогических исследованиях продемонстрировано применение тестовых технологий для оценки знаний студентов по различным дисциплинам [19-21].
Как показывают исследования В. В. Кручинина, В. Головачевой и соавторов, Е. У. Медеуов, использование контролирующих систем сталкивается с проблемой неразработанности дидактических и психолого-педагогических основ применения и эффективности существующих форм обучения [22-24].
В основе разработки автоматизированных систем контроля и оценки знаний лежат следующие формы конструирования тестовых заданий:
- выбрать правильный ответ из списка предложенных;
- выбрать правильный ответ из двух частей (первая часть предлагает сделать выбор, а вторая часть - его обоснование);
- выбрать правильный ответ только из двух возможных вариантов;
- распределить элементы предложенного перечня в правильной последовательности;
- установить соответствие между элементами множеств;
- завершить высказывания или вставить пропущенные слова;
- ответить одним числом или словом;
- многословный ответ с ограничением по последовательности и связям между словами [1].
Современные инструментальные среды ЭВМ позволяют разрабатывать тесты с выборочными, числовыми, конструируемыми ответами. На практике чаще применяют тесты с выборочными ответами, поскольку они проще в подготовке и в использовании. Например, в тестах с выборочными ответами обучающиеся основные усилия фокусируют на выполнение самого задания, а не на набор ответов.
В исследованиях отечественных авторов содержатся основополагающие идеи конструирования вопросов и ответов на основе дидактических тестов, выводы педагогической оценки с помощью преобразования имеющейся шкалы или система оценок, а также разработки более формализованных способов оценивания уровня знаний обучаемых [25-27]. Интерес исследователей вызвали идеи Г. Мутанова, Е. Фединой. В работах этих ученых предлагается решить проблему объективности теста за счет введения «нечеткого» теста, т. е. теста, на каждый вопрос которого может быть предложено несколько правильных и неправильных ответовов [28; 29]. Несомненно, нечеткие тесты расширяют функции тестов. Однако, на наш взгляд, введенное понятие «нечеткий тест» в определенной степени снижает вероятность его «угадывания».
В настоящее время особенно актуален вопрос о необходимости создания такой системы контроля и оценки знаний, которая позволила бы выявить реальный уровень знаний обучаемых по предметам социально-гуманитарного цикла, т. е. предметам, в которых основная роль принадлежит знаниям и рассуждениям человека.
Мы считаем, что при выборе критериев оценки тестов должны учитываться и мыслительные навыки, которые могут быть получены в процессе обучения: понимание, применение, анализ, синтез, сравнительная оценка и др.
Тестовые вопросы дают информацию для размышления. Дело в том, что не каждая дисциплина поддается формализации. Для таких предметов, как физика, математика, механика формализация очевидна. По предметам социально-гуманитарного цикла используемые знания не всегда могут быть четко формализованы. Отставание в разработке методологических проблем и создании новых методов оценки знаний является основной причиной разрыва между потенциальными и реальными возможностями ЭВМ.
Для того чтобы контроль знаний с применением тестирования был действительно эффективным для указанного цикла предметов, на каждом этапе обучения необходимо оценить степень усвоения знаний. При этом нужно охватить все необходимые характеристики усвоения знаний с помощью тестирования: конкретизировать ответ примерами и логически связано, грамотно выражать свои мысли и т. д. Только при использовании указанных форм оценки знаний, которые не уступают по содержанию устному контролю, можно достичь больших преимуществ от использования такого эффективного средства получения точной и объективной оценки знаний, как тестирование.
Однако при этом существует проблема -сложность распознавания смысла ответа. Существующие методы анализа систем и моделирования, основанные на точной обработке данных, не способны охватить
всю сложность процессов мышления человека и принятия решений. В этом случае придется отказаться от высоких стандартов точности, которые ожидаются при математическом анализе четко определенных систем, и снисходительно относиться к другим подходам, являющимся приближенными по своей природе.
Введение новшеств связано с определенным риском, поскольку есть трудность предвидеть конечный результат и избежать ошибочных предположений. Для получения качественного результата внедрение нововведения должно быть тщательно продумано, в деталях разработано и грамотно организовано.
Материалы и методы
Методологической основой разработки комплекса критериев анализа ответов обучаемого в экспертных системах контроля и оценки знаний является теория тестирования как основа оценивания знаний, полученных в процессе обучения.
Необходимость теоретического расширения концепции тестирования путем добавления нового подхода к конструированию тестовых вопросов и ответов вытекает из достижений и недостатков, существующих в теории и практике методов педагогического тестирования, с целью дать практикующим педагогам возможность использовать новую методику оценки знаний. Это позволит достичь больших преимуществ от применения экспертных систем контроля и оценки знаний.
Для разработки комплекса критериев анализа тестового ответа была использована методика, основанная на когнитивной таксономии целей Б. Блума. Совершенствование теории разработки педагогических тестов для обучаемых через применение таксономии Блума позволило повысить качество обучения на основе четко выработанных критериев оценивания мыслительных навыков обучаемых.
Результаты исследования
Для оценки анализа ответа нами разработан следующий комплекс критериев.
Предметность отражает базовый уровень знания предмета и определяется сравнением соответствия использованных дескрипторов дескрипторам тезауруса или их синонимов. Качество критерия «предметность» характеризуется коэффициентом 3. Критерием оценки 3 является отношение количества правильно используемых дескрипторов к общему количеству дескрипторов, соответствующих каждому вопросу теста в тезаурусе. Расчет критерия производится следующей формулой:
^ = N,
м
где N - количество правильно используемых дескрипторов, М - общее количество дескрипторов.
Грамотность определяется правилами построения текстовых документов. В исследовании мы ограничились условиями применения частных показателей - проверкой орфографии, которая определяется сравнением соответствия каждого использованного в тексте ответа слова словам орфографического словаря. Качество критерия «грамотность» обозначается коэффициентом у. Критерием оценки у является отношение количества правильно написанных слов к общему количеству слов в тексте ответа. Расчет критерия производится следующей формулой:
7 =
K R '
ствующих их базе по каждому вопросу теста. Расчет критерия производится следующей формулой:
(р =
D F'
где О - количество примеров, соответствующих базе примеров, Е - общее количество примеров из базы примеров.
Логические связи между предложениями определяются правилами связи языка между предложениями. Качество данного критерия характеризуется коэффициентом ¡¡. Критерий оценки ¡л -отношение количества логических связей в ответе, которое определяется матрицей инцидентности ответа (рис. 1) к максимально возможному количеству логических связей между употребляемыми в тексте ответа предложениями. Расчет критерия производится следующей формулой:
И =
E L'
где Е - количество логических связей в ответе, Ь - максимальное количество логических связей в ответе между употребляемыми предложениями, определяется следующей формулой:
и-1
L = п ■ (п -1) - ^ i
I=1
где п - количество предложений в тексте ответа.
где К - количество правильно написанных слов в тексте ответа, Я - общее количество слов в тексте ответа.
Наличие примеров в тексте ответа наглядно поясняет основной вопрос теста. Критерий определяется сравнением соответствия использованных в тексте ответа примеров словам в базе примеров или их синонимов. Качество данного критерия характеризуется коэффициентом ф. Критерием оценки ф является отношение количества правильно указанных в тексте ответа примеров к общему количеству примеров, соответ-
1 2 N
1 1 1 1 1
2 1 1
1 1
n 1
Р и с. 1. Матрица инцидентности ответа F i g. 1. Answer incidence matrix
INTEGRATION OF EDUCATION. Vol. 23, No. 3. 2019
Диагональные элементы матрицы обозначают количество предложений в ответе. Наддиагональные элементы определяют в ответе связи между рассматриваемым предложением и последующими предложениями ответа, т. е. последовательно вытекающие друг из друга логические связи.
Сложность характеризует качество каждого текстового ответа в целом и определяется наличием связей между рассматриваемыми критериями. Если тестируемый при ответе на основной вопрос теста достаточно высоко определяет критерий «предметность», грамматически правильно строит текст ответа, демонстрирует наличие примеров, поясняющих суть основного вопроса, в тексте ответа присутствует постепенное развитие мысли, то такой ответ с точки зрения общей его характеристики является сложным. Качество данного критерия обозначается коэффициентом у. Расчет критерия производится следующей формулой:
П =
(S + у + ф +
где 3 - коэффициент, полученный по критерию «предметность»; у - коэффициент, полученный по критерию «грамотность»; ф - коэффициент, полученный по критерию «наличие примеров»; ¡л -коэффициент, полученный по критерию «логические связи между предложениями»; г - количество рассматриваемых критериев.
Анализ сложности подсчитывается количеством связей в ответе и определяется экспертным путем.
Общая оценка за каждый вопрос теста выставляется по следующей формуле:
Ball =
8 + y + q + ß+ц
ю-к
где 8 - оценка, полученная по критерию «предметность»; У - оценка, полученная по критерию «грамотность»; ф - оценка, полученная по критерию «наличие примеров»; ¡7 - оценка, полученная по критерию «логические связи
между предложениями»; п - экспертная оценка, полученная по критерию «сложность»; w - общее количество критериев анализа ответа; к - коэффициент сложности каждого тестового вопроса.
Общая оценка за тест формируется на основе разработанного нами метода [30; 31]. Структурная схема разработанной экспертной автоматизированной системы контроля и оценки знаний представлена на рисунке 2.
Ядром такой системы является базовый словарь предметной области, который служит для анализа каждого текстового ответа и состоит из следующих компонентов: тезауруса, базы примеров, орфографического словаря, лексического анализатора.
Основным способом формирования тезауруса является выборка дескрипторов, как правило, выраженных существительными, из конспекта лекций, рабочей программы, их синонимов и других специализированных по данному предмету лингвистических источников.
Основным способом формирования базы примеров является выборка примеров, приведенных преподавателем на лекциях, примеров из ответов учащихся на практических, семинарских занятиях и т. д.
Орфографический словарь. Входная информация тестируемого фиксируется и заносится в лексический анализатор экспертной системы.
Лексический анализатор принимает исходный текст ответа непосредственно от элементов входного интерфейса и преобразовывает его в массив лексических единиц. Для каждой лексической единицы анализатор выполняет процедуру поиска, используя базовый словарь предметной области. При точном совпадении анализируемого слова с дескриптором базового словаря предметной области вариант поиска считается успешным, и в программу передается соответствующая информация.
Для проверки правописания тестовых ответов к системе контроля и оценки знаний применен словарь С. И. Ожегова, а также дополнительный словарь для
z
Тестовые вопросы/ Идентификатор тестируемого / Ответы /
Test questions Identifier of the examinee Answers
1
Входной интерфейс / -
—> Entrance interface
Лексический анализатор / Lexical analyser
X
Блок расчета критериев / Block of criteria calculation
Оценка / Assessment
^ZL
Низкая / Low Высокая / Hish
Возврат в базу знаний / Return to the knowledge base
Цели обучения Достигнуты I Training purposes are reached
Базовый словарь предметной области / Basic dictionary of subject domain
Тезаурус / Thesaurus
База примеров / Example database
Орфографический словарь / Spelling dictionary
Р и с. 2. Структурная схема экспертной системы контроля и оценки знаний F i g. 2. Block diagram of the expert control and knowledge assessment system
ввода новых узкоспециализированных слов. На основе полученной информации проводится расчет критериев и выводится итоговая оценка.
Рассмотрим пример «словесно-лингвистического» ответа, например, на вопрос «Что такое массив информации?» Предложим один из вариантов ответа: «Массив информации - информационная структура, образованная из одной или более записей таким образом, что записи описывают объекты, а массив -класс объектов. Несколько массивов составляют систему или набор массивов. Записью называется точно установленный набор данных, характеризующих некоторый объект или процесс. Примерами записи могут служить товарные чеки, наряды на выполнение работ,
накладные, анкеты, статистические отчеты».
Словесный ответ - это определенный текст, содержание которого раскрывает суть поставленного вопроса. Поэтому для оценки данного ответа необходимо прежде всего оценить его содержание с использованием разработанного нами комплекса критериев.
Предметность является составной частью базового словаря предметной области. Базовый словарь предметной области - это основной опорный дидактический материал, который служит для анализа каждого текстового ответа. В свою очередь, он подразделяется на следующие составляющие: тезаурус, базу примеров, орфографический словарь.
Тезаурус имеет вид словаря, в котором последовательно расположены термины (основные смысловые единицы) и зафиксированы связи между ними. Тезаурус служит для поиска слов, которые определяют базовый уровень знания предмета. Любой тезаурус состоит из введения, алфавитного указателя (словарная часть) и систематического указателя.
База примеров представляет собой словарь, в котором в определенном порядке расположены слова, предназначенные для наглядного пояснения основных вопросов теста. Построение базы примеров состоит из двух взаимосвязанных этапов. Изначально формируется множество всевозможных слов-примеров. Затем из них выбираются наиболее используемые, при этом учитывая не только частоту их употребления, но и все формы, которые они могут иметь.
Выделим дескрипторы из текста рассматриваемого нами ответа, произведя морфологический анализ предложений. В результате анализа ответ тестируемого разбивается на множество различных частей речи. Для того чтобы выбрать из текста рассматриваемого ответа дескрипторы, подсчитаем количество существительных в тексте ответа: массив, информация, структура, запись, объект, класс, система, набор, данные, процесс. При этом необходимо учитывать различные формы каждого слова и их синонимы.
В связи с этим выделены следующие вычислительные процедуры определения критерия предметности: анализ предложения, выбор ключевых слов (дескрипторов), определение их соответствия дескрипторам тезауруса, количественная оценка, вывод оценки.
Грамотность определяется грамматическими правилами построения текстовых документов. Грамотность ответа определяется по ряду признаков: у1 - наличие подлежащего, у2 - наличие сказуемого, у3 - наличие дополнений, у4 -наличие определений, у5 - наличие обстоятельств, у6 - отсутствие грамматических ошибок, у7 - отсутствие стилистических
ошибок, у8 - наличие разнообразных синтаксических конструкций.
Выбранные коэффициенты характеризуют ответ как обобщенный показатель грамотности. Например, А - полное предложение; у1 П у2 П у3...П ук, где к - количество структурно-семантических компонентов, определяющих данный показатель.
Если к = max I, (I - максимальное количество структурно-семантических компонентов, для которых выполняется условие), то ответ можно считать полным.
Б - неполное предложение - у1П у2П П у3П ук, где К < I;
В - ограниченное предложение -только у1П у2;
Г - неправильное предложение - отсутствует либо у1, либо у2;
Д - безграмотное предложение - наличие грамматических ошибок;
Е - неправильно оформленное предложение - наличие стилистических ошибок.
В рассмотренном примере в первом предложении (Массив информации - информационная структура, образованная из одной или более записей таким образом, что записи описывают объекты, а массив - класс объектов) массив -подлежащее, структура - сказуемое, образованная из одной или более записей таким образом - определение, выраженное причастным оборотом; что записи описывают объекты, а массив - класс объектов - придаточная структура, состоящая из двух простых предложений, связанных сочинительным союзом /а/, причем во втором предложении - неполном - отсутствует сказуемое, поэтому ставится тире. Вся придаточная структура присоединяется подчинительным союзом /что/.
Во втором предложении (Несколько массивов составляют систему, или набор массивов) несколько массивов -подлежащее, составляют систему - сказуемое, набор массивов - приложение.
В третьем предложении (Записью называется точно установленный набор данных, характеризующих некоторый объект или процесс) набор - подлежа-
щее, называется - сказуемое, установленный - определение, точно - обстоятельство, данных - определение, характеризующих некоторый объект или процесс - определение, выраженное причастным оборотом.
В четвертом предложении (Примерами записи могут служить товарные чеки, наряды на выполнение работ, накладные, анкеты, статистические отчеты) примерами записи - определение (несогласованное), могут служить -сказуемое, чеки, наряды, накладные, анкеты, отчеты - подлежащие, товарные - определение (согласованное), на - предлог, выполнение - определение (несогласованное),работ - дополнение.
Критерием оценки у может быть набор различных правил, определяющих грамматическое качество текстового ответа в целом. Наличие примеров в тексте ответа наглядно поясняет основной вопрос. Качество критерия «наличие примеров» характеризуется коэффициентом ф и определяется сравнением соответствия использованных примеров словам из базы примеров. В рассмотренном выше ответе на вопрос теста «Что такое массив информации?» демонстрируются пять правильных примеров: товарные чеки, наряды на выполнение работ, накладные, анкеты, статистические отчеты.
Исходя из опыта работы преподавателя-предметника, критерием оценки ф могут быть наличие одного, двух и более примеров, отсутствие примера, неправильный пример.
Логические связи между предложениями определяются правилами связи языка между предложениями. Текст, состоящий из двух или нескольких предложений, связанных между собой по смыслу или структурно, и выполняющий композиционно-стилистическую функцию в связном тексте, представляет собой сложное синтаксическое целое.
С точки зрения структурно-семантической сложные синтаксические целые делятся на сложные синтаксические целые с цепной связью и сложные синтаксические целые с параллельной связью между предложениями.
В рассмотренном примере первое предложение сложного синтаксического целого имеет обобщающее значение, все остальные раскрывают содержание первого. Из четырех представленных в ответе предложений первые два и последние два связаны параллельной связью.
Критериями оценки ¡ может быть соблюдение следующих условий:
- все предложения ответа должны иметь логические связи с основным предложением ответа;
- все предложения, кроме основного, должны иметь соподчиненный характер к основному предложению;
- дополнять его содержание, раскрывать более подробно суть основного предложения, пояснять основное предложение, классифицировать предметы вопроса и т. д.
В рассмотренном выше ответе на вопрос теста «Что такое массив информации?» диагональные элементы матрицы состоят из четырех элементов, так как в тексте представленного ответа четыре предложения. Между первым и вторым предложениями ответа имеется логическая связь, которая определяется по ключевому слову «массив». Между первым и третьим, первым и четвертым, третьим и четвертым предложениями имеется логическая связь, определяющаяся по ключевому слову «запись». Расчет критерия «логические связи между предложениями» определяется количеством логических связей в тексте ответа.
Предложенный тестовый ответ с точки зрения определения критерия «сложность» является сложным, поскольку достаточно высоко определен критерий предметности, грамматически правильно построен текст ответа, имеются 4 логические связи, демонстрирует наличие примеров.
Тестируемый внимательно читает предложенный вопрос теста и вводит ответ на каждый вопрос в окно, которое не ограничено возможностями ввода текстовой информации (рис. 3). Система предоставляет возможность просмотра и корректировки ответов до тех пор, пока не будет нажата кнопка
INTEGRATION OF EDUCATION. Vol. 23, No. 3. 2019
Р и с. 3. Форма ввода ответа на тестовый вопрос F i g. 3. Input form for answering a test question
«оценить результат». После нажатия этой кнопки система анализирует ответы испытуемого и выводит результат. Каждый вариант теста состоит из 10 предложенных тестовых вопросов, номера которых ранжируются по мере возрастания их сложности. Оценки выставляются по каждому из выбранных
критериев по десятибалльной шкале. Система предоставляет возможность проанализировать составляющие результат тестирования и вывести при необходимости его на печать. На экран выводится сводная таблица результатов тестирования (табл. 1), а также в графическом виде демонстрируются результаты анализа введенных испытуемым ответов теста (рис. 4). Все коэффициенты, представленные в ней с соответствующими им оценками по каждому разработанному критерию, позволяют детально проанализировать ответы тестируемых за каждый вопрос теста комплексом критериев и обосновать получение его итоговой оценки за тест.
Обсуждение и заключение
Результаты исследования могут быть использованы как в общей педагогике, так и в теоретической и практической тестологии. В работе теоретически об-
Т а б л и ц а 1. Пример сводной таблицы результатов тестирования T a b l e 1. Example of a test results summary table
Порядковый номер вопроса / Question number Предметность / Objectivity Грамотность / Literacy Примеры / Examples Логические связи / Logical connections Сложность / Complexity Общая / Overall
5 Оценка / Assessment Y Оценка / Assess-ment Ф Оценка / Assess-ment ^ Оценка / Assess-ment n Оценка / Assess-ment
1 1,0 10 1,0 10 1,0 10 0,9 10 1,0 10 10
2 1,0 10 1,0 10 1,0 10 0,9 10 1,0 10 10
3 1,0 10 1,0 10 1,0 10 0,8 9 1,0 10 10
4 1,0 10 1,0 10 1,0 10 0,7 8 0,9 10 10
5 1,0 10 1,0 10 1,0 10 0,7 8 0,9 10 10
6 1,0 10 1,0 10 1,0 10 1,0 10 1,0 10 10
7 1,0 10 0,9 10 1,0 10 0,7 8 0,9 10 10
8 1,0 10 1,0 10 1,0 10 0,2 3 0,8 9 8
9 0,5 6 1,0 10 1,0 10 0,3 4 0,7 8 8
10 0,5 6 1,0 10 1,0 10 1,0 10 0,9 10 9
1
0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0
I
■ Предметность / Objectivity
I Грамотность / Literacy I Примеры / Examples
■ Логические связи / Logical connections
Сложность / Complexity
12 345 6789 10
Р и с. 4. Графическое представление результатов тестирования F i g. 4. Graphic representation of test result
основана необходимость использования нового подхода к конструированию ответа на тестовый вопрос, допускающего свободно конструируемую форму тестового вопроса и ответа, а также необходимость разработки критериев анализа такого ответа и научно обоснованного подхода к их оцениванию. Учет полной информации, содержащейся в тестовом ответе испытуемого, осуществляется с использованием разработанных алгоритмов расчета критериев анализа тестового ответа, что позволяет получить комплексную объективную оценку уровня усвоения знаний.
Многолетние исследования различных авторов по оцениванию знаний показывают, что баллы, выражающие оценку знаний студентов в обучаемых группах, должны быть распределены по нормальному закону. Поэтому самая эффективная система оценки знаний будет та, которая не завышает, не занижает и не смещает средний уровень балла в ответах группы, т. е. гипотеза о нормальности распределения баллов при контроле процессов обучения остается основной рабочей гипотезой.
Таким образом, с помощью разработанной экспертной системы контроля и оценки знаний мы добились повышения качества обучения за счет получения педагогом объективной информации о степени усвоения обучающимися учеб-
ного материала; детального анализа содержания оценки знаний, что повышает интерес и мотивацию к процессу обучения, о чем свидетельствуют данные, доступные педагогу после проведения тестирования; целенаправленной корректировки процесса обучения с учетом результатов тестирования, выбором коэффициентов сложности.
Построенная нами экспертная система контроля и оценки знаний может быть рекомендована для совершенствования контроля и оценки знаний (особенно по предметам социально-гуманитарного цикла) с целью повышения качества обучения. Это дает возможность применить полученные результаты для решения научной проблемы объективного и достоверного оценивания знаний с использованием тестового метода контроля и оценки знаний. Однако такая экспертная система контроля и оценки знаний на данном этапе не рекомендуется к массовому использованию в образовательном процессе.
Полученные результаты не решают все аспекты проблемы качества знаний, полученных в процессе обучения. Дальнейшая теоретическая и практическая разработка данного направления требует решение таких вопросов, как совершенствование метода тестирования в плане увеличения количества критери-
ев оценки знаний, разработки критериев оценки их качества, развитием базы знаний и т. д.
Полученные в исследовании результаты открывают возможности дальнейшего изучения проблемы обеспечения качества приобретенных в процессе
обучения знаний. Предварительное обсуждение материалов работы в научно-педагогическом сообществе подтверждает целесообразность и важность проведения исследования в обозначенном проблемном поле в условиях образовательной среды.
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
1. Construction of Expert Knowledge Monitoring and Assessment System Based on Integral Method of Knowledge Evaluation / V. N. Golovachyova [et al.] // International Journal of Environmental & Science Education. 2016. Vol. 11, Issue 9. Pp. 2539-2552. DOI: https://doi.org/10.12973/ijese.2016.705a
2. Hunyh H., Saunders J. С. Accuracy of Two Procedures for Estimating Reliability of Mastery Tests // Journal of Educational Measurement. 1980. Vol. 17, Issue 4. Pp. 351-358. DOI: https://doi.org/10.1111/j.1745-3984.1980.tb00836.x
3. Livingston S. A. Criterion-Referenced Applications of Classical Test Theory // Journal of Educational Measurement. 1972. Vol. 9, Issue 1. Pp. 13-26. DOI: https://doi.org/10.1111/j.1745-3984.1972.tb00756.x
4. Swaminathan H., Hambleton R. K., Algina J. Reliability of Criterion Referenced Tests: A Decision Theoretic Formulation // Journal of Educational Measurement. 1974. Vol. 11, Issue 4. Pp. 263-268. DOI: http://dx.doi.org/10.1111/j.1745-3984.1974.tb00998.x
5. Subkoviak M. J. Empirical Investigation of Procedures for Estimating Reliability for Mastery Tests // Journal of Educational Measurement. 1978. Vol. 15, Issue 2. Pp. 111-116. DOI: https://doi.org/10.1111/j.1745-3984.1978.tb00062.x
6. Соколова И. И. Компьютерное тестирование как наукоемкая педагогическая технология // Известия Российского государственного педагогического университета им. А. И. Герцена. 2004. Т. 4, № 9. С. 77-86. URL: https://lib.herzen.spb.ru/media/magazines/contents/1/4(9)/sokolova_9_77_87.pdf (дата обращения: 09.05.2019).
7. Кишкурно Т. В., Брусенцова Т. П. Тестовый контроль знаний как средство совершенствования системы проверки и оценки результатов обучения // Труды БГТУ. 2011. № 8. С. 156-157. URL: https:// cyberleninka.ru/article/v/testovyy-kontrol-znaniy-kak-sredstvo-sovershenstvovaniya-sistemy-proverki-i-otsenki-rezultatov-obucheniya (дата обращения: 26.06.2019).
8. Неверов А. В., Метельский А. И., Равино А. В. О тестировании как методе контроля знаний студентов // Труды БГТУ 2014. № 8. C. 32-34. URL: https://elib.belstu.by/handle/123456789/14420 (дата обращения: 09.05.2019).
9. Куприянова Г. С. Тезаурусный подход к формированию тестового инструментария по дисциплинам теплоэнергетического цикла // Известия высших учебных заведений. Поволжский регион. Гуманитарные науки. 2012. № 1 (21). С. 174-180. URL: https://cyberleninka.ru/article/v/ tezaurusnyy-podhod-k-formirovaniyu-testovogo-instrumentariya-po-distsiplinam-teploenergeticheskogo-tsikla (дата обращения: 10.05.2019).
10. Альтиментова Д. Ю., Федосов А. Ю. Повышение качества подготовки бакалавров с применением компьютерного тестирования и расчета рациональных способов коррекции знаний // Педагогическая информатика. 2017. № 1. С. 45-53. URL: http://www.makarenko.edu.ru/Publications/ Altimentova_Fedosov_ped_inform_01_2017.pdf (дата обращения: 09.05.2019).
11. Пачурин Г. В., Тюмина Н. С., Шевченко С. М. Анализ тестирования как средства контроля знаний обучающихся // Современные проблемы науки и образования. 2017. № 4. URL: http://science-education.ru/ru/article/view?id=26716 (дата обращения: 26.06.2019).
12. Соловьева Л. А. Системный подход к внедрению компьютерного тестирования в процесс профессиональной подготовки бакалавров // Международный научно-исследовательский журнал. Педагогические науки. 2015. № 2 (33), ч. 4. С. 27-28. URL: https://research-journal.org/wp-content/ uploads/2015/03/2-4-33.pdf (дата обращения: 10.05.2019).
13. Сипайло С. В. Текущий контроль знаний студентов с помощью системы электронного тестирования MyTestX // Труды БГТУ. 2014. № 8 (172). С. 145-146. URL: https://elib.belstu.by/ bitstream/123456789/14158/1/45.pdf (дата обращения: 26.06.2019).
14. Головачева В. Н. Анализ систем автоматизированного контроля знаний // Автоматика. Информатика. 2000. № 1-2. С. 54-57. URL: https://eHbrary.ra/item.asp?id=15262107 (дата обращения: 10.05.2019).
15. Горбунов А. В. Алгоритмы тестирования и методы контроля // Автоматика. Информатика. 1998. № 1. С. 72-74.
16. Овчаренко В. П. Конструирование тестов в компьютерной форме для оценивания уровня обученности студентов // Известия Российского педагогического университета имени А. И. Герцена. 2007. № 10 (31). С. 218-222. URL: https://lib.herzen.spb.ru/media/magazines/contents/1/10(31)/ ovcharenko_10_31_218_222.pdf (дата обращения: 10.05.2019).
17. Использование тестовых технологий для оценки качества профессиональной подготовки специалистов / Л. В. Ляпустина [и др.] // Научное обозрение. Педагогические науки. 2015. № 2. С. 130. URL: http://science-pedagogy.ru/ru/article/view?id=1021 (дата обращения: 11.05.2019).
18. Брянкин К. В., Вылегжанина И. А. Тестирование как технология контроля качества самостоятельной работы студента вуза // Научное обозрение. Педагогические науки. 2014. № 1. С. 62-63. URL: https://science-pedagogy.ru/ru/article/view?id=60 (дата обращения: 11.05.2019).
19. Князева Е. М. Использование тестовых технологий для оценки знаний студентов по химии [Электронный ресурс] // Современные проблемы науки и образования. Педагогические науки. 2015. № 1, ч. 1. URL: http://www.science-education.ru/ru/article/view?id=18397 (дата обращения: 12.05.2019).
20. Князева Е. М., Юрмазова Т. А., Муратова Е. А. Использование тестовых технологий в образовательном процессе [Электронный ресурс] // Современные проблемы науки и образования. 2013. № 3. URL: www.science-education.ru/109-8833 (дата обращения: 12.05.2019).
21. Тимофеев Д. А., Печникова А. Д., Абызова Н. В. Тестирование в системе методов контроля и оценки знаний студентов // Международный журнал экспериментального образования. 2016. № 5, ч. 3. С. 272-276. URL: http://expeducation.ru/ru/article/view?id=10011 (дата обращения: 12.05.2019).
22. Кручинин В. В., Молочко М. Ф. Система тестирования, основанная на генерации вопросов и тестовых заданий // Открытое образование. 2004. № 4. С. 30-35. URL: http://docplayer.ru/47112220-Sistema-testirovaniya-osnovannaya.html (дата обращения: 31.01.2019).
23. Golovachyova V., Tomilova N., Tomilov A. New Approach to Development ofthe Expert System ofControl and Knowledge Assessment // International Journal of Advances in Computer Science and Its Applications. 2018. Vol. 8, Issue 1. Pp. 586-590. URL: http://journals.theired.org/assets/pdf/20180914_112432.pdf (дата обращения: 31.01.2019).
24. Медеуов Е. У. Тесты - эффективное средство контроля результатов обучения // Вестник высшей школы Казахстана. 1995. № 4. С. 26-29.
25. Цариценцева О. П. Модели педагогического тестирования // Образовательные технологии. 2013. № 1. С. 103-114. URL: http://iedtech.ru/journal/2013/1/tsaritsentseva (дата обращения: 31.01.2019).
26. Редикарцева Е. М. Адаптивное оценивание знаний // Вестник Восточно-Казахстанского государственного технического университета им. Д. Серикбаева. Гуманитарные науки. 2006. № 4. C. 139-144.
27. Мутанов Г. М., Редикарцева Е. М. Разработка компьютерной системы оценки знаний с адаптацией // Вестник КазГАСА. 2006. № 4. C. 182-187.
28. Мутанов Г., Федина Е. Построение шкалы оценок модифицированных тестов // Вестник высшей школы Казахстана. 1998. № 2. С. 73-75.
29. Мутанов Г., Федина Е. Использование нечетких тестов при оценке знаний студентов // Вестник высшей школы Казахстана. 1998. № 5. С. 142-145.
30. Specifics of Development of the Integral Method of Knowledge Estimation / V. Golovachyova [et al.] // Review of European Studies, Published by Canadian Center of Science and Education. 2015. Vol. 7, No. 7. Pp. 284-295. DOI: http://dx.doi.org/10.5539/res.v7n7p284
31. Головачева В. Н., Абаева Н. Ф., Коккоз М. М. К вопросу о тестовом контроле знаний обучающихся // Высшая школа Казахстана. 2015. № 3. С. 35-39. URL: http://portal.kazntu.kz/files/ publicate/2015-10-19-10118_4.pdf (дата обращения: 31.01.2019).
Поступила 01.02.2019; принята к публикации 24.05.2019; опубликована онлайн 30.09.2019.
Об авторах:
Головачева Виктория Николаевна, профессор кафедры информационно-вычислительных систем РГП «Карагандинский государственный технический университет» (100027, Казахстан, г. Караганда, Бульвар Мира, д. 56), доктор педагогических наук, ORCID: https://orcid.org/0000-0002-2024-2109, Scopus ID: 56646538500, Researcher ID: N-9843-2017, golovacheva_vn@mail.ru
Томилова Надежда Ивановна, доцент кафедры информационно-вычислительных систем РГП «Карагандинский государственный технический университет» (100027, Казахстан, r. Караганда, Бульвар Мира, д. 56), кандидат технических наук, ORCID: https://orcid.org/0000-0001-8782-5627, Scopus ID: 57194212148, Researcher ID: B-2794-2019, tomilova_kstu@mail.ru
Абилдаева Гульнур Балтабаевна, старший преподаватель кафедры информационно-вычислительных систем РГП «Карагандинский государственный технический университет» (100027, Казахстан, г Караганда, Бульвар Мира, д. 56), магистр технических наук, ORCID: https://orcid.org/0000-0003-3262-2552, Researcher ID: B-3194-2019, gulek_dil@mail.ru
Заявленный вклад авторов:
Головачева Виктория Николаевна - разработка методологической составляющей; формулирование основной концепции исследования; научное руководство; постановка научной проблемы и определение основных направлений ее решения, критический анализ и доработка текста; формирование выводов.
Томилова Надежда Ивановна - общее руководство проектом; развитие методологии; участие в разработке экспертной системы контроля и оценки знаний; составление тестовых заданий для проведения педагогического эксперимента; проведение критического анализа материалов и формирование первоначальных выводов.
Абилдаева Гульнур Балтабаевна - поиск аналитических материалов в отечественных и зарубежных источниках; проведение тестирования; сбор и анализ статистических данных; визуализация данных в тексте; проведение анализа и подготовка первоначальных выводов.
Все авторы прочитали и одобрили окончательный вариант рукописи.
REFERENCES
1. Golovachyova V.N., Menlibekova G.Zh., Abayeva N.F., Ten T.L., Kogay G.D. Construction of Expert Knowledge Monitoring and Assessment System Based on Integral Method of Knowledge Evaluation. International Journal of Environmental & Science Education. 2016; 11(9):2539-2552. (In Eng.) DOI: https://doi.org/10.12973/ijese.2016.705a
2. Hunyh H., Saunders J.C. Accuracy of Two Procedures for Estimating Reliability of Mastery Tests. Journal of Educational Measurement. 1980; 17(4):351-358. (In Eng.) DOI: https://doi.org/10.1111/j.1745-3984.1980.tb00836.x
3. Livingston S.A. Criterion-Referenced Applications of Classical Test Theory. Journal of Educational Measurement. 1972; 9(1):13-26. (In Eng.) DOI: https://doi.org/10.1111/j.1745-3984.1972.tb00756.x
4. Swaminathan H., Hambleton R.K., Algina J. Reliability of Criterion Referenced Tests: A Decision Theoretic Formulation. Journal of Educational Measurement. 1974; 11(4):263-268. (In Eng.) DOI: http://dx.doi.org/10.1111/j.1745-3984.1974.tb00998.x
5. Subkoviak M.J. Empirical Investigation of Procedures for Estimating Reliability for Mastery Tests. Journal of Educational Measurement. 1978; 15(2):111-116. (In Eng.) DOI: https://doi.org/10.1111/j.1745-3984.1978.tb00062.x
6. Sokolova I. Computer Testing as a Pedagogical Technology. Izvestiya Rossiyskogo gosudarstven-nogo pedagogicheskogo universiteta im. A. I. Gertsena = Izvestia: Herzen University Journal of Humanities & Science. 2004; 4(9):77-86. Available at: https://lib.herzen.spb.ru/media/magazines/contents/1/4(9)/ sokolova_9_77_87.pdf (accessed 09.05.2019). (In Russ., abstract in Eng.)
7. Kishkurno T.V., Brusentsova T.P. [Test Control of Knowledge as a Means of Improving the System of Testing and Evaluating Learning Outcomes]. Trudy BGTU = Proceedings of BSTU. 2011; (8):156-157. Available at: https://cyberleninka.ra/article/v/testovyy-kontrol-znaniy-kak-sredstvo-sovershenstvovaniya-sistemy-proverki-i-otsenki-rezultatov-obucheniya (accessed 26.06.2019). (In Russ., abstract in Eng.)
8. Neverov A., Metelsky A., Ravino A. [On Testing as a Method of Controlling Students' Knowledge]. Trudy BGTU = Proceedings of BSTU. 2014; (8):32-34. Available at: https://elib.belstu.by/handle/123456789/14420 (accessed 09.05.2019). (In Russ., abstract in Eng.)
9. Kupriyanova G.S. [Thesaurus Approach to the Formation of Test Tools in the Disciplines of the Heat and Power Cycle]. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Gumanitarnye nauki = Proceedings of Higher Educational Institutions. Volga Region. The Humanities. 2012; (1):174-180. Available at:
https://cyberleninka.ru/article/v/tezaurusnyy-podhod-k-formirovaniyu-testovogo-instrumentariya-po-distsiplinam-teploenergeticheskogo-tsikla (accessed 10.05.2019). (In Russ.)
10. Altimentova D., Fedosov A. Improvement of Quality of Bachelors with Application of Computer Testing and Rational Modes of Correction of Knowledge. Pedagogicheskaya informatika = Pedagogical Informatics. 2017; (1):45-53. Available at: http://www.makarenko.edu.ru/Publications/ Altimentova_Fedosov_ped_inform_01_2017.pdf (accessed 09.05.2019). (In Russ., abstract in Eng.)
11. Pachurin G.V., Tyumina N.S., Shevchenko S.M. Analysis of Testing as a Means of Control of Knowledge of Lerners. Sovremennyye problemy nauki i obrazovaniya = Modern Problems of Science and Education. 2017; (4). Available at: http://science-education.ru/ru/article/view?id=26716 (accessed 26.06.2019). (In Russ., abstract in Eng.)
12. Soloviova L. A Systematic Approach to Implementing Computer-Based Testing in the Process of Professional Preparation of Bachelors. Mezhdunarodnyy nauchno-issledovatelskiy zhurnal. Pedagogicheskiye nauki = International Research Journal. Pedagogical Sciences. 2015; (2):27-28. Available at: https://research-journal.org/ wp-content/uploads/2015/03/2-4-33.pdf (accessed 10.05.2019). (In Russ., abstract in Eng.)
13. Sipaylo S.V. [Current Control of Students' Knowledge Using the Electronic Testing System MyTestX]. Trudy BGTU = Proceedings of BSTU. 2014; (8):145-146. Available at: https://elib.belstu.by/ bitstream/123456789/14158/1/45.pdf (accessed 26.06.2019). (In Russ., abstract in Eng.)
14. Golovachyva V.N. Analysis of Automatic Knowledge Inspection Sytstems. Avtomatika. Informatika = Automatic Equipment. Informatics. 2000; (1-2):54-57. Available at: https://elibrary.ru/item.asp?id=15262107 (accessed 10.05.2019). (In Russ.)
15. Gorbunov A. [Algorithms of Testing and Control Methods]. Avtomatika. Informatika = Automatic Equipment. Informatics. 1998; (1):72-74. (In Russ.)
16. Ovcharenko V. Designing of Computer-Assisted Achievement Tests. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Gumanitarnye nauki = Proceedings of Higher Educational Institutions. Volga Region. The Humanities. 2007; (10):218-222. Available at: https://lib.herzen.spb.ru/media/magazines/ contents/1/10(31)/ovcharenko_10_31_218_222.pdf (accessed 10.05.2019). (In Russ., abstract in Eng.)
17. Lyapustina L.V., Zharnikova T.V., Evchenko Y.M., Shvetsova N.M., Berdnikova T.V., Degtyareva L.V., et al. Test Techniques Usage for Quality Estimation of Specialists Qualification. Nauchnoye obozreniye. Pedagogicheskiye nauki = Scientific Review. Pedagogical Sciences. 2015; (2):130. Available at: http://science-pedagogy.ru/ru/article/view?id=1021 (accessed 11.05.2019). (In Russ., abstract in Eng.)
18. Bryankin K.V., Vylegzhanina I.A. Testing the Technology for Quality Control of High School Students Independent Work. Nauchnoye obozreniye. Pedagogicheskiye nauki = Scientific Review. Pedagogical Sciences. 2014; (1):62-63. Available at: http://science-pedagogy.ru/ru/article/view?id=60 (accessed 11.05.2019). (In Russ., abstract in Eng.)
19. Knyazeva E.M. Use Test Technology for Assessment Students' Knowledge in Chemistry [Electronic resource]. Sovremennye problemy nauki i obrazovaniya. Pedagogicheskiye nauki = Modern Problems of Science and Education. Pedagogical Sciences. 2015; (1). Available at: http://www.science-education.ru/ru/ article/view?id=18397 (accessed 12.05.2019). (In Russ., abstract in Eng.)
20. Knyazeva E.M., Yurmazova T. A., Muratova E.A. The Use of Test Technologies in the Educational Process [Electronic resource]. Sovremennyeproblemy nauki i obrazovaniya = Modern Problems of Science and Education. 2013; (3). Available at: www.science-education.ru/109-8833 (accessed 12.05.2019). (In Russ., abstract in Eng.)
21. Timofeev D.A., Pechnikova A.D., Abyzov N. Testing in the System of Students' Knowledge Control and Assessment Methods. Mezhdunarodnyy zhurnal eksperimentalnogo obrazovaniya = International Journal of Experimental Education. 2016; (5-3):272-276. Available at: http://expeducation.ru/ru/article/ view?id=10011 (accessed 12.05.2019). (In Russ., abstract in Eng.)
22. Kruchinin V.V., Molochko M.F. [Testing System Based on the Generation of Questions and Test Tasks]. Open Education. 2004; (4):30-35. Available at: http://docplayer.ru/47112220-Sistema-testirovaniya-osnovannaya.html (accessed 31.01.2019). (In Russ., abstract in Eng.)
23. Golovachyova V., Tomilova N., Tomilov A. New Approach to Development of the Expert System of Control and Knowledge Assessment. International Journal of Advances in Computer Science and Its Applications. 2018; 8(1):586-590. Available at: http://journals.theired.org/assets/pdf/20180914_112432.pdf (accessed 31.01.2019). (In Eng.)
24. Medeuov E.U. Tests Is an Effective Means of Monitoring Learning Outcomes. Vestnik vysshey shkoly Kazakhstana = Bulletin of Higher School of Kazakhstan. 1995; (4):26-29.
25. Tsaritsentseva O.P. [Models of Pedagogical Testing]. Obrazovatelnye tekhnologii = Educational Technologies. 2013; (1):103-114. Available at: http://iedtech.ru/journal/2013/1/tsaritsentseva (accessed 31.01.2019). (In Russ.)
26. Redikartseva E. [Adaptive Knowledge Assessment]. Vestnik Vostochno-Kazakhstanskogogosudarst-vennogo tekhnicheskogo universiteta im. D. Serikbaeva = Bulletin of the East Kazakhstan State Technical University named after D. Serikbaeva. 2006; (4):139-144. (In Russ.)
27. Mutanov G.M., Redikartseva E.M. [Development of a Computerized Knowledge Assessment System with Adaptation]. Vestnik KazGASA = Bulletin of Kazakh Academy of Architecture and Civil Engineering. 2006; (4):182-187. (In Russ.)
28. Mutanov G.M., Fedina E. [Creation of a Rating Scale of the Modified Tests]. Vestnik vysshey shkoly Kazakhstana = Bulletin of Higher School of Kazakhstan. 1998; (2):73-75. (In Russ.)
29. Mutanov G.M., Fedina E. [Use of Indistinct Tests at Assessment of Knowledge of Students]. The Messenger of the Higher School of Kazakhstan. 1998; (5):142-145. (In Russ.)
30. Golovachyova V., Abaeva N., Kokkoz M., Mustaphina L., Mustaphina V. Specifics of Development of the Integral Method of Knowledge Estimation. Review of European Studies, Published by Canadian Center of Science and Education. 2015; 7(7):284-295. (In Eng.) DOI: https://doi.org/10.5539/res.v7n7p284
31. Golovachyova V.N., Abaeva N.F., Kokkoz M.M. [On the Issue of Test Control of Students' Knowledge]. Vysshaya shkola Kazakhstana = Higher School of Kazakhstan. 2015; (3):35-39. Available at: http:// portal.kazntu.kz/files/publicate/2015-10-19-10118_4.pdf (accessed 31.01.2019). (In Russ.)
Submitted 01.02.2019; revised 24.05.2019; published online 30.09.2019.
About authors:
Viktoriya N. Golovachyova, Professor of Software Department, Karaganda State Technical University (56 Mira Avenue, Karaganda 100027, Kazakhstan), Dr. Sci. (Pedagogy), ORCID: https://orcid.org/0000-0002-2024-2109, Scopus ID: 56646538500, Researcher ID: N-9843-2017,
golovacheva_vn@mail.ru
Nadezhda I. Tomilova, Associate Professor of Software Department, Karaganda State Technical University (56 Mira Avenue, Karaganda 100027, Kazakhstan), Ph. D. (Engineering), ORCID: https://orcid.org/0000-0001-8782-5627, Scopus ID: 57194212148, Researcher ID: B-2794-2019,
tomilova_kstu@mail.ru
Gulnur B. Abildaeva, Senior Teacher of Software Department, Karaganda State Technical University (56 Mira Avenue, Karaganda 100027, Kazakhstan), Master of Engineering, ORCID: https://orcid.org/0000-0003-3262-2552, Researcher ID: B-3194-2019, gulek_dil@mail.ru
Contribution of the authors:
Viktoriya N. Golovachyova - development of methodology; formulation of the basic research; scientific advising; formulation of the scientific problem and definition of main ways for solving; critical analysis and editing the text; formation of conclusions.
Nadezhda I. Tomilova - general project management; development of methodology; participation in development of the expert control system and assessment of knowledge; drawing up test tasks for carrying out the pedagogical experiment; carrying out critical analysis of materials and formation of the initial conclusions.
Gulnur B. Abildaeva - search of analytical materials in national and foreign sources; conducting testing; collecting and analysis of statistical data; visualisation of data in the text; carrying out analysis and preparation of initial conclusions.
All authors have read and approved the final manuscript.
