CC BY
7УДК 004.42
СНИЖЕНИЕ УРОВНЯ СУБЪЕКТИВНОЙ НЕОПРЕДЕЛЕННОСТИ ПРИ ИСПОЛЬЗОВАНИИ ТЕСТИРОВАНИЯ ДЛЯ ОЦЕНКИ УРОВНЯ КОМПЕТЕНТНОСТИ ИСПЫТУЕМЫХ
Статья поступила в редакцию 20.04.2019, в окончательной варианте — 06.05.2019.
Станишевская Алина Владимировна, Астраханский государственный технический университет, 414056, Российская Федерация, г. Астрахань, ул. Татищева, 16,
магистрант, e-mail: a.stanishevskaia@gmail.com
Ажмухамедов Искандар Маратович, Астраханский государственный университет, 414056, Российская Федерация, г. Астрахань, ул. Татищева, 20а,
доктор технических наук, профессор, e-mail: iskander_agm@mail.ru
В статье рассмотрено описание методики организации проведения тестирования и оценки его результатов для выявления различных компетенций испытуемого на основе применения теории нечетких множеств, дополнительно учитывающей время ответа на каждое из заданий теста. Отмечено, что, несмотря на ряд преимуществ: простота, равные условия для испытуемых, более равномерный «охват» материала, тестирование в то же время обладает и некоторыми существенными недостатками. Уровень субъективизма при использовании тестирующих систем хоть и снижается, однако до конца субъективный фактор исключить не удается, поскольку на каждом этапе создания тестирующих систем активно используется информация, полученная от экспертов. Эта информация преимущественно носит вербальный характер и для ее формализации целесообразно использовать методы теории нечетких множеств. Дополнительная фиксация времени ответа на каждое из заданий теста позволяет более эффективно планировать учебный процесс и точнее оценивать отдельные компетенции испытуемого.
Ключевые слова: тестирование, уровень сложности задания, лингвистическая переменная, нечеткое значение параметра, терм-множество, функция принадлежности, экспертная оценка, время выполнения тестового задания
Графическая аннотация (Graphical annotation)
THE DECREASE OF THE SUBJECTIVE UNCERTAINTY LEVEL
DURING THE USE OF TESTING TO ESTIMATE THE LEVEL OF COMPETENCE OF THE TESTED
The article was received by editorial board on 20.04.2019, in the final version — 06.05.2019.
Stanishevskaya Alina V., Astrakhan State Technical University, 16 Tatishchev St., Astrakhan, 414056, Russian Federation,
undergraduate student, e-mail: a.stanishevskaia@gmail.com
Azhmukhamedov Iskandar M., Astrakhan State University, 20a Tatishchev St., Astrakhan, 414056, Russian Federation,
Doct. Sci. (Engineering), Professor, e-mail: iskander_agm@mail.ru
The article contains the description of the methodology for organizing testing and evaluating its results in order to identify the subject's various competencies based on the application of the theory of fuzzy sets, which additionally takes into account the response time to each of the test tasks. It was noted that despite a number of advantages, simplicity, equal conditions for the subjects, more even "coverage" of the material, testing at the same time has some significant drawbacks. Although the level of subjectivity is reduced when using testing systems, however, the subjective factor cannot be completely eliminated, because at each stage in the creation of testing systems information from experts is actively used. This information is primarily verbal in nature and for its formalization it is advisable to use the methods of the theory of fuzzy sets. Additional fixation of the response time to each of the test tasks allows you to more effectively plan the learning process and more accurately assess the individual competencies of the subject.
Keywords: testing, the difficulty level of the task, linguistic variable, fuzzy parameter value, term set, membership function, expert evaluation, test task run time
В классической схеме определение уровня знаний и умений испытуемого предусматривает наличие одного или нескольких экзаменаторов, которые формулируют вопрос испытуемому, исходя из своих личных предпочтений.
После этого экзаменатор получает и воспринимает ответ испытуемого и выносит свое субъективное суждение о соответствии этого ответа ожидаемому эталону. Из этой схемы видно, насколько субъективен данный процесс: экзаменуя испытуемого даже в одной и той же предметной области, один экзаменатор может задать одни вопросы, другой акцентирует внимание совершенно на других аспектах той же самой предметной области.
С другой стороны, один и тот же вопрос может быть поставлен разными экзаменаторами в совершено различной форме. Восприятие ответа также зависит исключительно от экзаменатора: уровня его собственного понимания предмета, его видения и, в конце концов, даже от его настроения в данный момент времени. Все это естественным образом сказывается на конечном результате оценивания уровня знаний и компетенций испытуемого.
Для уменьшения влияния субъективного фактора часто прибегают к использованию автоматизированных тестирующих систем (ТС), поскольку такие системы позволяют исключить непосредственное участие экзаменатора. Тестирующие системы являются полезным инструментом в процессе оценки уровня различных компетенций. К ним прибегают, например, в процессе обучения с целью установить текущий срез знаний студентов; при приеме на работу для определения соответствия кандидата той или иной вакантной должности и т.д. [15].
Применение ТС, по сравнению с классической схемой тестирования, обладает рядом преимуществ: простота, равные условия для испытуемых, более равномерный «охват» материала и т.п.
Обобщенная схема тестирования содержит в себе следующие основные функциональные блоки
(рис. 1):
1) формирование тестовых заданий;
2) проведение тестирования;
3) анализ результатов.
Методологической базой для процесса тестирования служат требования государственных образовательных и профессиональных стандартов, должностных инструкций и т.п.
Рисунок 1 - Общая схема тестирования
Казалось бы, исключение из процесса личности экзаменатора полностью решает проблему наличия субъективности при проведении испытания. Однако это не так. Системы тестирования, предлагаемые и широко внедряемые в последнее время [5-6], как альтернатива классическому процессу оценки знаний испытуемого, также в природе своей не лишены определенной доли субъективности, которая в данном случае «спрятана» более глубоко. Каждый из этапов разработки тестирующей системы, призванный заменить экзаменатора, так или иначе включает в себя элементы экспертных оценок.
Например, для анализа результатов тестирования часто привлекаются эксперты в соответствующей предметной области, представители работодателей, контролирующих органов и т.п. На данном этапе для формулировки эталонных требований используются такие понятия, как «уверенное владение», «умение анализировать», «обладание навыками» и т.д., которые по сути своей являются слабо формализуемыми.
Поскольку экспертами выступают люди, то соответственно присущий им субъективизм полностью не исчезает, хотя и может быть нивелирован с помощью использования различных приемов, которые предоставляют нам теория вероятности и математической статистика (ТВМС), теория нечетких множеств, теория принятия решений (ТПР) и другие науки [10, 17-18].
Целесообразность применения теории нечетких множеств в данном случае обусловлена тем, что она направлена на разработку формальных моделей и методов, поддерживающих интеллектуальный процесс решения проблем, благодаря учету в этих моделях и методах когнитивных возможностей человека при решении им управленческих задач [2].
Исследованию специфических проблем, возникающих при проектировании и использовании ТС, посвящено достаточно большое количество научных работ, например [7, 15-16]. Однако они не позволяют в полной мере учесть присущий различным этапам тестирования субъективизм.
Кроме того, в имеющихся системах тестирования не учитывается время, затраченное испытуемым для ответа на каждое из заданий теста. Берется в расчет лишь общее время прохождения всего теста в целом.
Исходя из этого, целью данной работы явилось описание методики организации проведения тестирования и оценки его результатов для выявления различных компетенций испытуемого на основе применения теории нечетких множеств, дополнительно учитывающей время ответа на каждое из заданий теста.
Решение задачи. Построим методику формализации экспертных данных на основе идей, изложенных в [4].
Прежде всего введем лингвистическую переменную «Уровень фактора» и определим терм-множество ее значений, состоящее из 5-ти элементов:
L = {низкая (Н), ниже среднего (НС), средняя (С), выше среднего (ВС), высокая (В)}.
Поставим в соответствие элементам терм-множества пятиуровневый 01-классификатор, представляющий собой набор трапецеидальных чисел [18]:
Н (0; 0; 0,15; 0,25); НС (0,15; 0,25; 0,35; 0,45); С(0,35; 0,45; 0,55; 0,65);
ВС(0,55; 0,65; 0,75; 0,85); В (0,75; 0,85; 1; 1) (1)
где (а1; а2; а3; а4) - координаты абсцисс вершин соответствующей трапеции. Например, лингвистическому значению «Средний» соответствует трапеция с координатами (0,35; 0,45; 0,55; 0,65) (рис. 2).
Рисунок 2 - Система трапецеидальных функций принадлежности на 01-носителе (пятиуровневый нечёткий 01 -классификатор)
В построенном классификаторе, который является разновидностью «серой» шкалы Поспелова [11], переход от одного свойства к другому происходит постепенно, в противовес интервальному шкалированию, которое широко используется в системах когнитивного моделирования [1, 11, 12].
В [14] отмечается, что применение «серых» шкал позволяет лучше отразить оценки экспертов в условиях неопределенности».
Применение классификатора позволяет перейти от качественного описания уровня фактора к стандартному количественному виду соответствующей функции принадлежности на множестве нечетких трапецеидальных чисел [17].
Пусть Ti - тест, позволяющий проверить уровень владения некоторой компетенцией К. Предположим, что общая сложность теста зависит от сложности трех составляющих, входящих в тест: ^, к^ и
Например, если Ti - тест, предназначенный для выявления уровня компетенции К) = «Знание объектно-ориентированного программирования (ООП)», то в качестве ^, k2 и ^ могут выступать «Знание принципов ООП», «Умение применять шаблоны проектирования при разработке программного обеспечения» и «Умение спроектировать гибкую архитектуру программного обеспечения». Причем вклад этих составляющих в оценку уровня сложности теста Ti может быть различен. Это различие учитывается с помощью заданных экспертами весов, соответствующих каждому из k.
Веса, используемые при оценке сложности теста и определении результата его выполнения, могут быть либо непосредственно заданы экспертами, либо получены как веса Фишберна [12] в результате нестрогого ранжирования.
В соответствии с методом нестрого ранжирования экспертом производится нумерация всех критериев по возрастанию степени их важности [13]. Причем допускается, что эксперту не удастся различить между собой некоторые критерии. В этом случае при ранжировании он помещает их рядом в произвольном порядке. Затем проранжированные критерии последовательно нумеруются. Оценка (ранг) критерия определяется его номером.
Если на одном месте находятся несколько неразличимых между собой критериев, то за ранг каждого из неразличимых критериев целесообразно принять номер всей группы как целого объекта в упорядочении [3].
Например, пусть критерии Кг (г =1,...5) упорядочены экспертом следующим образом:
К4; (К1, К3); К5; К2.
Поскольку критерии 1 и 3 неразличимы и оба занимают вторую позицию, то сумма номеров равна: 1+2+2+3+4=12. Соответственно, вес критерия К4 составляет 1/12, критериев К и К3 - по 2/12, критерия К5 - 3/12, К2 - 4/12. Сумма весов равна единице.
Найденные таким образом оценки представляют собой обобщение системы весов Фишберна [12] на случай смешанного распределения предпочтений, когда наряду с предпочтениями в систему входят и отношения безразличия.
Общая оценка выполнения теста Q вычисляется как «произведение» сложности теста на результат его выполнения.
После прохождения испытуемым всего множества тестов, предназначенных для оценки уровня владения данной компетенцией К), оценка ее уровня и. находится как максимальное значение общих оценок выполнения всего множества тестовых заданий.
При этом значения параметров соответствуют набору качественных оценок L с семейством функций принадлежности (1).
В таблице приведены исходные данные и результаты расчетов демонстрационного примера определения уровня некоторой компетенции К.
Таблица - Исходные данные и результаты расчетов для компетенции К1
Kj T kl / (вес) k2 / (вес) k3/(вес) D (Ц) П / (вес) r2 / (вес) Г3 / (вес) R (Ц) Q Uj
Т1 НС / (1/5) С / (2/5) С/(2/5) С (0,81) В / (0,7) ВС / (0,2) В/(0,1) В (0,79) С (0,72)
К Т2 НС / (1/5) НС / (2/5) С/(2/5) НС (0,61) В / (0,7) В / (0,2) В/(0,1) В (0,79) НС (0,84) ВС (0,83)
Т3 ВС / (1/5) В / (2/5) В/(2/5) В (0,80) ВС / (0,7) ВС / (0,2) В/(0,1) ВС (0,91) ВС (0,83)
Примечание. D - оценка сложности теста; R - результат выполнения теста; гь г2, г3 - частные критерии. Для данного расчетного примера в качестве Г1 выступает «правильность выполнения задания», г2 - «полнота выполнения заданий», г3 - скорость выполнения.
Полученный результат необходимо лингвистически распознать. Для этого вычисляется индекс Q, характеризующий степень соответствия значения фактора той или иной качественной оценке из терм-множества лингвистической переменной L [4]:
а = (1+~)/2, (2)
~ = (pin - pout)/(pin + pout), (3)
где
(mm[x); x)]Mx; Pout =
(Pout представляет собой площадь нечеткого числа B(bb b2, b3, b4), характеризующего результат, лежащую вне эталонного нечеткого числа А(а1, а2, а3, а4), а Pin - площадь, лежащая внутри этого же нечеткого числа); ц1(х) и ц2(х) - функции принадлежности соответствующих нечетких чисел.
При этом обеспечивается семантическое соответствие: чем больше индекс схожести, тем выше степень соответствия вычисленного значения одному из элементов терм-множества L.
Разница индексов схожести качественных оценок, полученных экспериментальным и теоретическим путем, может быть использована в качестве метрической характеристики степени адекватности нечеткой когнитивной модели.
Таким образом, в результате тестового контроля для компетенции К1 была получена оценка «Выше среднего» со степенью принадлежности 0,83.
Предположим, что для К2 и К3 аналогичным образом получены оценки «Выше среднего» и «Средняя». Причем эксперты при ранжировании расположили Kj в следующей последовательности: (Кь К2); К3. Тогда веса Фишберна для Ki и К2 равны по 1/4, а для К3 вес составляет 2/4.
Несмотря на то, что две компетенции из трех имеют уровень «Выше среднего», комплексный уровень компетентности лишь «Средний», поскольку влияние третьей компетенции на интегральную оценку выше.
Описание разработанного программного обеспечения. Для автоматизации процесса тестирования и получения оценки с использованием теории нечетких множеств разработано тестирующее программное обеспечение, которое позволяет производить оценку результатов испытуемого в соответствии с описанной моделью.
В тестирующей системе предусмотрено три пользователя: администратор, эксперт, тестируемый.
Диаграмма вариантов использования представлена на рисунке 3.
Администратор отвечает за управление пользователями и их правами доступа.
Эксперт наполняет базу, формируя тестовые задания.
Испытуемый выполняет различные тестовые задания и по окончании тестирования имеет возможность просмотреть свои результаты.
Диаграмма последовательности для блока проведения тестирования (блок 2 на рис. 1) разработанного программного обеспечения приведена на рисунке 4.
р ¿4
Jb [^2(x)] - Pin
Программа представляет собой web-приложение и разработана на языке Golang 1.10 в среде разработки GoLand 2017.3.2 от компании JetBrains. В качестве базы данных используется PostgreSQL 10.3. Frontend разработан с помощью Javascript библиотеки для создания пользовательских интерфейсов Vue.js версии 2.5.17. Написано около 2500 строк кода.
Golang обладает рядом преимуществ: кроссплатформенность, производительность и легкость в поддержке за счет низкого порога вхождения.
Vue.js обеспечивает быструю загрузку страниц за счет небольшого объема библиотеки, имеет хорошую полноценную документацию, что позволяет быстро изучить фреймворк и применить в проекте.
При первом входе в программу необходимо авторизоваться. Если пользователь еще не имеет созданного аккаунта, то необходимо зарегистрироваться. Самостоятельно можно создать только учетную запись с правами «Испытуемый». Для получения прав эксперта необходимо обратиться к администратору.
На рисунке 5 изображен интерфейс для входа в систему тестирования.
Рисунок 4 - Диаграмма последовательности для блока тестирования
Войти
Рисунок 5 - Окно авторизации
После успешного входа в систему пользователь с ролью «Испытуемый» может выбрать тест для прохождения (рис. 6). После выбора теста на экран выводится его краткое описание и количество вопросов тестовых заданий, из которых он состоит, и нормативное время, за которое он должен пройти весь тест.
Тестирование Тест по С+ +
Во время тестирования будет замеряться время, за которое Вы пройдете тест. В тесте 15 вопросов.
Начать тестирование
Рисунок 6 - Информация о тесте
После начала тестирования запускается таймер, который замеряет, сколько времени занимает у пользователя выполнение каждого задания и всего теста в целом.
Данная информация может быть использована при оценивании результатов тестирования с целью установить, насколько усвоен испытуемым тот или иной раздел, а также адекватно ли установлена для каждого вопроса его сложность.
Пользователю предлагается по очереди выполнить тестовые задания. Процесс тестирования в программе представлен на рисунке 7.
Рисунок 7 - Пример ТЗ 1-го типа (с выбором единственного ответа из числа предложенных)
После окончания тестирования пользователь может просмотреть результаты тестирования (рис. 8).
Тестирующая система Тестирование Результаты
Результаты пользователя к тесту: Тест по С+ +
Степень
Ответ Правильный правильности Затраченное Нормативное
№ Вопрос пользователя ответ ответа время (сек) время (сек)
1 Чтобы отменить неявные this this 1 20 120
вызовы конструктора,
нужно задать в заголовке
конструктора ключевое
слово:
2 Отметьте операции, operator|; operator!] 0.13 47 180
которые не запрещается operator!;
перегрузить как operatorQ;
операцию
индексирования:
3 Метод, с помощью FirstQ Firstfl 1 39 180
которого мох по получить значение первого элемента
Рисунок 8 - Результаты тестирования пользователя
На странице результатов тестирования пользователь может посмотреть список вопросов теста, ответы, которые были даны пользователем, и правильные ответы. Также пользователь может увидеть в таблице результатов степень правильности его ответов на каждый вопрос и затраченное и нормативное время.
Эксперту также доступна информация о результатах тестирования пользователей. Данная информация может помочь улучшить процесс обучения, увидеть, какие вопросы отняли больше всего времени пользователем на ответ и в каких наблюдаются ошибки.
Заключение. Таким образом, в работе предложена методика и реализующее ее программное обеспечение, позволяющее формализовать сведения при оценивании результатов тестовых заданий. Разработанное веб-приложение позволяет создавать тесты, проводить тестирование испытуемых и оценивать их с применением нечеткой модели.
Выдаваемые программой результаты позволяют оценить уровень усвоения испытуемыми материала по темам. Этому способствует выдача не только результатов выполнения тестовых заданий, но и отражение затраченного на выполнение каждого задания времени. Эта же информация может быть чрезвычайно полезна для корректировки учебного процесса с целью повышения его эффективности.
Более подробному исследованию данного вопроса авторы предполагают посвятить в дальнейшем отдельную статью.
Библиографический список
1. Авдеева З. К. Интегрированная система «КУРС» для когнитивного управления развитием ситуаций / З. К. Авдеева, В. И. Максимов, В. М. Рабинович // Тр. ИПУ РАН. - Москва : ИПУ РАН, 2001. - Т. 14. - С. 89-114.
2. Авдеева З. К. Когнитивное моделирование для решения задач управления слабоструктурированными системами (ситуациями) / З. К. Авдеева, С. В. Коврига, Д. И. Макаренко // Когнитивный анализ и управление развитием ситуаций (CASC'2006) : труды 6-й Международной конференции / под ред. З. К. Авдеевой, С. В. Ковриги. -Москва : Институт проблем управления РАН, 2006. - С. 41-54.
3. Ажмухамедов И. М. Математическая модель комплексной безопасности компьютерных систем и сетей на основе экспертных суждений / И. М. Ажмухамедов // Инфокоммуникационные технологии. - 2009. - Т. 7, № 4. -С. 103-107.
4. Ажмухамедов И. М. Нечеткая когнитивная модель оценки компетенций специалиста / И. М. Ажмухамедов // Вестник АГТУ. Серия: Управление, вычислительная техника и информатика. - 2011. - № 2. - С. 186-190.
5. Брумштейн Ю. М. Системный анализ вопросов компьютерного тестирования с использованием нечетких ответов. Часть 1. Тестовые задания категорий «выбор из набора ответов» и «ранжирование объектов» / Ю. М. Брумштейн, Д. И. Коновалова // Прикаспийский журнал: управление и высокие технологии. - 2018. - № 4. - С. 57-71.
6. Гаркуша В. З. Система дистанционного обучения «Прометей», версия 4.0 / В. З. Гаркуша, О. А. Богомолов //Телематика'2002 : труды Всероссийской научно-методической конференции. - Санкт-Петербург : СПбГИТМО, ГосНИИ ИТТ "Информика", 2002. - С. 264-265.
7. Данилова С. Д. Адаптивная нечеткая модель оценивания результатов автоматизированного тестирования с разделением заданий по уровням усвоения : дис. ... канд. техн. наук: 05.13.17 / С. Д. Данилова, 2005.
8. Коростелев Д. А. Система поддержки принятия решений на основе нечетких когнитивных моделей «ИГЛА» / Д. А. Коростелев, Д. Г. Лагерев, А. Г. Подвесовский // Труды 11-й нац. конф. по искусственному интеллекту с международным участием КИИ-2008. - 2008. - Т. 3. - С. 327-329.
9. Максимов В. И. Программный комплекс «Ситуация» для моделирования и решения слабоформализован-ных проблем / В. И. Максимов, А. К. Григорян, Е. К. Корноушенко // Междунар. конф. по проблемам управления. -1999. - Т. 2. - С. 58-65.
10. Орлов А. И. Теория принятия решений : учебник / А. И. Орлов. - Москва : Экзамен, 2006. - 573 с.
11. Поспелов Д. С. «Серые» и/или «черно-белые» [шкалы] / Д. С. Поспелов // Прикладная эргономика. Специальный выпуск «Рефлексивные процессы». - 1994. - № 1. - С. 26-39.
12. Фишберн П. Теория полезности для принятия решений / П. Фишберн. - Москва : Наука, 1978. - 155 с.
13. Чегодаев А. И. Математические методы анализа экспертных оценок / А. И. Чегодаев // Вестник Самарского государственного экономического университета. - 2010. - № 2. - С. 130-135.
14. Ярушкина Н. Г. Нечеткие гибридные системы. Теория и практика / Н. Г. Ярушкина. - Москва : Физмат-лит, 2007. - 208 с.
15. Biswas R. An application of fuzzy sets in students' evaluation / R. Biswas // Fuzzy Sets and Systems. -1995. -№ 74 (2). - Р. 187-194.
16. Feden P. D. Methods of teaching. Applying cognitive science to promote student learning / P. D. Feden, R. M. Vogel. - New York : Mc Graw-Hill, 2003. - Р. 257-302.
17. Piegat Andrzej. Fuzzy Modeling and Control: with 96 tables / Andrzej Piegat. - Heidelberg ; New York : Phys-ica-Verl., 2001.
18. Zadeh L. A. Fuzzy sets / L. A. Zadeh // Information and Control. - 1965. - № 8. - Р. 338-353.
References
1. Avdeeva Z. K., Maksimov V. I., Rabinovich V. M. Integrirovannaya sistema «KURS» dlya kognitivnogo up-ravleniya razvitiem situatsii [Integrated system "COURSE" for cognitive management of situation development]. Trudy Insti-tuta problema upravleniya Rossiyskoy akademii nauk [Institute of Control Sciences of Russian Academy of Sciences]. Moscow, IPU RAN. 2001, vol. 14, pp. 89-114.
2. Avdeeva Z. K., Kovriga S. V., Makarenko D. I. Kognitivnoe modelirovanie dlya resheniya zadach upravleniya slabostrukturirovannymi sistemami (situatsiyami) [Cognitive modeling for solving problems of weakly structured systems (situations)]. Kognitivnyy analiz i upravlenie razvitiem situatsii (CASC'2006) : trudy 6-i Mezhdunarodnoy konferentsii [Cognitive analysis and management of the development of situations (CASC'2006) : Proceedings of the 6th International Conference]. Moscow, Institute of Control Sciences of Russian Academy of Sciences Publ., 2006, pp. 41-54.
3. Azhmukhamedov I. M. Matematicheskaya model kompleksnoy bezopasnosti kompyuternykh sistem i setey na osnove ekspertnykh suzhdeniy [Mathematical model of integrated security of computer systems and networks based on expert judgments]. Infokommunikatsionnye tekhnologii [Infocommunication Technologies], 2009, vol. 7, no. 4, pp. 103-107.
4. Azhmukhamedov I. M. Nechetkaya kognitivnaya model otsenki kompetentsii spetsialista [Fuzzy cognitive model of specialist competency assessment]. VestnikAGTU. Seriya: Upravlenie, vychislitelnaya tekhnika i informatika [Bulletin of Astrakhan State Technical University. Series: Management, Computer Engineering, and Computer Science], 2011. no. 2, pp. 186-190.
5. Brumshteyn Yu. M., Konovalova D. I. Sistemnyy analiz voprosov kompyuternogo testirovaniya s ispolzovaniyem nechetkikh otvetov. Chast 1. Testovyye zadaniya kategoriy «vybor iz nabora otvetov» i «ranzhirovaniye obyektov» [System analysis of computer testing questions using fuzzy answers. Part 1. Test tasks of the categories "choice from a set of answers" and "ranking of objects"]. Prikaspiyskiy zhurnal: upravleniye i vysokiye tekhnologii [Caspian Journal: Management and High Technologies], 2018, no. 4, pp. 57-71.
6. Garkusha V Z., Bogomolov O. A. Sistema distantsionnogo obucheniya «Prometey», versiya 4.0 [Distance learning system "Prometheus", version 4.0]. Telematika'2002 : Trudy Vserossiyskoy nauchno-metodicheskoy konferentsii [Telematics'2002 : Proceedings of the All-Russian Scientific and Methodological Conference]. St. Petersburg, 2002, pp. 264265.
7. Danilova S. D. Adaptivnaya nechetkaya model otsenivaniya rezultatov avtomatizirovannogo testirovaniya s razdeleniem zadaniy po urovniam usvoeniya [Adaptive fuzzy model for evaluating the results of automated testing with the division of tasks by levels of learning], 2005.
8. Korostelev D. A., Lagerev D. G., Podvesovskiy A. G. Sistema podderzhki priniatiya resheniy na osnove nechetkikh kognitivnykh modeley «IGLA» [Decision support system based on fuzzy cognitive models of "NEEDLE"]. Trudy 11-i natsionalnoy konferentsii po iskusstvennomu intellektu s mezhdunarodnym uchastiem KII-2008 [Proceedings of the 11th National Conference on Artificial Intelligence with International Participation KII-2008], 2008, vol. 3, pp. 327-329.
9. Maksimov V. I., Grigorian A. K., Kornoushenko E. K. Programmnyy kompleks «Situatsiya» dlya modelirovaniya i resheniya slaboformalizovannykh problem [The program complex "Situation" for modeling and solving weakly formalized problems]. Mezhdunarodnaya konferentsia po problemam upravleniya [International conference on management issues], 1999, vol. 2, pp. 58-65.
10. Orlov A. I. Teoriya prinyatiya resheniy : uchebnik [Decision Theory : textbook]. Moscow, Ekzamen Publ., 2006. 573 p.
11. Pospelov D. S. «Serye» i/ili «cherno-belye» [shkaly] ["Gray" and / or "black and white"]. Prikladnaya ergonomika. Spetsialnyy vypusk «Refleksivnye protsessy» [Applied Ergonomics. Special issue "Reflexive processes"], 1994, no. 1, pp. 26-39.
12. Fishbern P. Teoriyapoleznosti dyapriniatiya resheniy [Theory of utility for decision making]. Moscow, Nauka Publ., 1978. 155 p.
