CC BY
8УДК [004.9+ 004.021]:[378.146+373.1]
СИСТЕМНЫЙ АНАЛИЗ ТЕХНОЛОГИЙ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ С ИСПОЛЬЗОВАНИЕМ НЕЧЕТКИХ ОТВЕТОВ.
Часть 2. Тестовые задания категорий «на установление соответствия объектов» и «со свободным вводом ответов»
Статья поступила в редакцию 30.12.2018, в окончательном варианте — 11.03.2019.
Брумштейн Юрий Моисеевич Астраханский государственный университет, 414056, Российская Федерация, г. Астрахань, ул. Татищева, 20а,
кандидат технических наук, доцент, ORCID http://orcid.org/0000-0002-0016-7295, https ://elibrary. ru/author_profile.asp?authorid=280533, e-mail : brum2003@mail.ru
Коновалова Дарья Игоревна, Астраханский государственный университет, 414056, Российская Федерация, г. Астрахань, ул. Татищева, 20а,
студент, ORCID 0000-0002-8348-0171, e-mail: haizbq@gmail.com
Для категории тестовых заданий «на установление связей между предъявленными объектами» рассмотрено следующее. А. Виды связей между объектами: «один к одному»; «один ко многим»; «многие ко многим»; «смешанные». Б. Пять подкатегорий заданий с вариантами реализации для четких и нечетких ответов: б!) тестируемый задает «степени уверенности выбора» (в %) для выбираемых им связей между парами объектов; б2) выбираются связи между объектами и указываются оценки «сил этих связей», но без «знаков» и «направлений влияния». «Знаки» могут отражать «положительные» или «отрицательные» влияния объектов, а «направления» - указывать, какой из объектов в паре влияет на другой; б3) выбираются связи, для них указываются «знаки» и «направления» влияния (односторонние и/или двусторонние), но не «силы влияния»; б4) для выбираемых связей задаются «направления» и «знаки» влияния (допускаются двусторонние асимметричные связи); б5) выбираются связи между объектами, задаются «направления» и «силы влияния со знаками». Подкатегории «б4» и «б5» по идеологии близки к «когнитивным диаграммам». Для б^б5 рассмотрены варианты предъявления «объектов для связывания»; задания связей между объектами, в том числе путем «прочерчивания линий»; указания «уверенности в наличии связей» или «сил связей»; алгоритмы обработки ответов тестируемых по совокупности выбранных связей и их характеристик. Показано, что задания «на группировку объектов» могут рассматриваться как особый класс заданий. Для категории тестовых заданий «со свободным вводом ответов» рассмотрены подкатегории: 1) с дополнением информации, размещенной в поле ввода ответа; 2) с корректировкой (изменением) этой информации; 3) с вводом ответа в пустое поле: только текста, одного числа, двух и более чисел; текста + число (или чисел). Для четких и нечетких ответов рассмотрены особенности формулирования вопросов; принципы алгоритмической и программной обработки ответов. Приведены примеры интерфейсов реализации тестовых заданий.
Ключевые слова: информационные технологии, компьютерное тестирование, виды тестовых заданий, задания на выбор соответствия объектов, задания со свободным вводом ответов, четкие ответы, нечеткие ответы, методы оценивания ответов, адаптивное тестирование, программные средства
SYSTEM ANALYSIS of COMPUTER TESTING TECHNOLOGIES WITH ILLEGIBLE ANSWERS USING.
Part 2. Test tasks of categories "establishment of objects conformity " and "free answers input"
The article was received by editorial board on 30.12.2018, in the final version — 11.03.2019.
Brumshteyn Yuri M., Astrakhan State University, 20a Tatishchev St., Astrakhan, 414056, Russian Federation,
Cand. Sci. (Engineering), Associate Professor, ORCID http://orcid.org/0000-0002-0016-7295, https ://elibrary. ru/author_profile.asp?authorid=280533, e-mail : brum2003@mail.ru
Konovalova Daria I., Astrakhan State University, 20a Tatishchev St., Astrakhan, 414056, Russian Federation,
student, ORCID 0000-0002-8348-0171, e-mail: haizbq@gmail.com
For the test tasks category "on connection establishment between the shown objects" the following is considered. A. Types of connections between objects: "one to one"; "one to many"; "many to many"; "mixed". B. Five subcategories of tasks with realization options for legible and illegible answers: b^ tested person "degrees of choice confidence" (in %) for the chosen connections between couples of objects; b2) connections between objects are chosen and "their forces" are estimated, but without "signs" and "directions of influence". "Signs" can reflect "positive" or "negative" influences of objects. "Directions" can indicate which object in each couple influence at another; b3) connections are chosen and their «signs" and "directions" of influence (unilateral and/or bilateral), but not "influence forces" are specified for them; b4) for the chosen connections "directions" and "signs" of influence are set (bilateral asymmetric ties are allowed); b5) connections between objects are chosen, "directions" and "influence forces with signs" are set. Subcategories "b4" and "b5" on their ideology are close to "cognitive
charts". For b1-b5 authors are considered presentation options of "objects for binding"; tasks of communications between objects, including "drawing lines"; instructions "confidence available communications" or "forces of communications"; algorithms of tested people's answers processing of the chosen connections and their characteristics. It is shown that tasks on "objects grouping" can be considered as special class of tasks. For test tasks, belonged to category "with free input of answers" such subcategories are considered: 1) with addition of information, placed in the "entry field" for the answer; 2) with updating (change) of this information; 3) with the answer input to the empty field: only the text, one number, two or more numbers; text + number (or numbers). For legible and illegible answers authors are considered features of questions formulation; principles of algorithmic and program answers processing. Examples of tasks interfaces realization are given.
Key words: information technologies, computer testing, types of test tasks, tasks for the choice of objects conformity, tasks with free input of answers, definite answers, indistinct answers, methods of answers estimation, adaptive testing, software
Graphical annotation (Графическая аннотация)
Введение. В настоящее время в России компьютерное тестирование знаний (КТЗ) широко применяется в различных целях, в том числе в системах контроля самоподготовки обучающихся лиц [8], для оперативного контроля процесса обучения, при обучающем тестировании [21]. При этом традиционно используется четыре основных типа тестовых заданий (ТЗ) [1, 11, 26], причем для всех типов абсолютно преобладают варианты ТЗ с «четкими ответами» [4, 5]. Именно для таких ответов разработаны методы оценки самих ТЗ [12]; оценки результатов тестирования [22], в том числе и «нечеткого» оценивания [14].
Хотя в отношении ТЗ с «нечеткими ответами» в литературе и имеется ряд публикаций [9, 15, 19, 27], но в них не рассматривается целый ряд практически важных вопросов, связанных технологиями предъявления тестируемым лицам контрольных материалов; методами получения ответов от тестируемых лиц; математической обработки ответов. Недостаточная разработанность «практических вопросов» использования «ТЗ с нечеткими ответами» тормозит их включение в компьютерные системы контроля знаний, использование в образовательном процессе [1]. Также недостаточно полно рассмотрены технологические вопросы использования в ТЗ «графических и «аудиовизуальных объектов» [16], в том числе выполнения манипуляций с такими объектами при формировании ответов на ТЗ. Тематика, связанная с применением «графических объектов» в ТЗ с нечеткими ответами, в литературе не исследована вообще.
Поэтому целью данной статьи, являющейся продолжением [4], является анализ практических вопросов использования ТЗ с нечеткими ответами для двух категорий: на установление соответствия предъявленных объектов [23]; со свободным вводом ответов [10]. Для каждой из этих двух категорий выделены подкатегории и для них исследован комплекс вопросов методического и технологического характера, связанных с практической реализацией компьютерного тестирования. Рассматриваемый материал проиллюстрирован рядом конкретных примеров, относящихся к сфере «Информатика и вычислительная техника».
Общая характеристика проблематики статьи. В рамках создания тестов рассматриваемые в данной статье категории ТЗ могут комбинироваться друг с другом и с двумя другими категориями заданий, исследованными в предыдущей работе [4]. Сразу же укажем, что использование ТЗ с нечеткими ответами обычно требует от тестируемых лиц большего времени для принятия решений и выполнения соответствующих действий, чем для ТЗ с четкими ответами. Однако и методические возможности для ТЗ с нечеткими ответами значительно шире.
При одновременном тестировании группы лиц с целью повышения вариативности рассматриваемых в данной статье категории заданий может проводиться автоматическая генерация некоторых параметров ТЗ - в особенности в заданиях расчетного характера. Для этой цели могут применяться, в частности, программные генераторы случайных чисел, а также соответствующие «штатные» средства MS Excel [25].
Порядок предъявления ТЗ в рамках выполнения тестирования может иметь такие же варианты, как описано в предыдущей работе [4]. Существенно, что для двух категорий ТЗ, рассматриваемых в данной статье, методы оценивания нечетких ответов имеют значительные особенности.
Применение в ТЗ графических объектов не является самоцелью. Однако во многих случаях оно способно значительно расширить методические возможности использования заданий. Кроме того, представляют интерес практические методы (приемы) использования манипулятора мышь для графического представления ответов на ТЗ тех двух категорий, которые рассматриваются в данной статье.
Обычной практикой при тестировании является передача тестируемому лицу информации путем ее отображения на экране. При этом могут быть использованы текстовые сообщения, числовой материал, графические объекты в виде статической и динамической графики. Однако в некоторых специальных случаях может быть оправданным и передача тестируемому лицу вопросов ТЗ, указаний и пр. с помощью «синтезированной речи», а также получения от него ответов в «речевой форме» [17]. Это касается, в частности, контрольно-обучающих систем. Например, неверные действия тестируемых лиц уже при подготовке ответов на отдельные ТЗ могут выявляться программными средствами и сразу же «комментироваться вслух» с использованием «синтезированной речи» или заранее записанных в базу данных слов и/или выражений. Кроме того, прием и передача речевой информации может быть важна для лиц с ограниченными возможностями по зрению.
Как и в предыдущей работе [4], мы для простоты не рассматриваем вопросы управления продолжительностью ответов тестируемых на отдельные ТЗ и на тест в целом.
Тестовые задания на «выбор соответствия предложенных объектов». Эту категорию ТЗ принято относить к группе заданий закрытого типа [23], поскольку тестируемый «оперирует» только с теми объектами, которые ему предъявляются.
Подход на основе четкой логики. Обычно в этом случае испытуемому предъявляются два списка объектов в виде их текстовых названий. Эти списки могут быть показаны, например, в левой и правой частях экрана, причем для «правого» списка указываются порядковые номера объектов. Для каждого из объектов в «левом» списке тестируемый должен в специальных окошках указать соответствующие им объекты в «правом» списке (в виде их номеров).
В типичных случаях сопоставление (связывание) объектов в левом и правом списках осуществляется тестируемым по схеме «один к одному». При этом «усложняющим фактором» может быть неравенство количеств объектов в двух предъявляемых списках. Если в левом списке объектов больше, то один или большее их количество не будут сопоставлены никаким объектам в правом списке. И, наоборот, если в правом списке больше объектов, то один или большее количество из них не будут ничему сопоставлены в левом списке.
В более общем случае каждому объекту в «левом» списке могут быть сопоставлены «ноль», «один» или большее количество объектов в «правом» списке. При этом могут использоваться такие типы связей из объектов левого списка к объектам правого списка: «один к одному», «один ко многим»; «многие к одному». При одновременном наличии связей двух последних типов можно говорить о том, что для двух списков имеют место связи типа «многие ко многим».
Если в ТЗ предусматривается графический интерфейс, то вместо ввода номеров объектов в специальные окошки (см. выше) можно реализовать «прочерчивание» связей между «элементами списков» с помощью курсора мыши.
Укажите разработчиков тех языков программирования,
которые показаны в левой колонке
Python ) О Лидере Хейлсберг
С++О. \ G JetBrains ч J£) Microsoft
Java " > о Джеймс Гослинг
С#0 £ Бьерн Страуструп
rv Kotlin $ Гвидо ван Россум
Никлаус Вирт
Delphi О Деннис Ритчи
Рисунок 1 - Пример тестового задания на выбор соответствия объектов в двух представленных списках
При этом практическую сложность будет представлять автоматическая смена «видов линий» при связывании различных объектов (это целесообразно для обеспечения зрительного различения пересекающихся линий). Дифференциация «вида линий» особенно полезна при большом количестве связей между объектами. При этом для «группы связей» типа «один ко многим» и «многие к одному» целесообразно использовать одинаковые «виды линий».
Для дифференциации «видов линий» может быть использовано изменение их толщин, видов линий (сплошная, пунктирная, штрих-пунктирная и т.д.), цветов.
«Прочерчивание связей» между объектами более наглядно по сравнению с вводом «номеров сопоставляемых объектов». Поэтому такую технологию задания связей можно даже использовать даже при тестировании младших школьников.
Предполагается, что все указываемые связи являются «четкими», т.е. тестируемый либо указывает какие-то связи, либо не указывает - если считает, что их нет.
В техническом плане «прочерчивания» связей можно осуществить так: нажать левую кнопку мыши в «начальной точке» (на первом связываемом объекте); не отпуская кнопку, переместить курсор ко второму связываемому объекту (при этом в процессе перемещения курсора на мониторе ПЭВМ появляется линия); отпустить кнопку в конечной точке (на втором связываемом объекте).
В программно-техническом отношении сопоставление прочерчиваемых связей с объектами может осуществляться исходя из положений точек «начала» и «конца» каждой задаваемой связи. Если эти точки попадают в прямоугольники, сопоставленные связываемым объектом, то связь считается заданной, и она начинает отображаться на мониторе ПЭВМ. Удаление связи может быть реализовано, например, двойным щелчком мышью на соединительной линии.
Есть также более наглядный вариант реализации рассматриваемой категории ТЗ - вместо списков объектов на экране ПЭВМ представляются их изображения в виде иконок. При этом установление связей по-прежнему предполагается в виде прочерчивания линий между объектами - в данном случае графическими.
Сопоставьте иконку в левой части экрана с
названием операционной системы в правой части
Л ч (г) \Л/тс1о\л/5
а о в ЮБ
ЩЦ ° Л С> \ ^Э МасСб
« о \ О Апс)го1с1
¿4 ° 0 О © 1_тих
Рисунок 2 - Пример использования иконок (пиктограмм) в тестовых заданиях на установление соответствия объектов
В простейшем случае оценка в баллах за ответ на /-й ТЗ данной категории (В/) может осуществляться на основе формул типа (1):
Вг = Щ Ц , (1)
где - весовой коэффициент для ТЗ, определяющий уровень его сложности; Ц = 1 - если тестируемый указал те и только те связи, которые включены в «эталон ответа на ТЗ», по которому осуществляется проверка; Ц = 0 - если тестируемый не указал часть связей, предусмотренных в этом эталоне, и/или указал те связи, которых в этом эталоне нет.
Из-за большого количества потенциально возможных связей в рассматриваемой категории ТЗ вероятность случайного правильного ответа, оцениваемого на основании формулы (1), обычно не высокая.
Некоторым обобщением описанного варианта ТЗ может быть использование не двух, а большего количества групп объектов, причем для каждого из объектов одной группы могут указываться связи с любыми объектами других групп, но не с объектами в «своей» группе. В частном случае в некоторых из таких групп может быть только по одному объекту. При этом оценка ответа на ТЗ в рамках четкой логики может осуществляться аналогично тому, что сказано выше - если не указана хотя бы одна «правильная» связь или указана хотя бы одна неправильная (не предусмотренная в эталоне ответа), то за ТЗ засчитывается «ноль» баллов.
Представляется, что при большом количестве объектов, между которыми потенциально могут существовать связи, такое «бинарное» оценивание результатов ТЗ (правильно или не правильно) может быть чересчур «жестким». Причина - единственная ошибка, допущенная тестируемым, приводит к получению нулевого количества баллов за весь ТЗ. Кроме того, наличие некоторых связей в ряде случаев может носить «дискуссионный характер». Например, могут быть относительно редкие ситуации, в которых указание связей, не предусмотренных в «эталонах ответов», может считаться оправданным.
Подходы на основе ответов с «нечетким оцениванием» для данной категории ТЗ позволяют более объективно (а в некоторых случаях и более комплексно) оценить знания обучающихся. Такие подходы могут рассматриваться по трем направлениям.
1. Для связей не используются никакие дополнительные характеристики. Осуществляется «частичный зачет» баллов за ТЗ. При этом в простейшем случае может быть использована формула
вг = Щ (к*те / КШа1), (2)
где Щ - весовой коэффициент для ТЗ (как и ранее определяющий его сложность); Кгие - количество
правильно указанных тестируемым лицом связей; КЫа1 - общее количество связей, которые включены в «эталон ответа на 1-й ТЗ» в качестве «правильных».
Однако в (2) вообще не учитывается количество неверно указанных связей, что является недостатком подхода. Поэтому представляется более оправданным использование формулы
вг = щ ¡^ГкГ - Лип'гиеКип'гие)/), (3)
где КI , Кип'гив - соответственно количества «правильно» и «неправильно» выбранных тестируемым лицом связей для объектов, предъявленных в /-м ТЗ; КЫа1 - количество «правильных» связей, включенных в «эталон» ответа для /-го ТЗ; ,хип'те - весовые коэффициенты для «верных» и «неверных» связей в /-м ТЗ.
В (3) обычно целесообразно принять:
е = 1, Хипгии > 1. (4)
При использовании (4) ошибочно указанные для ТЗ связи расцениваются «более негативно», чем не полностью выбранные «правильные» связи.
В случае использования (4), если тестируемый выбрал не все правильные связи и не выбрал ни одной неправильной, то формула (3) превращается в (2).
Для упрощения использования формулы (3) можно значения Л!/гие ,хип'те для всех ТЗ выбирать одинаковыми. Однако это априорно несколько снижает возможности дифференцированного учета ответов по различным ТЗ.
2. Тестируемый не только задает связи между объектами, но и указывает для каждой связи «степень уверенности» в том, что такая связь действительно есть.
При этом прочерчивание связей между объектами в левой и правой частях рисунка целесообразно выполнять с помощью курсора; дифференцировать линии (при необходимости) можно с помощью выбора «типа» линий (сплошная, пунктирная, штрих-пунктирная и пр.); «степень уверенности» в отношении наличия связи (%) - при помощи числа, отображаемого около связи.
С помощью каких устройств, размещенных слева можно считать информацию с накопителей,
размещенных г правой части рисунка
■ тол щи ны «л и н и й свягн» отражают остепени уверенности» в наличии таких свлгви:;
Фл эш -н а ко п ите л ь
CD-ROM диск
DVD-ROM диск
Флоппи-диск 3.5"
Дискета ZIP Iomega 100Mb
Перфокарта
Терминальная станция
Внешний жесткий диск
Рисунок 3 - Пример не полностью введенного ответа по ТЗ, предусматривающего указание связей объектов друг с другом с использованием «нечетких ответов»
Для наглядного представления «степеней уверенности» в наличии связей с помощью «толщин линий» связи можно использовать «шкалу соответствия» - например, представленную в таблице. При этом синий цвет в ТЗ будет соответствовать заданию параметров «степеней уверенности» в наличии связей).
Таблица - Пример соответствия «толщин линий» и «степеней уверенности» в наличии связей
Толщина линии Внешний вид линии Степень уверенности в наличии связи между объектами (%)
0,25 пункта 5
0,5 пункта 10
1 пункт 20
2 пункта 40
3 пункта 60
4 пункта 80
5 пунктов 100
Тогда задание «степеней уверенности» в наличии связей можно реализовать путем щелчка правой кнопкой мыши на каждой уже заданной связи и последующего установления для этой связи толщины линии, соответствующей «степени уверенности».
g MacOS
i
¿UifM
£13101 m
Yk
ъ
10 20 40 60 во
100
Рисунок 4 - Представление «степеней уверенности» в наличии связей между объектами с помощью толщин линий синего цвета, задающих эти связи
3. Вариант, более близкий к реальным условиям принятия решений. Тестируемый уверен, что задаваемая им связь наверняка есть (т.е. вероятность ее существования 100 %) и дополнительно указывает/оценивает «силу такой связи». При этом тестируемый может ограничиваться лишь достаточно «сильными» (с его точки зрения) связями.
В техническом плане задание «сил связей» можно реализовать аналогично тому, как это делалось ранее для «степеней уверенности» в наличии связей. При этом можно использовать «градации», соответствующие таким вербальным оценкам сил связей: «очень сильная»; «сильная»; «средней силы»; «ниже среднего уровня»; «слабая»; «очень слабая». Тогда (в отличие от таблицы) необходимо использовать набор из шести толщин линий красного цвета (этот цвет мы «закрепляем» за представлением «сил связей»). Соответственно в выпадающем списке (рис. 5) будет шесть объектов для выбора.
jf MacOS
t
b
■ -ж
= Гцлцкто
Qjrprtoi
g &FW»
Vei
0rS 1 2 г
4
5
Рисунок 5 - Задание «сил связей» с помощью толщин линий красного цвета, соответствующих этим связям
Для простоты далее будем считать, что силы связей оцениваются «по модулю», т.е. не дифференцируются «позитивные» и «негативные» связи между объектами. Данный подход можно считать упрощенным по отношению к «когнитивным моделям» [13]).
Переходим к вопросам обработки ответа тестируемого лица по пункту «в». Примем, что для всех предъявленных в /-м ТЗ объектов задана «эталонная» квадратная матрица «сил связей», которая должна быть по мнению разработчика ТЗ. В ее клетках размещены «правильные» количественные оценки «сил связей» по модулю. Обозначим эту матрицу как [^п1п2 ]п1= Мп2= т, где N1 - размерность матрицы, равная общему количеству предъявленных объектов.
Подчеркнем, что часть элементов этой матрицы изначально предполагается нулевой, т.е. соответствующие связи отсутствуют. Это касается отсутствия как внутригрупповых связей (например, между объектами, размещенными в правой части экрана), так и межгрупповых - т.е. между объектами, расположенными в левой и правой частях экрана.
Поскольку направления влияния объектов друг на друга не учитываются, то матрица является симметричной и, следовательно, можно работать только с ее «нижним» или «верхним» треугольником.
Оценки тестируемым лицом «сил связей» между предъявленными объектами будем считать заданными в виде элементов матрицы [Fn1n2 ]n1=, Mn2=, N1. Построим матрицу модулей разностей (difference) [D] между «эталонными» оценками для ТЗ и «фактическими» оценками тестируемого лица. При этом будем использовать поэлементное вычитание величин в этих матрицах, т.е.
d , 2 = IF 2-e, 2. (5)
n1,n2 | n1,n2 n1,n2| V-V
Тогда оценка по результатам выполнения г-го ТЗ может быть дана на основании «верхнего треугольника» матрицы [d]
( N1 N1 Л
B = W
/ K ( E) (6)
X X Dn1,n2
V n1=1n2=n1+1 ,
где K(E) - количество ненулевых элементов в верхнем треугольнике матрицы [e] . Использование предложенной нормировки в формуле (6) позволяет накапливать в сумматоре по тесту баллы по ТЗ, с разными количествами предъявленных объектов.
Обобщение описанного подхода возможно в различных направлениях.
А. Использование в формуле (5) не модуля, а величины «разницы со знаком». Соответственно в (6) может быть выполнен дифференцированный (с разными весовыми коэффициентами) учет положительных и отрицательных членов в матрице [D].
Б. Различный учет «положительных» и «отрицательных» направлений влияния объектов друга на друга (это уже будет соответствовать «ориентированным связям» между объектами). Отметим, что в этом случае связи могут быть и двусторонними, что потребует использования «полных» матриц [f ], [e] - вместо их нижних треугольников.
Тестовые задания на «группировку предложенных объектов». В рамках четкой логики для каждого из предложенных объектов может быть указана его принадлежность к «одной и только одной» из групп:
а) в простейшем случае количество объектов, которые должны быть сопоставлены группам, и количество групп равны. При этом каждый из предъявленных объектов соответствует одной и только одной из групп. Однако возможны и иные варианты;
б) количество предъявленных объектов больше, чем количество групп. При этом в некоторые контейнеры предполагается перетаскивание копий нескольких разных объектов-оригиналов. Таким образом, некоторые контейнеры в момент окончания формирования ответа на ТЗ могут содержать более одной копии объектов;
в) часть предъявленных объектов не соответствуют ни одной из предъявленных групп. Поэтому их копии перетаскивать не надо.
г) для одной или большего количества групп нет соответствующих им объектов. В этом случае некоторые контейнеры останутся пустыми.
В случае использования графического интерфейса ТЗ такого типа группировку целесообразно делать путем «перетаскивания» предъявленных «графических объектов» в некоторые «контейнеры», соответствующие группам. Объекты, предназначенные для группировки, можно расположить в нижней части экрана, а «контейнеры» - в верхней части экрана. Задания такого типа могут выполнять даже младшие школьники, в том числе еще не умеющие писать и работать с числами.
Технология «перетаскивания» («Drag and Drop») включает следующие действия: навести курсор на объект, который необходимо перетащить; нажать левую кнопку мыши; перемещать курсор в направлении необходимого контейнера (при этом копия выбранного объекта будет перемещаться вместе с курсором); после достижения курсором контейнера отпустить левую кнопку мыши.
Рисунок 6 - Иллюстрация к процессу «перетаскивания» копий объектов, показывающих «части устройств», в контейнеры (прямоугольники), соответствующие этим устройствам. Предъявленное сочетание объектов и устройств (групп устройств) относится к пункту «б», рассмотренному выше
Фактически данная категория ТЗ может рассматриваться как частный случай категории ТЗ «на установление соответствия» при использовании потенциально возможных связей типа «каждый объект с каждым контейнером». Разница состоит в том, что связь задается не прочерчиванием линии, а путем перемещения объекта (это более наглядно).
В случае четкой логики отметим следующее: один предъявленный объект может быть перемещен в «один и только один» контейнер; Bi = Wi должна начисляться только при правильной группировке (классификации) всех предъявленных объектов.
Использование нечеткой логики для этой категории ТЗ сложнее и в техническом плане, и в «логико-расчетном». Для определенности будем по-прежнему считать, что для каждого из предъявленных объектов необходимо установить их соответствие заданным группам (контейнерам).
Вариант 1. Все или некоторые из предъявленных объектов могут одновременно относиться к разным группам. При этом «степени (доли) такой принадлежности» в данном варианте мы не учитываем. Тестируемый должен перетаскивать в контейнеры «копии» объектов, а сами объекты-оригиналы должны оставаться на месте. В случае если тестируемый не предполагает в дальнейшем перемещать копии заданных объектов, он может навести курсор на соответствующий объект внизу, щелкнуть на нем правой кнопкой мыши; подтвердить его удаление из набора иконок в нижней части экрана.
С расчетной точки зрения «вариант 1» обладает меньшей «дифференцирующей способностью» в отношении оценки знаний тестируемых по сравнению с альтернативным «вариантом 2», рассматриваемым далее.
Вариант 2. Дополнительно к «варианту 1» по каждому предъявленному объекту задаются «степени принадлежности» к группам. В этом случае целесообразно не перетаскивать копии объектов, а «прочерчивать» связи между объектами и группами; затем указывать для каждой связи «степени принадлежности» (в числовой форме, а также наглядно - с помощью толщин линий).
В содержательном плане термин «степень принадлежности» может быть интерпретирован как «процент устройств определенной группы, в которых используется конкретный объект». Например, «винчестеры» (HDD или SDD) используются в 100 % системных блоков ПЭВМ, а в плоттерах они являются «опциональными» устройствами.
Поэтому в общем случае сумма «оценок принадлежности» для некоторых предъявленных объектов может отличаться от 100 % - как в меньшую сторону, так и большую.
Задания в форме «варианта 2» менее наглядны и обычно доступны для выполнения только школьникам среднего и старшего возраста, студентам вузов. Обработка результатов указанных ТЗ возможна на основе «эталонной» [Ej1=i..jvi,«2=i..jv2 J и «фактической» [^„*i=i...Ni,„2=i...N2 J матриц группировок. При этом существенно следующее: обе матрицы могут содержать только «0» и «1»; возможны ненулевые элементы с «n1 = п2», так как «группируемые объекты» и «контейнеры» имеют независимую друг от друга нумерацию.
В отличие от алгоритма, описываемого формулами (5) и (6), в данном случае необходимо использовать «полные прямоугольные матрицы». Поэтому аналогом (5) будет
D„i,n2 = |Fn1,n2 - En1,n2 , (7)
а аналогом (6)
( N1 N 2 Л
B = W X X D*i, n2 / K(E*\ (8)
V n1=1n2=1 у
где K(E ) - общее количество ненулевых элементов в «эталонной матрице» [e* ].
Для категории тестовых заданий «со свободным вводом ответов» (или «открытого типа» [1]) в общем случае можно выделить несколько подкатегорий.
Подкатегория А. Дополнение текста ответа (предъявленного тестируемому лицу): в виде слова, совокупности слов, одного числа или интервала чисел. Дополнение может «вставляться» в начале, в середине или в конце предъявленного текста. Единственное место вставки «дополнения» обычно показывается с помощью многоточия. Само «содержание дополнения» обычно вводится с клавиатуры.
В рамках использования четкой логики необходимо проверить, что содержание дополнения соответствует одному из вариантов, предусмотренных в «эталоне» для ТЗ (или единственному предусмотренному варианту). При этом для оценки ответа используется формула типа (1), т.е. баллы за ТЗ либо начисляются (если ответ верен), либо не начисляются (в случае неверного ответа). При наличии «опечаток» в ответах они будут оцениваться программными средствами тестирования как неверные.
Особые случаи. 1. Использование альтернативных вариантов мест вставки дополнений (в частности, символа «запятая»), что будет приводить к разным смыслам фраз. Например, в ТЗ задаются фактические технические характеристики «накопителя типа HDD», а затем во фразу «Списать нельзя эксплуатировать» предлагается вставить запятую на необходимое место.
2. Использование в ТЗ данной подкатегории нескольких вариантов предлагаемых (предопределенных) ответов фактически будет соответствовать ТЗ 1-го типа. Однако особым случаем может быть необходимость модификации предлагаемых ответов при вставке (в этом случае предлагаемые ответы могут рассматриваться как некоторые «подсказки»). Например, на выбор предлагаются «дополнения» для фразы «Для работ по переносу графических файлов в количестве 200-500 единиц и объемом 20-80 Мб каждый целесообразно использовать ...». При этом в качестве предлагаемых ответов могут быть представлены «Флэш-накопители объемом ...»; «Внешние жесткие диски объемом ....»; «Флэш-карты объемом ...». В этом случае тестируемый должен не только выбрать оптимальный тип накопителя, но и указать его номинальную емкость с учетом реальных емкостей устройств, предлагаемых на рынке.
Подкатегория Б. Дополнение рисунка путем «перетаскивания» одного или большего количества предъявленных на экране графических объектов в необходимое место (места) рисунка. Например, в качестве рисунка может быть предъявлено изображение материнской платы (вид сверху), а в качестве объектов для «перетаскивания»: видеокарты; плашки оперативной памяти; микросхемы процессоров (рис. 7). При этом для конкретной материнской платы подходить может только часть объектов одного функционального назначения.
При использовании нечеткой логики в случае нескольких допустимых вариантов ответов по ТЗ для каждого из них может предусматриваться начисление разного количества баллов (в зависимости от «степени их правильности»). При этом для ответов в виде текстовых «дополнений» в общем случае могут использоваться не только «положительные количества» баллов (для полностью или частично правильных), но и «отрицательные» (для грубо ошибочных ответов).
Рисунок 7 - Иллюстративный пример для ТЗ, предусматривающего размещение предъявленных объектов в соответствующих местах материнской платы ПЭВМ (иконка процессора находится в «стадии перетаскивания» при помощи курсора)
Подкатегория В. Ввод чисел в «свободное поле» ответа [3] или в поле для «числового дополнения» предложенного ответа, начисленные за ТЗ баллы могут определяться с использованием «штрафной функции». На основе ее значений уменьшается максимальное количество баллов, предусмотренное для ТЗ рассматриваемой категории. При этом в общем случае значение штрафной функции может нелинейно зависеть от величин отклонений введенных фактических значений от эталонных. Приведем примеры.
1. Используется единственное эталонное значение, а штрафная функция вычисляется исходя из значения «квадрата отклонения» фактически введенного значения от эталонного.
2. Также используется единственное эталонное значение, но при расчете штрафной функции учитывается «направление» отклонения фактического значения от эталонного.
3. Если введенное (фактическое) значение попадает в «эталонный интервал значений», то «штраф» не начисляется. При выходе введенного значения за пределы «эталонного интервала» начисляется штраф, зависящий от того, насколько фактическое значение больше верхней границы интервала или меньше нижней. В общем случае при выходе введенного значения за верхнюю и нижнюю границы могут использоваться разные виды штрафных функций.
Подкатегория В. Предполагается необходимость корректировки части текста ответа (слова или группы слов, числа, иногда - знака арифметической или логической операции). В простейшем случае необходимая для корректировки часть ответа может подсвечиваться. Более сложный вариант - тестируемый должен самостоятельно выбирать то, что он будет корректировать. В последнем случае алгоритмы обработки ответов усложняются.
Подкатегория Г. В порядке ответа на ТЗ предполагается ввод в «пустое» поле текста, числа или их совокупности. Этот вариант ответа также допускает обработку в рамках как четкой логики, так и нечеткой. Однако содержательная обработка произвольного введенного «текста» или комбинации «текст + число» алгоритмически может быть достаточно сложна [2, 4, 20]. Основная причина - в большинстве случаев потенциально возможны различные [18] ответы. Обработка только числового ответа (в том числе и в виде отрицательных чисел) может осуществляться по алгоритмам, описанным для подкатегории «Б». Обработка вводимых комплексных чисел требует раздельного учета их действительной и мнимой частей, но алгоритм такого разделения достаточно прост.
Как нетрадиционный вариант такого типа ТЗ можно указать определение номинала миниатюрного электрорадиоэлемента (например, резистора) по цветовой маркировке на нем. При этом тестируемым лицом ответ может вводиться не только путем набора с клавиатуры, но и с помощью экранного ползунка (при условии, что интервал возможных номиналов резисторов представлен в виде логарифмической шкалы) - рисунок 8.
Рисунок 8 - Использование перемещения вдоль шкалы ползунка (в виде черного треугольника) для установки номинала резистора, показанного на рисунке
Оценка результата для приведенного варианта ТЗ может осуществляться либо бинарно (правильно или неправильно), либо на основе штрафной функции - ее аргументом является отклонение введенного значения номинала от эталонного (т.е. фактического значения, соответствующего маркировке).
Подкатегория Д. Группировка в «поле ответа» нескольких графических объектов, причем важен не только набор объектов, но и последовательность их расположения. Как пример приведем ТЗ, в котором нужно выбрать последовательность из трех объектов, средним из которых является соединительный кабель. В этом ТЗ представлены следующие изображения: ноутбук; USB кабель с разъемами на концах типов «А» и «Б» (поворачивать его нельзя); кабель с разъемами USB и microUSB (также без возможности поворота); принтер с разъемом USB типа «Б»; типичный смартфон; сканер. Для этого ТЗ имеется несколько правильных ответов, причем последовательность расположения объектов по отношению к соединительному кабелю является принципиальной.
Отметим также некоторые специальные технологии формирования ответов для рассматриваемой категории ТЗ.
1. Ввод четкого ответа (для вариантов «А», «Б», «Г») в виде числового значения с помощью плавно перемещаемой экранной «рамочки с визирной линией» (рис. 9). При этом установленные (предопределенные) пределы перемещений ползунка являются «подсказкой» для тестируемого лица. В рамках адаптивного тестирования эти пределы могут динамически изменяться. Например, при повторной попытке ответа на ТЗ нижняя и/или верхняя границы ответа могут корректироваться, что обеспечит сужение диапазона выбора ответа.
ПШШШ1М1Ш11Ш1НН1ШШ11Ш1Ш1ШМ1 |[||||!111| JJJ]|M||N |l Hp! '1' ЩЩ
1 ' ' 1 1 1 1 1 ■ 0 20 40 г 3 60 * 80 100
Рисунок 9 - Задание ответа на ТЗ с помощью перемещения экранной «рамочки с визирной линией»
2. Вариант ответа, аналогичный «1», но перемещения ползунка носят дискретный характер (хотя его фиксированных положений может быть достаточно много). В случае «2» в качестве ответа на ТЗ могут вводиться и фрагменты текста, соответствующие дискретным положениям ползунка. Например, в ответ на вопрос типа «В каких единицах может измеряться мощность, потребляемая ПЭВМ, в системе СИ?» испытуемый должен выбрать одну из основных единиц (т.е. недольных и некратных) этой системы, соответствующих фиксированным положениям ползунка.
3. Тестируемый должен в качестве ответа ввести не одно число, а диапазон (интервал) чисел. Это можно реализовать с помощью двух ползунков: нижний задает минимальную границу интервала, а верхний - максимальную. При этом пределы перемещений для каждого из ползунков (если они заданы раздельно) могут служить подсказкой для тестируемого. Например, может быть задан вопрос о максимальной рассеиваемой мощности резистора, форма, цвет и размеры которого показываются на экране (но без воспроизведения маркировки на корпусе резисторе). Другие примеры показаны на рисунке —.
Для даты 01.02.2019 укажите, каковы типичные емкости накопителей (А - минимальное значение,? - максимальное значение)?
Флэш-накопитель
CD-ROM диск
DVD-ROM диск
В1ие^ау диск
Жесткий диск
Т11ЦМ11|1111|1Т11| ; 1 i!iji||,i|i, iiii,,i|]ii;ii:i|....
128 Мб
Г08 А 7
Мб ГБ Г5
25 Г6
50
ГБ
126 Г5
2
Тв
4
ТБ
Рисунок 10 - ТЗ со свободным вводом ответов, представляющих собой диапазоны чисел (границы диапазонов задаются экранными ползунками в виде цветных треугольников, перемещаемых с помощью мыши)
4. ТЗ, в которых перемещение «экранного ползунка» приводит к изменениям изображений объекта на мониторе ПЭВМ (т.е. вместо ввода названия объекта выбирается его графическое представление).
5. Используется несколько экранных ползунков, положения каждого из которых определяют выбор графического объекта (в общем случае для каждого из ползунков может быть свой набор отображаемых объектов).
Такая методика позволяет в качестве ответа «компоновать» графические объекты. Например, это может быть полезно для решения задач типа описанной в «подкатегории Д».
Некоторые виды ТЗ, связанные с использованием в различных объектах тонов серого цвета, цветовых оттенков, наборов цветов.
Эти ТЗ могут быть полезны, в частности, при оценках возможностей тестируемых лиц в отношении проведения дизайнерских работ и решения эргономических задач в сфере «информатики и вычислительной техники», включая конструирование интерфейсов программных средств, подготовку презентаций и пр. Отметим, что объективность получаемых результатов для рассматриваемых вариантов ТЗ в определенной степени зависит от качества цветопередачи мониторов (дисплеев).
1. Тестируемому лицу на экране монитора ПЭВМ демонстрируется квадрат со сплошной серой заливкой. Для второго квадрата, расположенного правее первого, требуется подобрать аналогичный по оптической плотности оттенок серого цвета путем перемещения экранного ползунка. «Результат ответа» (в баллах) может оцениваться исходя из отклонения фактически установленной тестируемым опти-
ческой плотности для правого квадрата от эталонной, соответствующей левому квадрату (или исходя из «выхода» ответа тестируемого за допустимые пределы ошибки по сравнению с эталонном).
Отметим, что для этого ТЗ оптическая плотность заливки для левого квадрата может выбираться либо детерминировано, либо случайным образом в заданных пределах.
2. Тестируемому лицу на экране монитора демонстрируется цветной квадрат, причем его цвет и яркость определяются соотношением яркостей трех основных цветов (цветовых компонентов) - Red, Green, Blue.
Для второго квадрата, расположенного правее первого, тестируемый должен установить аналогичные «цветность» и «яркость» изображения путем перемещения трех экранных ползунков, управляющих яркостями трех основных цветов.
Для этого ТЗ цветность и яркость для левого квадрата может выбираться детерминированно или случайным образом в двух вариантах: из предопределенного набора вариантов; путем генерации яркости каждого из «базовых» (основных) цветов (Red, Green, Blue) в заданных пределах.
Ж1 ¿55 .
т:
Рисунок 11 - Иллюстративный пример к ТЗ на подбор тестируемым лицом цвета и яркости для «правого» квадрата
«Результат ответа» по этому типу ТЗ (в баллах) может оцениваться исходя из отклонения установленных тестируемым яркостей базовых цветов от «эталонных» значений яркостей, соответствующих левому квадрату.
3. Аналог пункта «1», но вместо двух квадратов используется один прямоугольник, разбитый на 20 узких вертикальных полосок. Оптическая плотность нечетных полосок задается тестирующей программой, а четных - подбирается испытуемым с помощью ползунка. Этот вариант проще, чем «1», так как обычно не требует так называемых саккад (перемещений) зрачков глаз с левого квадрата на правый и обратно.
4. Аналог «2», но, аналогично пункту 3, используется прямоугольник, разбитый на 20 вертикальных полосок. Цветом и яркостью нечетных полосок управляет тестирующая программа, а четных -сам тестируемый с помощью трех экранных ползунков.
5. Для пунктов «1» и «2» могут быть также применены варианты с разновременным показом на экране квадратов: сначала демонстрируется левый квадрат; потом пауза по времени; затем показывается правый квадрат, характеристики которого должен установить тестируемый. В этом случае оценивается не только качество цветовосприятия тестируемого лица, но и его цветовая память [7].
Описанные в пунктах «2» и «4» варианты ТЗ могут быть использованы и в «прикладных» целях, связанных с разработкой или использованием программных средств.
6. а) Тестируемому демонстрируется многоцветный интерфейс некоторого программного обеспечения (например, информационной системы). б) Затем следует пауза по времени, в течение которой на экране демонстрируется случайный набор цветных объектов (например, разноцветных квадратов). в). Потом на экране воспроизводится интерфейс того же программного обеспечения, но в тонах серого. г). Тестируемый с помощью панели с «радиокнопками» (одновременно может быть нажата только одна из них) переключается между элементами интерфейса в произвольной последовательности. д) Для каждого выбранного элемента интерфейса тестируемый устанавливает его яркость и цвет с помощью трех экранных ползунков (аналогично пункту «2»).
Результаты такого тестирования позволяют оценить, насколько хорошо (насколько точно) воспринимаются цвета интерфейса программного обеспечения.
7. а). На экране ПЭВМ на некоторое время показывается материнская плата (вид сверху). При этом различные объекты на ней (включая разъемы) имеют определенные цвета. б). Затем следует пауза.
в). Потом на экране воспроизводится вид той же платы, но в тонах серого. г) Тестируемый с помощью панели с «радиокнопками» (одновременно может быть нажата только одна из них) переключается между объектами на материнской плате. д) Для каждого выбранного объекта тестируемый устанавливает его цвет с помощью ползунков или путем выбора нужного цвета из предложенного набора.
8. Аналог пункта «7», но ТЗ выполняется начиная с пункта «в». Причина - для многих разъемов (и некоторых иных объектов) существуют «предопределенные» (стандартные) цвета, которые на различных материнских платах повторяются.
9. Аналог пункта «7», но демонстрируется вид ПЭВМ сзади, а тестируемый должен установить цвета для всех основных разъемов (кроме разъемов черного цвета). В этом случае большинство цветов также являются стандартными.
10. Тестируемый должен для разъемов RJ-45 последовательно выбрать номера контактов и установить для них цвета проводов. Такие разъемы используются в сетевых шнурах, по которым ПЭВМ подключаются к локальной сети. В этом случае цвета проводов также являются стандартными. Особенность ТЗ: часть проводов - «двухцветные». Поэтому выбор нужно осуществлять из предопределенной последовательности отдельных цветов и их сочетаний.
Альтернативное задание: необходимо задать цвета проводов для двух RJ-45 разъемов, используемых в кабеле, предназначенном для прямого соединения двух ПЭВМ (кроссовое соединение).
11. Необходимо задать цвета проводов для разъема, применяемого с целью подключения к телефонной линии: RJ-11 (двухпроводное соединение); RJ-14 (четырехпроводное); RJ-25 (шестипровод-ное). Особенность этого ТЗ в том, что по «современной» цветовой кодировке для части проводов должны быть заданы два цвета. Поэтому выбор нужно осуществлять из предопределенной последовательности отдельных цветов и их сочетаний.
12. Испытуемому демонстрируется на экране электрорадиоэлемент (для определенности постоянный резистор) и в числовой форме указывается номинальное значение его параметра. На исходном изображении полоски, задающие номинал, представлены серым цветом. Тестируемый, последовательно переключаясь между полосками (с помощью радиокнопок - см. выше), для каждой из них задает свой цвет - при этом выбор осуществляется из предопределенных наборов значений.
Результат для ТЗ такого типа может оцениваться либо «бинарно» (правильно или неправильно), либо на основании ошибки заданного значения номинала по отношению к эталонному.
Выводы. 1. Рассмотрены категории ТЗ «на установление соответствия» и со «свободным вводом ответов» для вариантов с «четкими и нечеткими» ответами. 2. Подробно проанализированы практические вопросы реализации на ПЭВМ технологий ввода тестируемыми лицами нечетких ответов, возможные алгоритмы оценки таких ответов. 3. Показаны некоторые дополнительные возможности, которые обеспечивает использование графических объектов в ТЗ, относящихся к двум рассматриваемым в статье категориям. 4. Охарактеризованы технологии манипулирования такими объектами с использованием технологии «drag and drop». 4.Описан ряд новых направлений тестирования, связанных с оценками цветовых оттенков объектов, характеристик яркостно-цветовой памяти испытуемых, в том числе применительно к решению задач в сфере «Информатика и вычислительная техника».
Библиографический список
1. Аверченков В. И. Система тестирования знаний с поддержкой ответов открытого типа на естественном языке / В. И. Аверченков, Е. А. Белов // Известия Орловского государственного технического университета. Серия: Информационные системы и технологии. - 2006. - № 1-5. С. 6-10.
2. Бадерина Л. М. Метод содержательного анализа текстовых ответов в системах тестирования знаний / Л. М. Ба-дерина, И. В. Замаруева // Вюник Национального Амацшного Унверситету. - 2011. - Т. 2, № 47. - С. 96-100.
3. Брумштейн Ю. М. Анализ возможностей и технологий применения тестовых заданий с числовыми ответами / Ю. М. Брумштейн, М. В. Иванова, Н. В. Хлопкова // Известия ВолГТУ. Серия: Актуальные проблемы управления, вычислительной техники и информатики в технических системах. - Волгоград, 2012. - № 4 (91). -С. 92-98.
4. Брумштейн Ю. М. Системный анализ вопросов компьютерного тестирования с использованием нечетких ответов. Часть 1. Тестовые задания категорий «выбор из набора ответов» и «на ранжирование объектов» / Ю. М. Брумштейн, Д. И. Коновалова // Прикаспийский журнал: управление и высокие технологии. - 2018. - № 4. - С. 25-31.
5. Брумштейн Ю. М. Анализ направлений и возможностей использования компьютерных технологий для различных видов тестирования / Ю. М. Брумштейн, Н. В. Хлопкова, Ю. Ю. Аксенова, Ю. Н. Неживая // Теоретические и прикладные вопросы современных информационных технологий : материалы XI Всероссийской научно-технической конференции. - Улан-Удэ : Изд-во ВСГУТУ, 2012. - С. 74-79.
6. Брумштейн Ю. М. Графические и аудиовизуальные объекты в тестовых материалах / Ю. М. Брумштейн // Интеллектуальная собственность. Авторское право и смежные права. - 2013. - № 3. - С. 50-60.
7. Брумштейн Ю. М. Методы и аппаратно-программные средства для статического и динамического исследования точности восприятия яркостно-цветовых характеристик светящихся объектов / Ю. М. Брумштейн, Д. А. Мо-лимонов, Л. Ш. Рамазанова // Методы компьютерной диагностики в биологии и медицине - 2018 : сборник статей Всерос. школы-семинара /под ред. проф. Д.А. Усанова. - Саратов : Изд-во Саратовский источник, 2018. - С. 52-65.
8. Брянкин К. В. Тестирование как технология контроля качества самостоятельной работы студентов вуза / К. В. Брянкин, И. А. Вылегжанина // Современные проблемы науки и образования. - 2013. - № 5. - С. 263.
9. Буров И. П. Нечеткое оценивание знаний в педагогическом тестировании по информатике / И. П. Буров // Математика. Компьютер. Образование : тезисы Шестнадцатой Международной конференции. - 2009. - С. 478.
10. Давыдов В. И. Анализатор тестовых заданий со свободно-конструируемым ответом / В. И. Давыдов, П. Н. Фомин // Электромашиностроение и электрооборудование. - 2009. - № 72. - С. 198-200.
11. Залан К. В. Виды тестовых заданий и распространенные ошибки при их составлении / К. В. Залан // Вестник Южно-Уральского профессионального института. - 2014. - № 1 (13). - С. 45-51.
12. Казмина И. И. Трехуровневый анализ качества тестовых материалов / И. И. Казмина, Е. В. Нужнов // Информатика, вычислительная техника и инженерное образование. - 2015. - № 3 (23). - С. 56-67.
13. Камаев В. А. Когнитивное моделирование социально-экономических систем / В. А. Камаев. - Волгоград : ИУНЛ ВолГТУ, 2012. - 136 с.
14. Ковтуненко А. С. Нечёткие алгоритмы формирования оценок по результатам педагогического тестирования / А. С. Ковтуненко, Г. Ф. Низамова, Е. А. Смирнова // Системы управления и информационные технологии. - 2007. - Т. 27, № 1-1. - С. 163-165.
15. Кириченко Н. Р. О возможности применения методов нечёткого тестирования в вузах МВД / Н. Р. Кириченко // Наука в современном информационном обществе : материалы VII Международной научно-практической конференции. - 2015. - С. 50-52.
16. Куулар Л. Л. Иллюстрации как компонент тестовых заданий / Л. Л. Куулар, Г. С. Качалова // Современные проблемы науки и образования. - 2016. - № 3. - С. 316.
17. Леонтьева Ал. Б. Анализ речи и поведения студентов при компьютерном тестировании знаний в многомодальном режиме / Ал. Б. Леонтьева, Р. Йекель, И. А. Кагиров, А. Л. Ронжин // Анализ разговорной русской речи (АР3 - 2008) : Второй междисциплинарный семинар / Санкт-Петербургский институт информатики и автоматизации Российской академии наук. - 2008. - С. 94-101.
18. Манеркин В. П. Формальные модели текстов и расширение вариативности логики построения ответов обучающихся в системе компьютерного тестирования / В. П. Манеркин, П. В. Желтов, В. В. Боталов, В. В. Чеховский // Вестник Чувашского университета. - 2012. - № 2. - С. 300-304.
19. Марков В. В. Организация тестового контроля знаний на основе нечёткой модели экзаменатора / В. В. Марков, М. В. Луцан // Известия ЮФУ. Технические науки. - 2010. - № 7 (108). - С. 242-248.
20. Никифорова Д. М. Выбор метода текстового анализа для разработки информационной системы автоматической проверки тестовых заданий со свободно-конструируемым ответом студентов / Д. М. Никифорова, О. Ю. Сабинин // Информатика и кибернетика (ComCon - 2015) : сборник докладов студенческой научной конференции Института информационных технологий и управления. - 2015. - С. 334-336.
21. Паркина М. П. Разработка системы обучающего компьютерного тестирования / М. П. Паркина, Ю. М. Ар-темкина, Д. В. Щербаков // Успехи в химии и химической технологии. - 2010. - Т. 24, № 8 (113). - С. 81-85.
22. Печников А. Н. Модели и процедуры оценки результатов компьютерного тестирования знаний / А. Н. Печников, А. О. Туровская, Р. Р. Туктаров // Образовательные технологии и общество. - 2013. - Т. 16, № 4. - С. 365-371.
23. Пичкуренко Е. А. Разработка тестовых заданий на установление соответствия по теме «неопределенный интеграл» / Е. А. Пичкуренко // Современный специалист и профессиональные компетенции: методический аспект подготовки : материалы Международной научно-методической конференции. - 2013. - С. 107-110.
24. Рыскина Л. Л. Тестирование как метод проверки и оценки текущей успеваемости обучающихся / Л. Л. Рыс-кина // Вестник Томского государственного педагогического университета. - 2017. - № 9 (186). - С. 132-135.
25. Широков А. С. Возможность автоматизации формирования разных видов тестовых заданий с использованием средств Ms Excel / А. С. Широков, Е. В. Марчук // Проблемы и перспективы развития образования в России. - 2016. - № 38. - С. 60-64.
26. Щербаков В. В. Характеристики тестовых заданий, используемых для оценки знаний студентов / В. В. Щербаков, Ю. И. Капустин // Успехи в химии и химической технологии. - 2009. - Т. 23, № 6 (99). -С. 92-97.
27. Цидыло И. Н. Нечеткая оценка результатов автоматизированного тестирования / И. Н. Цидыло // Проблемы современной науки. - 2014. - № 11-1. - С. 105-114.
28. Nardyuzhev V. I. Operational statistical analysis of the results of computer-based testing of students / V. I. Nardyuzhev, I. V. Nardyuzhev, V. E. Marfina, I. N. Kurinin // Вестник Российского университета дружбы народов. Серия: Информатизация образования. - 2018. - Т. 15, № 1. - С. 81-88.
References
1. Averchenkov V. I., Belov Ye. A. Sistema testirovaniya znaniy s podderzhkoy otvetov otkrytogo tipa na estestvennom yazyke [The system of testing of knowledge with support of answers of public type in a natural language]. Izvestiya Orlovskogo gosudarstvennogo tekhnicheskogo universiteta. Seriya: Informatsionnye sistemy i tekhnologii [News of the Oryol state technical university. Series: Information systems and technologies], 2006, no. 1-5, pp. 6-10.
2. Baderina L. M., Zamarueva I. V. Metod soderzhatelnogo analiza tekstovykh otvetov v sistemakh testirovanie znaniy [Method of the informative analysis of text answers in systems testing of knowledge]. Visnik Natsionalnogo Aviatsiynogo Universitetu [Messenger of National Aviation Unversity], 2011, vol. 2, no. 47, pp. 96-100.
3. Brumshteyn Yu. M., Ivanova M. V., Khlopkova N. V. Analiz vozmozhnostey i tekhnologiy primeneniya tes-tovykh zadaniy s chislovymi otvetami [The analysis of opportunities and technologies of application of test tasks with numerical answers]. Izvestiya VolGTU. Seriya: Aktualnye problemy upravleniya, vychislitelnoy tekhniki i informatiki v tekhnicheskikh sistemakh [Izvestiya of VOLGTU. Current Problems of Management, ADP Equipment and Information
Science in Technical Systems series: interhigher education institution. Saturday.nauch. article]. Volgograd, 2012, no. 4 (91), pp. 92-98.
4. Brumshteyn Yu. M., Konovalova D. I. Sistemnyy analiz voprosov kompyuternogo testirovaniya s ispol-zovaniem nechetkikh otvetov. Chast 1. Testovye zadaniya kategoriy «vybor iz nabora otvetov» i «na ranzhirovanie obektov» [System analysis of questions of computer testing with use of indistinct answers. Part 1. Test tasks of categories "the choice from a set of answers" and "on ranging of objects"]. Prikaspiyskiy zhurnal: upravlenie i vysokie tekhnologii [Caspian Journal: Control and High Technologies], 2018, no. 4, pp. 21-31.
5. Brumshteyn Yu. M., Khlopkova N. V., Aksenova Yu. Yu., Nezhivaya Yu. N. Analiz napravleniy i vozmozhnostey ispolzovaniya kompyuternykh tekhnologiy dlya razlichnykh vidov testirovaniya. [Analysis of the directions and opportunities of use of computer technologies for different types of testing]. Teoreticheskie i prikladnye voprosy sovremennykh informatsionnykh tekhnologiy : materialy XI Vserossiyskoy nauchno-tekhnicheskoy konferentsii [Theoretical and applied questions of modern information technologies: materials XI of the All-Russian scientific and technical conference]. Ulan-Ude, 2012, pp. 74-79.
6. Brumshteyn Yu. M. Graficheskie i audiovizualnye obekty v testovykh materialakh [Graphic and audiovisual objects in test materials]. Intellektualnaya sobstvennost. Avtorskoe pravo i smezhnye prava [Intellectual Property. Copyright and Allied Rights], 2013, no. 3, pp. 50-60.
7. Brumshteyn Yu. M., Molimonov D. A., Ramazanova L. Sh. Metody i apparatno-programmnye sredstva dlya staticheskogo i dinamicheskogo issledovaniya tochnosti vospriyatiya yarkostno-tsvetovykh kharakteristik svetyashchikhsya obektov [Methods, hardware and software for a static and dynamic research of perception accuracy of the brightness-color responses for shining objects]. Metody kompyuternoy diagnostiki v biologii i meditsine - 2018 : sbornik statey Vserossiyskoy shkoly-seminara [Methods of computer diagnostics in biology and medicine - 2018 : Proceedings of All-Russian Workshop]. Saratov, 2018, pp. 52-65.
8. Bryankin K. V., Vylegzhanina I. A. Testirovanie kak tekhnologiya kontrolya kachestva samostoyatelnoy raboty studentov vuza [Testing as technology of quality control of independent work of students of higher education institution]. Sovremennyeproblemy nauki i obrazovaniya [Modern Problems of Science and Education], 2013, no. 5, pp. 263.
9. Burov I. P. Nechetkoe otsenivanie znaniy v pedagogicheskom testirovanii po informatike [Indistinct estimation of knowledge in pedagogical testing of information science]. Matematika. Kompyuter. Obrazovanie : tezisy Shestnadtsatoy Mezhdunarodnoy konferentsii [Mathematics. Computer. Education : Theses of the Sixteenth International Conference], 2009, p. 478.
10. Davydov V. I., Fomin P. N. Analizator testovykh zadaniy so svobodno-konstruiruemym otvetom [The analyzer of test tasks with the free designed answer]. Elektromashinostroenie i elektrooborudovanie [Electric Machine Industry and Electric Equipment], 2009, no. 72, pp. 198-200.
11. Zalan K. V. Vidy testovykh zadaniy i rasprostranennye oshibki pri ikh sostavlenii [Types of test tasks and widespread errors by their drawing up]. Vestnik Yuzhno-Uralskogo Professionalnogo Institute [Bulletin of the Southern Ural Professional Institute], 2014, no. 1 (13), pp. 45-51.
12. Kazmina I. I., Nuzhnov Ye. V. Trekhurovnevyy analiz kachestva testovykh materialov [Three-level analysis of quality of test materials]. Informatika, vychislitelnaya tekhnika i inzhenernoe obrazovanie [Information Science, ADP Equipment and Engineering Education], 2015, no. 3 (23), pp. 56-67.
13. Kamaev V. A. Kognitivnoe modelirovanie sotsialno-ekonomicheskikh system [Cognitive modeling of social and economic systems]. Volgograd, 2012. - 136 p.
14. Kovtunenko A. S., Nizamova G. F., Smirnova Ye. A. Nechetkie algoritmy formirovaniya otsenok po rezulta-tam pedagogicheskogo testirovaniya [Indistinct algorithms of forming of estimates by results of pedagogical testing]. Sis-temy upravleniya i informatsionnye tekhnologii [Management System and Information Technologies], 2007, vol. 27, no. 1-1, pp. 163-165.
15. Kirichenko N. R. O vozmozhnosti primeneniya metodov nechetkogo testirovaniya v vuzakh MVD [About a possibility of application of methods of indistinct testing in higher education institutions of the Ministry of Internal Affairs]. Nauka v sovremennom informatsionnom obshchestve : materialy VIIMezhdunarodnoy nauchno-prakticheskoy kon-ferentsii [Science in modern information society : Materials of the VII International Scientific and Practical Conference], 2015, pp. 50-52.
16. Kuular L. L., Kachalova G. S. Illyustratsii kak komponent testovykh zadaniy [Illustrations as component of test tasks]. Sovremennye problemy nauki i obrazovaniya [Modern Problems of Science and Education.], 2016, no. 3, p. 316.
17. Leonteva Al. B., Yekel R., Kagirov I. A., Ronzhin A. L. Analiz rechi i povedeniya studentov pri kompyuternom testirovanii znaniy v mnogomodalnom rezhime [Speech analysis and behavior of students at computer testing of knowledge in the multimodal mode]. Analiz razgovornoy russkoy rechi (AR3 - 2008) : Vtoroy mezhdistsiplinarnyy seminar ["The analysis of informal Russian conversation" (AP3 - 2008) : The Second Cross-Disciplinary Seminar], 2008, pp. 94-101.
18. Manerkin V. P., Zheltov P. V., Botalov V. V., Chekhovskiy V. V. Formalnye modeli tekstov i rasshirenie variativnosti logiki postroeniya otvetov obuchayushchikhsya v sisteme kompyuternogo testirovaniya [Formal models of texts and expansion of variability of logic of creation of answers of students in the system of computer testing] Vestnik Chuvashskogo universiteta [Messenger of the Chuvash University], 2012, no. 2, pp. 300-304.
19. Markov V. V., Lutsan M. V. Organizatsiya testovogo kontrolya znaniy na osnove nechetkoy modeli ekza-menatora [The organization of test control of knowledge on the basis of indistinct model of the examiner]. Izvestiya YuFU. Tekhnicheskie nauki [News of SFU. Technical science], 2010, no. 7 (108), pp. 242-248.
20. Nikiforova D. M., Sabinin O. Yu. Vybor metoda tekstovogo analiza dlya razrabotki informatsionnoy sistemy avtomaticheskoy proverki testovykh zadaniy so svobodno-konstruiruemym otvetom studentov [The choice of a method of text analysis for development of an information system of automatic check of test tasks with the free designed answer of students]. Informatika i kibernetika (ComCon - 2015) : sbornik dokladov studencheskoy nauchnoy konferentsii Instituta
informatsionnykh tekhnologiy i upravleniya [Informatics and Cybernetics (ComCon-2015) : Collection of Reports of a Student's Scientific Conference of Institute of Information Technologies and Management], 2015, pp. 334-336.
21. Parkina M. P., Artemkina Yu. M., Shcherbakov D. V. Razrabotka sistemy obuchayushchego kompyuternogo testirovaniya [Development of the system of the training computer testing]. Uspekhi v khimii i khimicheskoy tekhnologii [Achievements in Chemistry and Chemical Technology], 2010, vol. 24, no. 8 (113), pp. 81-85.
22. Pechnikov A. N., Turovskaya A. O., Tuktarov R. R. Modeli i protsedury otsenki rezultatov kompyuternogo testirovaniya znaniy [Model and assessment procedures of results of computer testing of knowledge]. Obrazovatelnye tekhnologii i obshchestvo [Educational Technologies and Society], 2013, vol. 16, no. 4, pp. 365-371.
23. Pichkurenko Ye. A. Razrabotka testovykh zadaniy na ustanovlenie sootvetstviya po teme "neopredelennyy integral" [Development of test tasks for establishment of compliance on the subject "uncertain integral"]. Sovremennyy spet-sialist i professionalnye kompetentsii: metodicheskiy aspekt podgotovki : materialy Mezhdunarodnoy nauchno-metodicheskoy konferentsii [Modern expert and professional competences: methodical aspect of preparation : Materials of the International Scientific and Methodical Conference], 2013, pp. 107-110.
24. Ryskina L. L. Testirovanie kak metod proverki i otsenki tekushchey uspevaemosti obuchayushchikhsya [Testing as method of check and assessment of the current progress of students]. Vestnik Tomskogo gosudarstvennogopedagog-icheskogo universiteta [Bulletin of the Tomsk State Pedagogical University], 2017, no. 9 (186), pp. 132-135.
25. Shirokov A. S., Marchuk Ye. V. Vozmozhnost avtomatizatsii formirovaniya raznykh vidov testovykh zadaniy s ispolzovaniem sredstv Ms Excel [A possibility of automation of forming of different types of test tasks with use of means of MS of Excel]. Problemy i perspektivy razvitiya obrazovaniya v Rossii [Problems and perspectives of education development in Russia], 2016, no. 38, pp. 60-64.
26. Shcherbakov V. V., Kapustin Yu. I. Kharakteristiki testovykh zadaniy, ispolzuemykh dlya otsenki znaniy stu-dentov [Characteristics of the test tasks used for assessment of knowledge of students]. Uspekhi v khimii i khimicheskoy tekhnologii [Achievements in Chemistry and Chemical Technology], 2009, vol. 23, no. 6 (99), pp. 92-97.
27. Tsidylo I. N. Nechetkaya otsenka rezultatov avtomatizirovannogo testirovaniya [Indistinct assessment of results of the automated testing]. Problemy sovremennoy nauki [Problems of Modern Science], 2014, no. 11-1, pp. 105-114.
28. Nardyuzhev V. I., Nardyuzhev I. V., Marfina V. E., Kurinin I. N. Operational statistical analysis of the results of computer-based testing of students [Operational statistical analysis of the results of computer-based testing of students]. Vestnik Rossiyskogo universiteta druzhby narodov. Seriya: Informatizatsiya obrazovaniya [Bulletin of Peoples' Friendship University of Russia. Series: Education Informatization], 2018, vol. 15, no. 1, pp. 81-88.
