CC BY
33
Управление в социально-экономических системах
УДК 519.72 DOI: 10.14529/^сг170305
ПО ВЫШЕНИЕ ЭФФЕКТИВНОСТИ ПРОЦЕССА ТЕСТИРОВАНИЯ СТУДЕНТОВ НА ОСНОВЕ МЕТОДОВ ИЗБЫТОЧНОГО КОДИРОВАНИЯ И ФИЛЬТРАЦИИ
И.В. Буркова1, Т.В. Яскевич2, Ш.М. Байматаева2
1 Институт проблем управления им. В.А. Трапезникова РАН, г. Москва,
2 Казахский национальный исследовательский технический университет им. К. И. Сатпаева, г. Алматы, Республика Казахстан
Один из ответственных моментов в образовательном процессе - оценка знаний студента. На сегодняшний день это чаще всего проведение тестирования. При этом следует отметить, что студент является активным элементом системы обучения и, как правило, имеет свои цели в процессе реализации системой функции контроля. Эти цели могут не совпадать с целью системы (преподавателя). В процессе тестирования отсутствует непосредственный контакт обучаемого с преподавателем. Это приводит к ошибкам оценки знаний.
Предлагается при оптимизации процесса тестирования рассматривать его как систему передачи информации в канале с шумом и учитывать «активность» двухуровневой системы «студент - преподаватель». Рассмотрение системы обучения как двухуровневой активной информационной системы позволяет описать процесс тестирования с помощью канальной матрицы и предложить для борьбы с шумом тестирования те же методы, что используются в информационных системах для выделения «правильного» сигнала из зашумленного: избыточное кодирование и фильтрацию.
Ключевые слова: активная система, система обучения, информационная система, канал связи с шумом, оценка знаний, тестирование.
1. Обучающая система как активная двухуровневая система
В [1, 2] дан анализ существующих концепций, связанных с обучающими системами. На основании этих концепций и результатов исследований, связанных с организационными системами, в частности, развитием теории активных систем, было предложено рассматривать обучающие системы как двухуровневые активные системы [3].
При таком рассмотрении определим цели системы и элементов. Цель обучающей системы:
1. За наименьшее время вооружить будущих специалистов знаниями и умением применять эти знания в практических целях.
2. За наименьшее время получить информацию об адекватном усвоении знаний и умении их применить на практике.
Предполагаем, что цель системы совпадает с целью преподавателя.
Цель студента зависит от его психологического портрета. На сегодняшний день интерес к психологическому и социальному портрету студента постоянно растет в связи с индивидуализацией обучения. Этот интерес отражается множеством публикаций на данную тему [4, 5]. Так, в [4] приводятся результаты опроса. Они показывают, что 72 % студентов живет от сессии до сессии, т. е. получение знаний не является первоочередной задачей (он должен успевать везде и всюду). И только 38 % считают, что современный студент должен стремиться к новым знаниям. Таким образом, можно разделить всех обучающихся на две категории:
Цель обучающихся, относящихся к первой категории, - как можно успешнее пройти тестирование с наименьшими затратами на обучение без интереса к получению новых знаний и навыков.
Цель обучающихся, относящихся ко второй категории, - получить как можно больше новых знаний и навыков в процессе обучения. Приложить все полученные знания и навыки для успешной сдачи теста.
Первый тип студента не заинтересован в знаниях, а заинтересован только в хорошей оценке (в крайнем случае - ему достаточно 3 при отсутствии знаний).
Второй тип серьезно относится к процессу обучения и на первом месте стоит задача получения знания и полного понимания предложенного материала.
Сдача теста - это возможность для него оценить со стороны свои успехи в познании.
Преподаватель для достижения своей цели (а значит и цели обучающей системы) должен решить следующие основные задачи:
1) заинтересовать студента в познании предлагаемого материала;
2) представить в наилучшей форме материал для познания рассматриваемой темы;
3) организовать тестирование так, чтобы получить максимальную информацию о полученных студентом знаниях в наикратчайший промежуток времени.
2. Проблема тестирования в обучающей системе
Рассмотрим подробнее проблему тестирования в обучающей системе.
Вопросами научной разработки тестов для объективного контроля знаний и обработки результатов тестирования занимается тестология. Качественные тесты представляют образовательные процессы не в идеальном, а в реальном свете.
При разработке тестов нужно учитывать два момента:
- разработка тестов, способных адекватно оценить знания обучаемых - это не просто составление заданий и объединение их в тест (тест - это система заданий, в которой каждое задание должно удовлетворять определенным критериям);
- нельзя сводить проверку знаний к одному лишь тестированию. С помощью тестов нельзя проверить, например, доказательство теорем, и, конечно же, никакое тестирование не заменит живой беседы обучаемого с преподавателем.
Поэтому достаточно часто тестирование применяется как первый этап сдачи экзамена, по результатам которого осуществляется допуск ко второму этапу - собеседованию с преподавателем.
Разработка тестовых заданий и обработка результатов тестирования подробно изложены в [6] и [7]. Однако не менее важное значение имеет порядок предъявления заданий обучаемому и метод определения его уровня знаний по результатам тестирования, т. е. модель тестирования. В работе [7] рассматривается 9 моделей педагогического тестирования. Необходимо отметить, что рассматриваемые модели применяются для педагогического тестирования, т. е. оценки знаний, и отличаются от моделей, применяемых в психологических тестах для определения характеристик личности, поэтому их называют моделями педагогического тестирования. Современные обучающие системы являются, как правило, адаптивными.
В таких обучающих системах тестирование может применяться как средство идентификации личности для построения индивидуальной последовательности обучения. При этом можно различать три вида тестирования: предварительное, текущее и итоговое.
Предварительное тестирование применяется перед началом обучения и направлено на выявление предварительных знаний обучаемого по ряду дисциплин, которые ему предстоит изучать. Сюда же могут включаться психологические тесты для определения индивидуальных характеристик личности обучаемого, которые учитываются в ходе обучения для настройки на работу с конкретным обучаемым. По результатам предварительного тестирования строится предварительная последовательность изучения учебных курсов [8].
Текущее тестирование - это контроль или самоконтроль знаний по отдельному элементу учебного курса, например, разделу или теме. По его результатам строится последовательность изучения тем и разделов внутри курса, а также может осуществляться возврат к темам, которые были изучены недостаточно хорошо.
И, наконец, итоговое тестирование - это контроль знаний по курсу в целом или по совокупности курсов. По его результатам корректируется последовательность изучения учебных курсов.
При работе с тестами всегда нужно учитывать надежность результатов тестирования. Под надежностью тестовых результатов понимается характеристика, показывающая точность измерения знаний заданиями теста. Нужно отметить, что речь идет не о надежности теста, а о надежности результатов тестирования, так как на нее сильно влияет степень однородности различных групп обучаемых, уровень их подготовленности и ряд других факторов, связанных не с самим тестом, а с условиями проведения процесса тестирования. Методы расчета коэффициента надежности приведены в [6] и [7].
Таким образом, при составлении тестов и оценивании результатов тестирования требуется учитывать:
- сложность вопроса;
- время ответа;
- условия проведения тестирования.
Методы определения сложности вопроса и времени ответа связаны с привлечением обучающихся, а значит они влияют на результат оценивания тестов. Так, для одного коллектива обучающихся одни и те же тесты могут быть средней сложности, а для другого повышенной.
Один из основоположников научного подхода к проблеме тестирования В.С. Аванесов показал, что все ответы могут быть сведены к следующим типам [9]:
- Закрытые: выбор одного или нескольких вариантов ответов в произвольном порядке. Такие ответы называют выборочными.
- Определение порядка вариантов ответов.
- Определение соответствия элементов двух множеств.
- Открытые: свободно-конструируемые ответы (числовые и текстовые).
Выборочная форма ответа всё ещё продолжает активно использоваться в системах контроля знаний как самая простая в реализации. К вопросу «прилагается» список ответов и нужно выбрать один или несколько правильных.
Открытое тестирование не содержит помощи в виде вариантов ответов и, как показывают результаты экспериментов, приведенные в [10], тест с выборочными ответами (закрытое тестирование) дает более высокие оценки (табл. 1): средняя разница между результатами открытого и закрытого тестирования составила 0,86 балла.
Таблица 1
Сравнение результатов тестирования
Институт, Количество Средняя оценка Средняя оценка Разница
поток тестируемых по открытому тесту по выборочному тесту в оценках
МФТИ, ФНТИ 9 3,01 3,84 0,83
МИЭМ, гр. С 15 3,07 3,92 0,85
МИЭМ, гр. К 11 2,98 3,89 0,91
Таким образом, открытые тесты позволяют получить более объективную оценку знаний, хотя составление открытых тестов требует гораздо больше усилий и времени.
3. Подсистема тестирования как канал связи с шумом
Рассмотрим подсистему тестирования в обучающей системе как канал передачи информации между источником А и приемником В. Передающую сторону (источник) А определим как состояние подготовленности обучаемых, которое характеризуется вектором вероятностей р(а). Принимающую сторону (приемник) В можно охарактеризовать вектором вероятности оценки подготовленности (компетентности) обучаемых Р(Ьу). Значения Р(Ь]/а1) определим как условные вероятности получить оценку Ьу при знаниях на оценку аг-.
В общем случае, при рассмотрении канала связи с шумом, если мы передаем т сигналов А и ожидаем получить т сигналов В, влияние помех в канале связи полностью описывается канальной матрицей [11]. Со стороны источника сообщений канальная матрица, описывающая канал связи, имеет вид:
а/Ь ¿1 ¿2 ь, Ьт
а\ Рф\/а\) Рфг/а1) РФМ) Рфт/ад
а2 РФМ) Рфг^) РФМ) Рфт/а2)
а. Рф\/а,) Рфг/а) РФМ) Рфт/а)
ат РФМ РФМ Рф,/а„) Рфт/а„)
Вероятности, расположенные по диагонали, определяют правильный прием, остальные -ложный. Значение цифр, заполняющих колонки канальной матрицы, обычно уменьшаются по мере удаления от главной диагонали, и при полном отсутствии помех, все, кроме цифр, расположенных по главной диагонали, равны нулю [11].
В случае рассмотрения системы тестирования, вероятности, стоящие по диагонали, есть вероятности адекватных оценок знаний, остальные связаны с искажением оценивания, т. е. с ошибками тестирования. На сегодняшний день кредитная система образования использует 11-балльную систему оценки знаний от 4 до 0 (табл. 2).
Таблица 2
Оценка знаний студентов
Оценка Буквенный эквивалент В процентах В баллах
Отлично А 95-100 4
А- 90-94 3,67
Хорошо В+ 85-89 3,33
В 80-84 3,0
В- 75-79 2,67
Удовлетворительно С+ 70-74 2,33
С 65-69 2,0
С- 60-64 1,67
D+ 55-59 1,33
D 50-54 1,0
Неудовлетворительно F 0-49 0
Таким образом, размер рассматриваемой матрицы равен 11, а условные вероятности определяют процесс искажения информации о подготовке обучаемого. Причины такого искажения можно разбить на две категории. Первая категория определяется состоянием самого обучаемого (т. е. не связана с организацией тестирования). Вторая категория определяет все причины, связанные с проведением тестирования. В целом обе категории причин вызывают искажение информации, т. е. приводят к ошибкам в оценивании знаний обучаемых. Следует заметить, что целью преподавателя является такое качество тестирования, при котором матрица - единичная, т. е. имеет единицы по диагонали. Целью студентов - матрица с единичным первым столбцом (при условии, что а\ - знания на максимальную оценку 4 ... ац - знания на минимальную оценку 0; Ь - максимальная оценка 4 ... Ьи - минимальная оценка 0).
Таким образом, мы наблюдаем типичную ситуацию несогласованности интересов элементов верхнего и нижнего уровня, свойственную для активных систем, приводящую к искажению информации [1].
Это искажение адекватно искажению информации при передаче информации по дискретному каналу с шумом.
Учитывая вышесказанное, при оптимизации процесса тестирования следует рассматривать его как систему передачи информации в канале с шумом и учитывать «активность» двухуровневой системы «студент - преподаватель».
4. Предложение по организации закрытой формы тестирования
Хотя по имеющимся исследованиям открытая форма тестирования позволяет более объективно оценить знания обучающихся, в силу сложности составления открытых тестов закрытая форма тестирования доминирует.
Шум при тестировании, как видно из описания канала связи, может быть:
- причиной завышения оценки и определяться условными вероятностями, стоящими ниже диагонали (назовем его шумом завышения оценки);
- причиной занижения оценки и определяется условными вероятностями, стоящими выше диагонали (назовем его шумом занижения оценки).
Основными причинами шума завышения оценки при тестировании, если учитывать только особенности поведения обучаемых, являются два фактора:
- помощь извне - подсказка, шпаргалка и т. д.;
- «игра в рулетку» при выборе ответа.
В работе [3] предлагается игровая организация тестирования как метод борьбы с помощью извне.
Для борьбы с «игрой в рулетку» можно использовать те же методы, которые используются в информационных системах для борьбы с шумом:
- избыточное кодирование;
- фильтрация.
Рассмотрим основную идею избыточного кодирования: к информационным разрядам при передаче добавляются дополнительные (корректирующие) разряды. С их помощью происходит обнаружение и исправление ошибок передачи. Простейший вариант - двойная передача сообщения и сравнение полученных сообщений на приемной стороне. В случае равенства полученных сообщений можно говорить о достоверной передаче.
Рассмотрим процесс закрытого тестирования в случае, когда обучаемый в силу незнания материала вынужден случайно выбирать один из предлагаемых ответов. Предположим, что предлагается 5 ответов с одним правильным. В этом случае с вероятностью 1/5 можно пройти тест с помощью случайного выбора (игры в рулетку). Если испытуемый пройдет тест только при правильном ответе на два вопроса, близко связанных по теме, то вероятность пройти тест при «игре в рулетку» равна (1/5)2 и т. д. Пусть а - событие, которое заключается в том, что испытуемый не знает ответ на первый вопрос; b - событие, которое заключается в том, что испытуемый не знает ответ на второй вопрос. Вопросы должны быть подобраны так, что p(b/a) = 1 - в, где в малое число, т. е. незнание одного вопроса практически обязательно ведет к незнанию другого. Например:
Укажите правильную формулу для расчета частной условной энтропии:
A. нщ (V) = ¿p(Vj /U)logp(V / U)
j=1
в. HUi (V) = -¿P(U)p(Vj / U)iogp(Vj / U)
j=1
C. Hu¡ (V) = -¿p(Vj / U )logp(Vj / U,)
j=1
D. Hu¡ (V) = -¿p(Vj / Ui)logp(Vj)
i=1
E. Hu. (V) = -¿p(Vj)p(Vj / Ui )logp(Vj / Ui)
j=1
Указать формулу Шеннона для оценки энтропии в битах:
N
A. H = £ pi ln pi
i=1
B. H = - log p,
Буркова И.В., Яскевич Т.В Байматаева Ш.М.
N
C. н = -X p log p.t
i=1
1 N
D H = --XP, Inp,
2 i=i
E. H = log N
Продолжая рассуждение, вопросов можно задавать три и считать ответ правильным, если на все три выбраны правильные ответы, в этом случае вероятность пройти тест в случае незнания материала (игры в рулетку) уже равна 1/125.
Второй способ - фильтрация, которая заключается в многоуровневом тестировании. В этом случае первым дается более простой вопрос (на тройку), и, если на него получен правильный ответ, то предлагается ответить на вопрос более сложный (на четверку). При такой организации вероятность пройти случайно двухуровневый тест равна (1/5)2. В данном случае формирование вопроса будет более простым (требуется, чтобы вопросы были на одну тему и второй вопрос был сложнее первого).
Например:
1. Какая из матриц полностью характеризует объединение двух статистически связанных ансамблей X и 7?
A. P(X, 7)
B. P(X/7)
C. P(7X)
D. P(7)
E. P(X)
2. Укажите правильную формулу для расчета энтропии объединения:
N k
A. H(V,U) = -XXPVj)P(Vj / U i)logp(U,)p(Vj / Ui)
i=1 j =1
Nk
B. H(V,U) = -XXp(Vj)p(Vj / U,)log p(Vj)p(Vj / U,)
i=1 j=1
C. H(V,U) = -Xp(Vj / Ui)log p(Vj / Ui)
j=1
Nk
D. H(V,U) = -XXp(U,)p(Vj /Ui)logp(U,)p(Vj /Ui)
i=1 j=1
E. H(V,U) = Xp(Vj /Ui)logp(Vj /Ui)
j=1
Заключение
Рассмотрение системы обучения как двухуровневой активной информационной системы позволяет описать процесс тестирования с помощью канальной матрицы и предложить для борьбы с шумом тестирования те же методы, что используются в информационных системах для выделения «правильного» сигнала из зашумленного: избыточное кодирование и фильтрацию. Избыточное кодирование предложено применять в простейшей форме многократной передачи (варианты многократной передачи подробно описаны в [12]), что выражается в условии ответ считать верным в случае, если он получен на два сильно коррелированных вопроса.
Фильтрация широко применяется в тестировании. Это ничто иное, как многоуровневое тестирование, т. е. последовательная сдача теста сначала «на тройку», затем для оставшихся - на «четверку» и т. д.
Литература
1. Ыбытаева, Г.С. Обучающие системы как элемент обновленной системы образования / Г.С. Ыбытаева, Т.В. Яскевич // Вестник Казахского национального технического университета им. К.И. Сатпаева. - 2014. - № 2 (102). - С. 33-37.
2. Ыбытаева, Г.С. Организация тестирования при рассмотрении обучающей системы как активной двухуровневой организационной системы /Г.С. Ыбытаева, Т.В. Яскевич // Труды Международного форума «Инженерное образование и наука в XXI веке: Проблемы и перспективы», посвященного 80-летию КазНТУ им. К.И. Сатпаева. - Алматы, 2014. - Т. II. - С. 156-160.
3. Бурков, В.Н. Основы математической теории активных систем / В.Н. Бурков. - М. : Наука, 1977. - 254 с.
4. Таловская, Н.А. Психологический портрет современного студента / Н.А. Таловская, Г.Ю. Самигуллина // Международный журнал прикладных и фундаментальных исследований. -2010. - № 3. - С. 47-48.
5. Карпенко, М. Социальный портрет студента негосударственного вуза / М. Карпенко, М. Кибакин, В. Лапшов // Высшее образование в России. - 2000. - № 3. - С. 99-104.
6. Аванесов, В.С. Композиция тестовых заданий / В.С. Аванесов. - М: АДЕПТ, 1998. - 217 с.
7. Нейман, Ю.М. Введение в теорию моделирования и параметризации педагогических тестов /Ю.М. Нейман, В.А. Хлебников. - М. : Прометей, 2000. - 168 с.
8. Дуплик, С.В. Модели педагогического тестирования / С.В. Дуплик // Вестник Казанского государственного технического университета им. А.Н. Туполева. - 2003. - № 2. - С. 74-79.
9. Аванесов, В.С. Научные проблемы тестового контроля знаний: моногр. /В.С. Аванесов. -М. : Исследовательский центр проблем качества подготовки специалистов, 1994. - 135 с.
10. Карпова, И.П. Сравнение открытой и закрытой форм тестирования / И.П. Карпова // ИТ0-2008. - http://ito.edu.ru/2008/Moscow/VII/VII-0-7872.html.
11. Дмитриев, В.И. Прикладная теория информации / В.И. Дмитриев. - М. : Высшая школа, 1989. - 328 с.
12. Показатели оценки достоверности (безошибочности) передачи данных в сетях. -http://www.km.ru/referats/0B094350342B4982A237BB25AFE255EB.
Буркова Ирина Владимировна, д-р техн. наук, ведущий научный сотрудник лаборатории активных систем, Институт проблем управления им. В.А. Трапезникова РАН, г. Москва; кЬиг27@тай .гц.
Яскевич Татьяна Владимировна, канд. техн. наук, доцент, Казахский национальный исследовательский технический университет им. К.И. Сатпаева, г. Алматы, Республика Казахстан; [email protected].
Байматаева Шолпан Мураткызы, канд. техн. наук, доцент кафедры информационных технологий, Казахский национальный исследовательский технический университет им. К.И. Сатпаева, г. Алматы, Республика Казахстан; [email protected].
Поступила в редакцию 4 мая 2017 г
DOI: 10.14529/ctcr170305
INCREASE IN EFFICIENCY OF PROCESS OF TESTING OF STUDENTS ON THE BASIS OF METHODS OF EXCESS CODING AND THE FILTRATION
I.V. Burkova1, [email protected], T.V. Yaskevich2, [email protected], Sh.M. Baymataeva2, [email protected]
1 V.A. Trapeznikov Institute of Control Sciences of Russian Academy of Sciences, Moscow, Russian Federation,
2 Kazakh National Research Technical University after K.I. Satpayev, Almaty, Republic of Kazakhstan
One of the responsible moments in educational process - assessment of knowledge of the student. Today it most often conducting testing. At the same time, it should be noted that the student is an active element of a training system and, as a rule, aims in implementation process system of function of control. These purposes can not match the purpose of system (teacher). In the course of testing there is no direct contact with the teacher. What leads to errors of assessment of knowledge.
It is offered to consider in case of a process improvement of testing it as system of information transfer in the channel with noise and to consider "activity" of two-level system the student -the teacher. Consideration of the learning system as a two-level active information system allows us to describe the testing process using a channel matrix and propose the same methods for combating noise of testing that are used in information systems to isolate the "right" signal from noisy: excessive coding and filtering.
Keywords: active system, a training system, an information system, a communication channel with noise, assessment of knowledge, testing.
References
1. Ybytaeva G.S., Yaskevich T.V. [Teaching Systems as an Element of the Renewed Education System]. Bulletin of the Kazakh National Technical University named after K.I. Satpayev, 2014, no. 2 (102), pp. 33-37. (in Russ.)
2. Ybytaeva G.S., Yaskevich T.V. [Organization of Testing when Examining the Learning System as an Active Two-Level Organizational System]. Trudy Mezhdunarodnogo foruma "Inzhenernoye obrazovaniye i nauka v XXI veke: Problemy i perspektivy", posvyashchennogo 80-letiyu KazNTU imeni K.I. Satpayeva [Proceedings of the International Forum "Engineering Education and Science in the 21st Century: Problems and Perspectives", Dedicated to the 80th Anniversary of KazNTU named after KI. Satpayev]. Almaty, 2014, Vol. II, pp. 156-160. (in Russ.)
3. Burkov V.N. Osnovy matematicheskoy teorii aktivnykh sistem [Fundamentals of the Mathematical Theory of Active Systems], Moscow, Nauka Publ., 1977. 254 p.
4. Talovskaya N.A., Samigullina G.Yu. [Psychological Portrait of the Modern Student]. International Journal of Applied and Fundamental Research, 2010, №3, pp.47-48. (in Russ.)
5. M. Karpenko, M. Kibakin, V. Lapshov [Social Portrait of a Student of a Non-State University]. Higher Education in Russia, 2000, no. 3, pp. 99-104. (in Russ.)
6. Avanesov V.S. Kompozitsiya testovykh zadaniy [Composition of Test Tasks]. Moscow, ADEPT Publ., 1998. 217 p.
7. Neiman Yu.M., Khlebnikov V.A. Vvedeniye v teoriyu modelirovaniya i parametrizatsii pedagogicheskikh testov [Introduction to the Theory of Modelling and Pparametrization of Ppedagogical Tests]. Moscow, Prometheus Publ., 2000. 168 p.
8. Duplik S.V. [Models of Pedagogical Testing]. Bulletin of Kazan State Technical University named after AN Tupolev, 2003, no. 2, pp. 74-79. (in Russ.)
9. Avanesov V.S. Nauchnyye problemy testovogo kontrolya znaniy [Scientific Problems of Test Knowledge Control]. Moscow, Research Center for Quality Problems in Training Specialists, 1994. 135 p.
10. Karpova I.P. Sravneniye otkrytoy i zakrytoy form testirovaniya [Comparison of Open and Closed Forms of Testing]. Available at: http://ito.edu.ru/2008/Moscow/VII/VII-0-7872.html.
11. Dmitriev V.I. Prikladnaya teoriya informatsii [Applied Information Theory]. Moscow, Higher Schoo Publ., 1989. 328 p.
12. [Indices of Assessment of Reliability (Faultlessness) of Data Transfer in Networks]. Available at: http://www.km.ru/referats/0B094350342B4982A237BB25AFE255EB.
Received 4 May 2017
ОБРАЗЕЦ ЦИТИРОВАНИЯ
FOR CITATION
Буркова, И.В. Повышение эффективности процесса тестирования студентов на основе методов избыточного кодирования и фильтрации / И.В. Буркова, Т.В. Яскевич, Ш.М. Байматаева // Вестник ЮУрГУ. Серия «Компьютерные технологии, управление, радиоэлектроника». - 2017. - Т. 17, № 3. - С. 44-52. DOI: 10.14529Мсг170305
Burkova I.V., Yaskevich T.V., Baymataeva Sh.M. Increase in Efficiency of Process of Testing of Students on the Basis of Methods of Excess Coding and the Filtration. Bulletin of the South Ural State University. Ser. Computer Technologies, Automatic Control, Radio Electronics, 2017, vol. 17, no. 3, pp. 44-52. (in Russ.) DOI: 10.14529/ctcr170305
