CC BY
11
Дидактическая инженерия: модель построения оптимального расписания для поточного тестирования
Печеный Евгений Абрамович доцент, к.т.н., доцент кафедры информатики и прикладной математики, Казанский национальный исследовательский технологический университет, ул. К.Маркса, 68, г. Казань, 420015, (843)2314119 platova51 @таП. га
Старыгина Светлана Дмитриевна доцент, к.п.н., доцент кафедры информатики и прикладной математики, Казанский национальный исследовательский технологический университет, ул. К.Маркса, 68, г. Казань, 420015, (843)2314119 svetacd kazan@mail.ru
Аннотация
Для решения проблем в быстроразвивающемся и высокотехнологичном мире во многих областях человеческой деятельности, успешно используются инженерные методы, основанные на метрическом подходе, моделировании и использовании вычислительной техники.
В рамках дидактической инженерии как науки об организации учебной деятельности с использованием инженерных методов, основанных на цифровых технологиях, успешно решаются педагогические проблемы, которые не могут быть разрешены только психолого-педагогическими методами.
Приводится математически обоснованное решение задачи оптимальной организации поточного педагогического тестирования, при котором будут минимальными простаивание оборудования и длина очереди студентов. Для практического использования результатов исследования, в заключении приводится формула и пример построения оптимального расписания организации поточного тестирования «вручную».
To solve problems in fast paced and high tech world in many fields of human activity, successfully used engineering methods based on a metric approach, modeling and use of computer technology.
In the framework of the didactic engineering as a science about the organization of educational activities using engineering methods based on digital technology, successfully solved the pedagogical problems that cannot be solved only psychological-pedagogical methods.
Provides a mathematically grounded solution of the optimal organization of the production of pedagogical testing, which will be minimal downtime of equipment and the length of the queue of students.
For practical use of research results, the conclusion follows the formula and an example of constructing an optimal schedule of the organization of the production test manual.
Ключевые слова
педагогическое тестирование, модель массового обслуживания, оптимальное
расписание, дидактическая инженерия, смешанный поток, минимальная очередь
pedagogical testing, model queueing, an optimal schedule, didactic engineering, mixed flow, minimum turn
Введение
Педагогическое тестирование является широко и повсеместно распространенным инструментом контроля качества усвоенных знаний и, по-видимому, останется таковым в обозримом будущем [1, 2]. Немногочисленные противники критикуют (причем совершенно справедливо) тестовые испытания за отсутствие гибкости, за сложность учета индивидуальных особенностей тестируемых и т.п. Однако, по нашему мнению, это нисколько не дискредитирует саму идею, но указывает перспективные направления развития и очерчивает круг проблем, на которые следует обратить внимание разработчикам тестовых заданий и организаторам тестирования.
Следует заметить, что пока, к сожалению, известно мало работ посвященных исследованию администрирования процесса массового тестирования. Отсутствует обоснованная методика расчета параметров тестовых испытаний, в частности предельной продолжительности тестирования. Это не позволяет получить целостное представление о процессе и сформулировать алгоритм эффективного управления процедурой тестирования, который бы обеспечивал, наряду с высокой объективностью результатов контроля, создание комфортных условий для испытуемых.
Подробно остановимся на структурных особенностях процедуры компьютерного тестирования и ее количественных характеристиках.
К назначенному времени группа испытуемых в составе п персон прибывает в специализированную аудиторию, оснащенную m компьютерными терминалами (щ>п), которые подключены к базе тестовых заданий. Предварительно до всех участников доводятся сведения о предельной длительности тестирования V, т.е. продолжительности интервала, в течение которого система принимает и обрабатывает ответы на вопросы теста. По истечении этого времени доступ к базе знаний прекращается, и результаты тестирования сообщаются испытуемым, например, в виде процента верно выполненных заданий от общего числа предусмотренных. Уязвимым элементом описанной последовательности действий является назначение величины V, выбор которой в значительной мере носит субъективный характер и определяется опытом и личными качествами организаторов. Ниже мы покажем, как выбор продолжительности тестирования может быть обоснован и объективирован.
Обозначим через S продолжительность временного интервала, в течении которого с полным набором тестовых заданий может справиться квалифицированный специалист предметник [3, 4]. В дальнейшем будем называть его «эксперт», а величину S - экспертным временем. Ясно, что вряд ли кто либо из приступивших к тестированию в момент времени t=0 завершит его раньше момента S. Таким образом, весь состав первой группы закончит тестирование на интервале ^,У], протяженность которого будем называть эффективным временем тестирования. Отсюда следует, что средняя продолжительность пребывания испытуемых в системе будет принадлежать отрезку V]. Величину назовем средним эффективным
временем тестирования.
Приведенные рассуждения дают основания утверждать, что процедура массового тестирования может быть описана в терминах теории массового обслуживания. По нашему мнению существует три принципиально различных варианта организации этой процедуры.
1. Испытуемые самостоятельно и независимо друг от друга выбирают время пребывания и, при наличии свободных терминалов, получают доступ к базе тестовых вопросов. В противном случае они заносятся в лист ожидания и подключаются к обслуживанию по мере освобождения терминалов в порядке живой очереди. Этот вариант не предполагает построение расписания, и не представляет значительной сложности для математического моделирования, однако его реализация неизбежно приведет к возникновению большой очереди в «часы пик» и, как следствие, путаницы, нервозности, конфликтным ситуациям. В практике массового тестирования этот вариант, как правило, применения не находит.
2. Тестирование осуществляется по заранее составленному расписанию в составе групп, численный состав которых меньше или равен m. Время прибытия групп назначается кратным V. Для всех испытуемых любой группы доступ к базе знаний открывается одновременно, и только поле полного освобождения системы тестируемыми предшествующей группы. Данный вариант используется очень широко. Он прост, надежен, не приводит к накоплению очереди, гарантирует порядок. Недостатком его является крайне нерациональное использование оборудования и значительная длительность мероприятия в целом, растущая пропорционально числу групп, внесенных в расписание.
3. Испытуемые прибывают в составе заранее сформированных групп в соответствии с расписанием и приступают к тестированию, не ожидая полного освобождения системы членами предшествующей группы. На короткое время это приводит к образованию небольшой очереди, однако возникающие в связи с этим незначительные неудобства, компенсируются существенным увеличением коэффициента загрузки оборудования и ощутимым уменьшением продолжительности кампании тестирования. Движение тестируемых в подобном режиме носит название смешанного потока, организация которого допускает как групповой, так и индивидуальный порядок прихода и обслуживания заявок. Математические модели смешанных потоков произвольного вида пока не известны, поэтому для получения описания подобных объектов чрезвычайно важно находить и учитывать такие их особенности, которые позволили бы использовать какие либо упрощающие предложения.
Прежде всего, заметим, что процедура массового тестирования относится к классу процессов с ограниченным временем жизни заявок, которые характеризуются конечным предельным значением времени пребывания заявок на обслуживании. В нашем случае, это значение равно V. Такие процессы отнюдь не редкость. К ним относятся, например, торговля товарами (преимущественно пищевыми), имеющими ограниченный срок годности, перехват воздушных целей в заданной области пространства и ряд других. Другой важной и сугубо индивидуальной особенностью потока массового обслуживания является его самоорганизуемость, выражающаяся в постепенном размывании групповой составляющей потока вплоть до ее полного исчезновения. Действительно, пусть доля испытуемых, полностью использующих установленный лимит времени и принудительно отключаемых по его истечению равна у. Если принять вполне правдоподобную гипотезу о приблизительно одинаковой в среднем готовности различных групп, то можно считать величину у постоянной для данного потока тестируемых. Очевидно, что доля тестируемых первой, в порядке следования, группы, одновременно покинувших систему в момент времени V будет равна у, и составит групповой фрагмент смешанного потока. Остальные студенты, доля которых 1-у, справившиеся с заданиями раньше, выйдут из системы на временном интервале V] и образуют ординарный фрагмент потока. Отсюда следует, что групповые фрагменты в составе смешанного потока процесса массового тестирования могут формироваться только в моменты времени кратным V. И если режим потока останется неизменным, а административное вмешательство ограничивается только контролем предельного времени пребывания в системе, то, как было показано в [5],
размывание групповой составляющей происходит в темпе геометрической прогрессии, знаменатель которой равен у. Таким образом, если аудитория, где проводится тестирование, имеет 20-35%, то к моменту 1=3У групповой фрагмент полностью устраняется и поток становится ординарным.
Значительный объем натурных наблюдений, выполненных авторами при организации тестирования студентов дают основания считать, что функция плотности вероятности распределения времени пребывания испытуемых в эффективной области тестирования имеет вид, представленный на рис 1 [6].
8
V
Рис. 1. Вид функции плотности вероятности распределения времени пребывания в эффективной области тестирования
Для описания характерных особенностей этой зависимости наилучшим, на наш взгляд, образом подходит уравнение кривой, относящейся к так называемому семейству кривых Пирсона.
/ (х) = М (1 - ^ У- (1 - у) (1)
где показатели степени ^ и определяются через первые четыре момента распределения, причем ^ > 1; ^ < д2 < 1.
Зависимость, представленная на рис. 1, удачно иллюстрирует вполне объяснимое желание значительной части испытуемых, как можно полнее использовать отведенный лимит времени и окончить тестирование вблизи контрольной метки. Это сложная многопараметрическая зависимость, используемая в исследовательской практике довольно редко в силу трудоемкости идентификационной процедуры. Поэтому мы предлагаем другой путь, который представляется более простым, как в реализации, так и в интерпретации результатов.
Выполним линейное преобразование координат по формуле
х = V - /
(2)
Фактически это означает перенос положения начала координат в точку / = V и изменение направления оси абсцисс на противоположное.
Таким образом, переменная х имеет смысл обратного времени и показывает срок, остающийся до момента принудительного отключения. Точка 5 на оси I, как следует из формулы (2), отображается на оси х в точку V — 5. Функция плотности вероятности распределения «обратного времени» g(х) прекрасно аппроксимируется кривой, приведенной на рис. 2, описание которой задается однопараметрической экспонентой
Я(т) =
Ж 0
если х> 0 если х < 0
жх
где ц - интерпретируется как интенсивность потока испытуемых, выходящих из системы, и определяется как величина обратная среднему времени пребывания в
эффективной области тестирования, т.е. ¡л = —.
Рис. 2. Вид функции распределения «обратного времени»
Таким образом, задача интерпретации функции g(т) оказывается весьма простой и легко решаемой. Выбор вида функции g(т) основан на многочисленных натурных наблюдения авторов, которые дают основания утверждать, что количество пользователей, выходящих из системы в режиме ординарного потока в эффективной области тестирования, возрастает по экспоненциальному закону.
Во избежание недоразумений обоснуем правомерность и целесообразность перехода от функции /(?) к функции g(т). Функция /(?), представленная на рис. 1,
имеет конечный размах и вполне удовлетворительно иллюстрирует распределение времени пребывания пользователей в эффективной области тестирования, когда групповая составляющая потока устранена полностью. Однако с помощью этой функции затруднительно получить сколько-нибудь ясный ответ на вопрос, который интересует нас и всех тех, кто занимается организацией массового тестирования: чему равна доля испытуемых, использующих весь отведенный лимит времени полностью.
Обратимся к рис. 2. Кривая на этом рисунке, как было сказано выше, представляет собой график функции плотности распределения вероятности, и следовательно, площадь фигуры, ограниченной этой кривой и координатными осями, равна единице. Иначе говоря
| !Л£ёт = 1
(4)
Участок эффективного тестирования, отсчитываемый по координате т есть отрезок [0, V — 5']. Отсюда, следует, что незакрашенная часть площади под кривой g(т) на рис. 2 определяет долю участников тестирования уложившихся в установленный лимит времени, а закрашенная - численно равна доле участников принудительно отключенных от системы до достижения контрольного времени. Заметим, что эта величина совпадает с долей группового фрагмента у для первой, в порядке следования, группы тестируемых. Таким образом
V—5
у = 1 — I
0 . (5)
Это позволяет сделать важный вывод, касающийся проблем администрирования процессом массового тестирования: доля участников, использующих лимит времени полностью, зависит от протяженности эффективной
Т
области тестирования и интенсивности потока испытуемых покидающих систему по завершению работы.
Определение экспертного времени 8 не вызывает затруднений и, как правило, не дает оснований сомневаться в ее надежности. Значение интенсивности ж находится через величину среднего времени пребывания пользователей в системе и не обладает аналогичной устойчивостью. Это вполне естественно, так как готовность студенческих групп значительно менее однородна готовности членов экспертного сообщества. Однако значительный массив наблюдений выполненных в ходе различных тестовых испытаний в течении ряда лет, который имеется в распоряжении авторов, позволяет говорить о том, что в среднем продолжительность экспертного времени в два раза меньше среднего времени пребывания испытуемых в систем, т.е. х «25 . Очевидно, что в этом случае оказывается в«5, т.е. среднее время
пребывания в эффективной области тестирования приблизительно равно экспертному времени. В таблице 1 представлена зависимость доли испытуемых, остающихся в системе до окончания контроля времени, от продолжительности эффективного времени тестирования при в = 5 = 20 мин., рассчитанная по формуле 5.
Таблица 1.
Зависимость доли испытуемых полностью использующих лимит времени от
продолжительности эффективной фазы тестирования
Продолжительность эффективной фазы тестирования в мин 30 35 40 45 50
Доля испытуемых, использующих лимит времени полностью у 0,233 0,174 0,135 0,105 0,082
Функция плотности вероятности распределения «обратного времени» для этого случая имеет вид g(х) = 0,05е ° 05х.
Полученные результаты позволяют перейти к основной теме настоящего исследования: построению расписания процесса массового тестирования в режиме смешанного потока и обоснованию в системе V. Поскольку смешанный поток рассматриваемого типа, как отмечалось выше, самоустраняет имеющийся в нем групповой фрагмент, нашей целью будет расчет административного воздействия сохраняющего объем группового фрагмента, при котором допустимо использовать для описания потока в целом экспоненциальную функцию распределения. Это позволит сохранить те преимущества, которые дает смешанный поток в части рационального использования оборудования и обеспечить возможность прибытия студентов на тестирование организовано в составе групп без накопления сколь-нибудь значительной очереди.
Если рассматривать поток покидающих систему по окончанию тестирования в привязке к координате «обратного времени» х , то его групповой фрагмент будет сосредоточен в точке х = 0. На рис. 3-7 представлены гистограммы распределения «обратного времени» пребывания для смешанных потоков, параметры которых приведены в таблице 1, в сравнении с функцией экспоненциального закона распределения g(х) = 0,05—005х.
Рис. 3. Активное время обслуживания 20 мин.
Рис. 4. Активное время обслуживания 25 мин.
Рис. 5. Активное время обслуживания 30 мин.
Рис. 6. Активное время обслуживания 35 мин.
Рис. 7. Активное время обслуживания 40 мин.
Как следовало ожидать, различия оказываются тем более существенными, чем продолжительность эффективной фазы тестирования меньше. Для случаев, когда продолжительность эффективной фазы тестирования равна 30 или 35 минут, а
V - Б
отношение - находится между 1,5 и 1,75, эти различия прослеживаются на
9
гистограммах рис. 3 и 4 сколь явно, что выдвигать гипотезу о близости распределений
этих поток экспоненциальному закону заведомо бессмысленно. Проверим
V - Б „ V - Б „„г справедливость данной гипотезы для случая —-— = 2 и —-— = 2,25 , использовав с
этой целью аппарат имитационного моделирования.
На достаточно представительных выборках (и 100 единиц), запустим имитационную модель для вариантов, представленных на рис. 5 и 6, и найдем число испытуемых, покидающих систему, в каждой из последовательности пятиминутных интервалов, формирующих разряды гистограмм рис. 3-7 процедур проверим гипотезу о том, что функция §(т) = 0,05-005г может использована для описания этих потоков, а административное вмешательство, выражающееся в ограничении продолжительности тестирования, для этих потоков статистически не значимо. Проверку выполним по классическому критерию согласия и более мягкому критерию Романовского.
Результаты имитационного моделирования и промежуточных вычислений сведены в таблицу 2.
Таблица 2.
Наблюдаемые и теоретические частоты, полученные в ходе имитационного
№ Р } Продолжительность эффективной фазы 40 мин к=102 Продолжительность эффективной фазы 45 мин к=99 Разрядные интервалы времени
] п ] ] п ]
1 0,2268 23,13 35 22,45 33 0-5
2 0,1766 18,01 17 17,48 17 5-10
3 0,1376 14,04 14 13,62 13 10-15
4 0,1071 10,92 11 10,60 10 15-20
5 0,0834 8,51 9 8,26 7 20-25
6 0,0650 6,63 7 6,44 7 25-30
7 0,0506 5,16 5 5,01 5 30-35
8 0,1554 15,85 4 15,38 7 >35
Теоретические значения частот ~ вычислялись по формуле
~; = Р • к ' ' (6)
где Р - относительная частота соответствующего разряда экспоненциальной функции g(г) = 0,05-005г; к - объем выборки.
Пользуясь материалами таб. 2 найдем значения критерия х' по известной формуле [7]
= П . (7) Для продолжительности эффективной фазы тестирования равной 40 минут и
V - Б V - Б -= 2 значение х" = 15,07 , а для 45 минутного интервала при -= 2,25
в в
значение %г = 9,84. Табулированное критическое значение %1 для уровня значимости
а = 0,05 и числа степеней свободы у = ё - 2 , где ё - число разрядов таб. 2, равно
— V — Б 2 2 V — Б
12,6. Таким образом, для случая —-— = 2 X > X , а для случая —-— = 2,25
%г < Х,р . Это означает, что с вероятностью ошибка 5% по критерию согласия х2 гипотеза об экспериментальном распределении «обратного времени» пребывания
V - Б „ V - Б „„г
—-— = 2 должна быть отвергнута, а для потока —-— = 2,25 принята.
Проверка по критерию Романовского
1х2 -у\ я = 1£_1
<1у (8)
указывает на возможность принятия гипотезы экспоненциального распределения «обратного времени» пребывания для обоих режимов тестирования, поскольку при
V - Б V - Б -= 2 вычисления по формуле (8) дают результат ^=2,62, а при -= 2,25
вв
Я=1,11, тогда как критическое значение Якр=3.
Очевидно, что аналогичные проверки режимов тестирования,
- V-Б характеризующихся величиной отношения -> 2,25, дадут заведомо
в
V - Б „
положительный результат, а для режимов с величиной отношения —-— < 2 -отрицательный. Это позволяет утверждать, что состояние, определяемое отношением
V - Б „
—-— = 2, является пограничным. Оно разделяет режимы тестирования на те, в
которые административное вмешательство, выражающееся в ограничениях на время выполнения заданий, существенно деформирует параметры потока пользователей, качественно меняя его характеристики, и те, где оно оказывается статически
V - Б
незначимым. Таким образом, по своему содержательному смыслу отношение -
в
представляет инвариант организующей структуры процесса тестирования. На
практике с помощью отношения V - Б можно обоснованно осуществлять выбор
предельной продолжительности тестирования V, и прогнозировать число испытуемых, остающихся в системе до истечения лимита времени. Заметим, что пограничному
V - Б
значению инварианта - соответствует доля испытуемых, использующих лимит
9
времени полностью, у=0,135 (см. таб. 1). Эта величина, как хорошо известно, практикующим педагогам, примерно соответствует доле обучающихся не проявляющих интереса к развитию своих способностей и безответственно относящихся к учебному процессу. В любой академической группе (учебном классе) такие лица составляют 10-15% от общей численности. Их вероятностный неуспех при выполнении тестовых заданий объясняется не недостатком времени, а отсутствием
V - Б
знаний по предмету, поэтому увеличение отношения - сверх 2-2,25 вряд ли
9
целесообразно.
Вернемся к задаче построения расписания для процесса массового тестирования, протекающего в режиме смешенного потока. Сделаем два предварительных замечания, важных, по нашему мнению, для понимания существа проблемы.
1. Переход от чисто группового варианта тестирования к тестированию в режиме смешанного потока тем менее эффективен, чем большая часть испытуемых использует весь представленный лимит времени. Действительно: если большинство тестируемых задерживаются в системе на время равное V, то число возможных подключений в режиме ординарного потока будет небольшим, а экономия времени крайне незначительной. Поэтому в данной работе мы ограничимся задачей построения расписания тестирования в режиме смешанного потока только для случаев, когда V - Б „
—-— > 2 и влияние групповой составляющей становится статистически не значимым.
2. Смешанный поток рассматриваемого типа, как было отмечено ранее, самоустраняет имеющий в его составе групповой фрагмент. Построение расписания фактические представляет собой дополнительное административное вмешательство, сохраняющее групповую составляющую потока и препятствующее его самоорганизации.
В качестве основы для построения искомого расписания возьмем результаты имитационного моделирования, с помощью которого найдем количественную оценку эффективности перехода от чисто группового режима тестирования к тестированию в режиме поддерживаемого смешанного потока. Критерием эффективности будем считать величину равную времени, которое может быть сэкономлено за счет возможности подключения к тестированию пользователей в режиме ординарного потока. Результаты имитационного эксперимента представлены в таблице 3.
Таблица 3.
V - Б 9 Число испытуемых в группе 25 чел. Число испытуемых в группе 30 чел.
2 2,25 2,5 2 2,25 2,5
Доля группового 0,135 0,105 0,082 0,135 0,105 0,082
фрагмента, у
Процент 20,0 21,4 22,3 20,4 21,4 21,9
экономии
времени, %
Коэффициент 13,8 13,2 14,6 12,1 12,0 11,7
вариации, %
Анализ результатов имитационного моделирования позволяет утверждать, что экономия времени, получаемая при отказе от чисто группового режима тестирования, практически не зависит от численного состава групп, ни от доли
V - Б
группового фрагмента в составе потока, при условии, что-> 2. Это подтверждает
в
установленный выше факт статистической не значимости групповых составляющих смешанных потоков, доля которых не превосходит 13,5%. Близость коэффициентов вариации указывает на высокую стабильность полученных результатов, и дает основания считать 20% экономии времени, возникающую при переходе на смешанный режим подключения к тестированию, экспериментально доказанной.
Пусть общее число участников тестирования равно N. Сформируем из них L временных групп, численный состав которых (кроме завершающей в порядке следования) равен числу рабочих терминалов m в аудитории, где проводится тестирования. Такая подготовка необходима в силу того, что расписание, построенное для существующих академических групп различного численного состава будет менее эффективным. Группы эти являются вспомогательными образованиями, создаваемыми только на время проведения тестирования. Формально связь между числом таким групп, мощностью базы тестируемых и числом рабочих терминалов может быть задана соотношением
гы
если результат есть целое число
I =
т
N
т
N
+1 если — число нецелое
т (9)
Опишем алгоритм построения расписания процесса массового тестирования, организованного в режиме группового прихода участников и подключения их к системе в режиме смешанного потока. Ограничимся здесь рассмотрением только
V - Б 0
пограничного состояния, определяемого отношением —-— = 2.
1. В начальный момент времени t = 0 первая из поставленных в расписание групп приступает к тестированию, занимая все имеющиеся терминалы. Таким образом
А = 0.
2. Поскольку путем обработки результатов имитационного эксперимента доказана возможность экономии «20% времени эффективной фазы тестирования находим время прибытия и начала тестирования второй группы по очевидной формуле ^ = V - 0,2(7 - Б) = 0,8V - 0,2Б.
3. Оценка, полученная с помощью формулы (5), показывает, что к этому моменту «54% испытуемых первой группы закончат тестирование и, следовательно, не менее 54% смогут приступить к тестированию в момент времени ^, а остальные
будут подключаться к системе по мере освобождения рабочих мест, но не позднее момента V. Таким образом, никто из ожидающих не проведет в очереди больше 0,2(К - Б) минут.
Действуя аналогично, определим время прибытия третьей группы А = ^ + V - 0,2(К - Б) = 1,6V - 0,4Б и, с помощью несложных индуктивных рассуждений получим расчетное соотношение
* = (г - 1)(0Ж - 0,2Б), (10)
где г - порядковый номер группы в расписании.
Заключение
На практике оптимальное расписание для организации поточного тестирования можно построить «вручную». Рассмотрим иллюстративный пример, демонстрирующий действие предлагаемого алгоритма. Пусть экспериментальное время S=20 мин., полное время V=60 мин., среднее время пребывания 9=20 мин., число рабочих терминалов m=20. Тогда, согласно результатам имитационного моделирования, ожидаемая величина экономии времени по сравнению с чисто групповым режимом организации тестирования составит 0,2^^)=8 мин. Положим время начала тестирования первой группы ^=9.00 и, округляя до ближайшего момента времени кратно - 10 минутам, получим Ь=9.50. При этом (см. п. 3 описания алгоритма), 11 из 20 испытуемых смогут получить доступ к базе тестовых заданий немедленно, т.е. в момент времени Ьа время ожидания девяти оставшихся не превысит 10 минут. Используя формулу (10) построим расписание пребывания всех групп, привлекаемых к тестированию:
tз=10.40, 14=11.30, t5=12.20 и т.д.
Литература
1. Галеев И.Х., Иванов В.Г., Аристова Н.В., Урядов В.Г. Сравнительный анализ программных комплексов TestMaker и ACT-Test // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" - 2007 - V. 10 -N 3. - С.336-360. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html
2. Галеев И.Х., Колосов О.В., Филяев А.И. Сравнительный анализ систем компьютерного контроля знаний // Материалы Международной научно-практической конференции «Информационные технологии в многоуровневой системе образования». - Казань: ЗАО "Новое знание", 2005 - С. 101-105.
3. Старыгина С.Д., Печеный Е.А., Нуриев Н.К. Исследование операций: математическое программирование: учеб. пособие. - Казань: Отечество, 2016. -296 с.
4. Старыгина С.Д., Печеный Е.А., Нуриев Н.К. Построение математической модели измерительного средства педагогического тестирования // Информационные технологии и математическое моделирование. - Томск: Изд-во НТЛ, 2017. - С. 229-234.
5. Нуриев Н.К., Али А.А., Печеный Е.А. Моделирование однономенклатурного смешанного потока с ограниченным временем обслуживания // Вестник Казанского технологического университета. № 24. - 2016. - С. 120-123.
6. Старыгина С.Д., Нуриев Н.К., Печеный Е.А. Построение математической модели процесса регламентации педагогического тестирования // Информационные технологии и математическое моделирование. - Томск: Изд-во НТЛ, 2017. - С. 223-229.
7. Гмурман В.Е. Теория вероятностей и математическая статистика. - М: Высшая школа, 2005. - 480 с.
