CC BY
93
Vol. 10. No. 3 (57). 2015
С. Д. Кулик, докт. техн. наук, старший научный сотрудник, профессор Национального исследовательского
ядерного университета «МИФИ», г. Москва, sedmik@mail.ru
Метод последовательного анализа для тестирования человека-оператора
В статье рассмотрена проблема тестирования человека на предмет допустимости выполнения им работы оператора в информационной системе . Важность решения указанной задачи особенно велика для правоохранительных органов, где от эффективности работы личного состава зависит эффективность работы экспертных подразделений МВД России . Рассмотрен человек-оператор, его ошибки, отказ и надежность . Для тестирования человека-оператора применен последовательный анализ, который изначально для этого не был предназначен . С необходимой степенью детализации показано, как можно применить последовательный анализ в этом случае . Проведены экспериментальные исследования по тестированию человека-оператора с помощью последовательного анализа, который позволяет на практике учитывать ошибки оператора и сокращать трудоемкость тестирования почти вдвое . Перспективность применения последовательного анализа для тестирования человека-оператора подтверждается экспериментально . Полученные результаты могут быть использованы для ряда систем поддержки принятия решений, например в области криминалистики .
Ключевые слова: тестирование, последовательный анализ, человек-оператор, вероятность пропуска цели, вероятность ложной тревоги .
Введение
За последнее время технические средства автоматизированных информационных систем претерпели существенные изменения в сторону значительного улучшения их характеристик. При этом важный элемент этих систем, такой как человек, практически не изменился. Способности усредненного человека-оператора по-прежнему остаются на том же уровне, что и 50-100 лет назад, а его функции приобретают все большее значение, так как иногда они сильно влияют на эффективность системы в целом. От эффективности работы личного состава правоохранительных органов зависит эффективность работы экспертных подразделений МВД России. Анализ работ [1-5] и других показывает, что учитывать роль человека очень важно. Современные автоматизированные системы и в частности автоматизированные факто-
графические информационно-поисковые системы (АФИПС) проектируют и разрабатывают, опираясь на комплекс стандартов и руководящих документов, имеющих отношение к автоматизированным системам. Основным документом по этой теме является техническое задание (ТЗ) на автоматизированную систему. Особое внимание во всех этих документах обращено на работу человека в системе.
Отметим кратко следующие моменты. С одной стороны, подготовка персонала является одним из этапов создания автоматизированной системы [1]. С другой стороны, эффективное функционирование автоматизированной системы требует специальной подготовки пользователей и обслуживающего персонала. Требования к численности и квалификации персонала системы, режиму его работы, порядку подготовки и контроля знаний и навыков, а также требования, задающие необходимое качество взаимо-
ПРИКЛАДНАЯ ИНФОРМАТИКА / JOURNAL OF APPLIED INFORMATICS /-
' Том 10. № 3 (57). 2015
действия человека с системой,требования к оснащению этой системы устройствами для обучения персонала должны быть указаны в ТЗ. Хорошо известен такой инструмент, как последовательный анализ [6-16]. Совместно с аспирантом К. И. Ткаченко у автора возникла идея применить последовательный анализ [17; 18] для оценки подготовленности эксперта, например почерковеда в области криминалистики [20]. Необходимо отметить, что кроме последовательного анализа существует целый набор методов в области учебного процесса — достаточно упомянуть хорошо известную в теории ответов на вопросы (IRT, Item Response Theory) од-нопараметрическую модель Г. Раша [21; 22].
В IRT полагают, что такой параметр, как вероятность решения испытуемым текущего n-го задания P, оценивается по следующей формуле [22]:
P = ■
э1.7( е-о„)
1,7(е-о„),
1 + e
где 8 — специальный параметр, выраженный в логитах [22] и показывающий уровень подготовленности испытуемого выполнять задания; стп — специальный параметр, выраженный в логитах [22] и показывающий уровень сложности текущего задания для испытуемого. Зная P, можно при некоторых ограничениях оценить вероятность ошибок испытуемого и принять решение о его эффективности. Разработаны различные модификации модели Г. Раша, на которых мы пока останавливаться не будем. В настоящей работе, как и в работах [17; 18], предлагается использовать последовательный анализ для тестирования человека-оператора.
Человек-оператор
Под человеком-оператором понимают «подготовленного к управлению данным типом сложной системы специалиста, имеющего возраст в допустимых пределах, здорового, отвечающего по своим индивидуальным качествам требованиям рассма-
триваемой деятельности, официально допущенного к ней» [2, с. 19-20].
Далее под человеком-оператором (или просто оператором) будем понимать человека, который был допущен к выполнению технологических операций при взаимодействии, например, с АФИПС как внутри системы при индексировании объектов (поступивших в качестве запроса) при обработке предварительных результатов поиска — рекомендательного списка (РС), так и снаружи системы при формировании потока запросов к ней. В случае АФИПС человек-оператор, формирующий описания объектов, является индексатором АФИПС. Человек-оператор, посылающий запросы в АФИПС, является одновременно и пользователем системы, а человек-оператор, обрабатывающий рекомендательный список, является лицом, принимающим решение (ЛПР).
Известно [3, с. 220], что в ряде задач бывает полезно использовать понятие надежности человека-оператора как отдельного элемента человеко-машинной системы. В этом случае под безошибочной работой человека-оператора в течение определенного времени понимается вероятность его безотказной работы [3, с. 220]. Отметим, что надежность оператора характеризуется показателями безошибочности, готовности, восстанавливаемости и своевременности [5, с. 39].
Далее будем придерживаться следующих определений (см. работу [2, с. 21-24]) ошибки и отказа, связанных с человеком-оператором.
Ошибка человека-оператора — такое его действие или бездействие, которое привело к отклонению управляемых параметров технической части системы за допустимые пределы или запрещено правилами [2, с. 23-24].
Отказ человека-оператора можно трактовать как переход его в такое состояние, при котором становится невозможным его дальнейшее нормальное функционирование (нормальная жизнедеятельность). От-
Vol. 10. No. 3 (57). 2015
каз может проявляться и в действиях, которые привели к такому отклонению управляемых параметров за установленные пределы, от чего управляемая система перестала выполнять возложенные на нее функции [2, с. 24].
Надежность человека-оператора определяется его способностью в течение заданного интервала времени в предусмотренных условиях сохранять нормальное состояние жизнедеятельности и выдерживать технические параметры управляемой системы в установленных пределах, а также выполнять все возложенные на него функции по поддержанию заданного режима работы управляемой техники [2, с. 57].
Известно [2, с. 21], что понятие ошибка в деятельности человека-оператора всегда соотносится с другим очень важным и существенным понятием погрешность. Применительно к АФИПС ошибкой индексатора может являться неправильное определение им градации признака, например в результате неточного измерения (с большей погрешностью) некоторого показателя. Отказ индексатора вероятен, если он не может проиндексировать поступивший сложный объект. Ошибка лица, принимающего решение, вероятна в случае, скажем, пропуска им тождественного запросу объекта из РС, что и приводит в результате к неправильному ответу АФИПС на запрос. Отказ лица, принимающего решение, вероятен в случае, когда он не может обработать РС определенной длины за имеющийся ресурс времени.
Человек как часть технической системы рассматривался многими исследователями неоднократно и с разных позиций. Можно полагать, что исследования работы человека-оператора далеки от своего завершения и требуют дополнительного изучения и анализа проблем взаимодействия человека-оператора с информационной системой, такой как АФИПС.
Известно [3, с. 37], что для того, чтобы человек реагировал на сигнал, он должен его воспринять. В некоторых случаях [4, с. 123]
показано, что плотность распределения ошибки восприятия практически подчиняется нормальному закону распределения. Известно [2, с. 187], что ошибки восприятия могут порождаться плохими эргономическими характеристиками, например индикаторов. На практике в случае АФИПС индексатор должен при индексировании воспринять те признаки, которыми описывается объект. В основе оценки чувствительности человека-оператора лежит понятие о пороге ощущения [3, с. 37]. Полагают [3, с. 39], что на значения порогов чувствительности достаточно сильно влияет физическое и психологическое состояние человека-оператора, в частности степень его утомления. Из работ [2, с. 129; 3, с. 10] следует, что утомление тесно связано с работоспособностью. Так, в работе [3, с. 10] под утомлением понимается временное уменьшение работоспособности, вызванное интенсивной или длительной работой.
Выделяют три стадии утомления [3, с. 10]: усталость, перегрузка, истощение. Утомление влияет на безошибочность работы человека-оператора. Влияние состояния утомления на безошибочность работы человека-оператора, как считают авторы [2, с. 131], нуждается в исследовании с целью выявления более четких критериев установления той границы утомления, при достижении которой человек-оператор не имеет права работать. Так, в случае АФИПС максимально возможная длина РС, которую ЛПР может безошибочно обработать, и является той установленной границей, после превышения которой человек-оператор не имеет права работать.
В целом известно [4, с. 62-63; 5, с. 43-46], как протекает деятельность человека-оператора при увеличении коэффициента загрузки [5, с. 43-46] или при повышении темпа [4, с. 62-63] предъявления ему информации, на основе которой он должен производить определенные действия. Так, в случае, когда темп предъявления человеку-оператору информации соответствует его пропускной способности, процент его ошибочных дей-
Том 10. № 3 (57). 2015
ствий практически остается неизменным и достаточно небольшим. В случае повышения темпа предъявления информации ответственный за порученное дело человек-оператор за счет увеличения психофизиологической нагрузки сохраняет свое прежнее качество работы. При последующем увеличении темпа человек-оператор продолжает выполнять работу с небольшим ухудшением ее качества. Если и дальше увеличивать темп, то в итоге наступит ситуация, когда человек-оператор отказывается выполнять какие-либо действия (наступает стрессовая ситуация срыва деятельности) [4, с. 62-63].
Инженерно-психологические характеристики человека-оператора рассмотрены во многих работах, например в [3, с. 34-37; 4, с. 36-76; 5], и в настоящее время достаточно хорошо изучены и известны.
При взаимодействии с информационной системой человек-оператор выполняет много функций и соответствующие им необходимые различные технологические операции, которые обеспечивают поступление и обработку запросов в систему. Анализ работы многих систем из различных областей их использования и в частности информационных систем криминалистического назначения показал, что для объективного анализа обычно достаточно учесть несколько основных функций и соответствующие им необходимые технологические операции, выполняемые человеком-оператором как в самой системе, так и вне ее.
В общем случае признаки, которыми могут быть описаны объекты и которые используются человеком-оператором, разделяются на следующие три группы:
1) классификационные признаки, которые имеются у каждого объекта и могут быть формализованы для использования их индексатором при составлении описаний объектов;
2) идентификационные признаки, которые имеются лишь у части объектов и могут быть также формализованы для использования их индексатором при составлении описаний объектов;
3) признаки, которые не могут быть формализованы и используются только лицом, принимающим решение, лишь при непосредственном сравнении объектов друг с другом при обработке рекомендательного списка.
С помощью признаков первой группы обычно реализуется алгоритм схемы классификации объектов по их описаниям (алгоритм распознавания). Предполагается, что схема классификации (алгоритм схемы классификации и ее характеристики) известна или должна быть задана в ТЗ. На базе второй группы признаков реализуется алгоритм распознавания (сравнения) объектов по их описаниям. Например, с его помощью поисковый робот в АФИПС формирует РС для лица, принимающего решение. Эти алгоритмы для схемы классификации объектов и для распознавания(сравнения) объектов, если позволяют признаки, могут быть реализованы известным образом с помощью теории распознавания образов или теории нейронных сетей. Для практических целей в качестве объектов могут быть использованы, в частности, данные криминалистических систем, систем обнаружения объекта по изображению [20] и т. п. Далее полагаем, что человеку-оператору предлагаются задания, в которых требуется определить признаки объекта. В настоящее время уже известно, как следует использовать метод последовательного анализа для решения таких задач, как задачи распознавания образов [12]. Однако при этом все-таки остается неясным, как применить это метод на практике для тестирования человека-оператора. Далее перейдем к последовательному анализу тестирования человека-оператора.
Последовательный анализ
В случае последовательного анализа необходимо задать оценки вероятностей 7, Ь, p0 и р1, а также правило принятия решений для определения дефектности (или пригодности) конкретного изделия из представлен-
-ч ПРИКЛАДНАЯ ИНФОРМАТИКА / JOURNAL OF APPLIED INFORMATICS
Vol. 10. No. 3 (57). 2015 '
ной партии изделии и итоговое правило принятия решений для определения дефектности (или пригодности) всей партии изделий.
Будем для удобства полагать, что все признаки (характеристики) объекта задания представлены на практике только одним обобщенным признаком (являющимся заданным признаком). В соответствии с работами [6; 17; 18] введем следующие частные показатели эффективности:
p0 — верхняя граница вероятности p; p1 — нижняя граница вероятности p; p — вероятность дефекта для заданного признака объекта задания; при p > p1 обычно забраковывают человека-оператора, так как он допускает достаточно много ошибок (т. е. человек-оператор работает неэффективно), а при p < p0 обычно принимают решение о подготовленности человека-оператора (т. е. человек-оператор работает эффективно);
7 — вероятность принять решение о неподготовленности человека-оператора (для заданного признака объекта задания) в случае, когда человек-оператор подготовлен (т. е. р < Ро);
Ь — вероятность принять решение о подготовленности человека-оператора (для заданного признака объекта задания) в случае, когда человек-оператор не подготовлен (т. е. р > Р1);
dm — число дефектов среди первых т реализаций человеком-оператором значений для заданного признака объекта задания.
Необходимо отметить [17], что роль партии изделий выполняет набор реализаций значений для заданного признака объекта задания, сформированных человеком-оператором (набор объектов заданий); роль изделия из партии выполняет конкретизация (реализация значений) человеком-оператором заданного признака объекта задания.
Пусть р0 < р1. В соответствии с введенными обозначениями справедливо [6; 18]
ат = А0 + Э • т ,
т = А +Э •m,
где
s = m-
lnbp>
1-Pi
ln
b
in P - in1^ Po 1-Po
; ho =
1-z
in Pi - in1-pi '
Po
1-Po
in
h = ■
1-b z
inP - in
Po
1-P1 '1-Po
э, А0, — временные переменные; ат — нижняя граница, при пересечении которой по текущему заданному признаку объекта задания принимается решение о том, что человек-оператор подготовлен;
гт — верхняя граница, при пересечении которой принимается решение о том, что человек-оператор не подготовлен.
При последовательном анализе человек-оператор выполняет трудоемкое исследование характеристик объектов заданий выборки при тестировании до тех пор, пока выполняется условие [6; 18] ат < dm < гт. Текущее испытание сразу прекращают (и соответственно принимают итоговое решение), когда dm в первый раз нарушает следующее условие:
если dm > гт, то забраковать человека-оператора;
если dm < ат, то человек-оператор подготовлен.
На практике ат и гт оценивают заранее еще до проведения самого испытания человека-оператора (сам способ оценки можно найти в [6; 18]).
А. Вальд и Дж. Вольфовиц доказали необходимую для практики теорему о минимуме средних размеров выборок (числа наблюдений). Эта теорема [6, с. 292] утверждает, что последовательный критерий отношений вероятностей требует наименьшего в среднем числа наблюдений.
Оценка эффективности показала [6, с. 85], что последовательный критерий обеспечивает выигрыш примерно 50% не-
Том 10. № 3 (57). 2015
обходимого числа испытаний по сравнению с обычным наиболее мощным критерием (см. табл. 1, где a и b — ошибки первого и второго рода).
Таблица 1. Выигрыш в % [6, с. 85] Table 1. Gain in % [6, с. 85]
b a
0,01 0,02 0,03 0,04 0,05
0,01 58 60 61 62 63
0,02 54 56 57 58 59
0,03 51 53 54 55 55
0,04 49 50 51 52 53
0,05 47 49 50 50 51
Поэтому, используя последовательный анализ при тестировании человека-оператора, можно в некоторых случаях существенно (примерно в два раза) сократить число испытаний и тем самым на практике существенно уменьшить нагрузку на человека-оператора.
исследование эффективности человека-оператора
Автором выполнен анализ серии экспериментов по тестированию операторов.
В качестве примера тестирования человека-оператора с помощью последовательного анализа приведем результаты тестирования эксперта-криминалиста, выполняющего роль человека-оператора автоматизированной информационной системы формирования фактографических данных (АИСФФД).
На рис. 1 представлен результат экспериментального тестирования человека-оператора, о котором было заранее известно, что он не подготовлен [17; 18].
На рисунке по вертикальной оси представлена величина dm, показывающая число дефектов среди первых т реализаций, а по горизонтальной оси представлена величина т — число этих реализаций.
На рисунке экспериментальная кривая намеренно продолжена за линию принятия решений с целью дополнительного анализа (последовательный анализ не требует такого продолжения). В соответствии с требованиями последовательного анализа в данном случае принято решение о неподготовленности тестируемого человека-оператора.
Заключение
В результате проведенных исследований был предложен подход к оценке эффектив-
Рис. 1. Результаты тестирования (Z = 0,01, b = 0,01, p0 = 0,15 и = 0,25) Fig. 1. Test results (Z = 0,01, b = 0,01, p0 = 0,15 и p1 = 0,25)
v 105
Vol. 10. No. 3 (57). 2015
ности человека, выполняющего роль оператора в информационной системе. Рассмотрен человек-оператор, его ошибки, отказ и надежность. Для тестирования человека-оператора применен последовательный анализ, который изначально для этого не был предназначен. Проведены экспериментальные исследования по тестированию человека-оператора с помощью последовательного анализа. Эти эксперименты подтвердили перспективность применения метода последовательного анализа для тестирования.
Исследования, результаты которых представлены в настоящей статье, планируется продолжить. Предполагается провести тестирование человека-оператора с целью получить ответы на ряд важных вопросов: Какие именно ошибки допускает человек-оператор, работающий в данной прикладной области? Какие ошибки человека-оператора являются критическими для данной прикладной области? Позволяет ли последовательный анализ учесть эти критические ошибки человека-оператора для данной прикладной области и в частности для области криминалистики? Как необходимо организовать текущую работу человека-оператора, чтобы снизить число допускаемых им ошибок? Как часто надо делать перерыв (отдых) в работе человека-оператора? Какой длительности должен быть этот перерыв? В какой момент следует принять решение о дообучении (переобучении) человека-оператора, эффективность работы которого недостаточна для данной прикладной области? В настоящий момент закончено планирование необходимых научно-исследовательских работ, которые позволят получить ответы на эти вопросы.
Список литературы
1. ГОСТ 34.601-90. Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Стадии создания. Переизд. июнь 1997. Введен с 01.01.1992. М.: ИПК Изд. стандартов, 1997. — 9 с.
2. Котик М. А., Емельянов А. М. Природа ошибок человека-оператора (на примерах управления транспортными средствами). М.: Транспорт, 1993. — 252 с.
3. Дружинин Г. В. Учет свойств человека в моделях технологий. М.: МАИК «Наука/Интерпериодика», 2000. — 327 с.
4. Гасов В. М., Соломонов Л. А. Организация взаимодействия человека с техническими средствами АСУ. В 7 кн. Кн. 1. Инженерно-психологическое проектирование взаимодействия человека с техническими средствами: практическое пособие. М.: Высшая школа, 1990. — 127 с.
5. Кондратьев С. В., Зайцев К. С. Инженерно-психологическая оценка систем «человек - машина». М.: МИФИ, 1986. — 80 с.
6. Вальд А. Последовательный анализ. М.: Физ-матгиз, 1960. — 328 с.
7. Ширяев А. Н. Статистический последовательный анализ. Оптимальные правила остановки. М.: Наука, 1976. — 272 с.
8. Закс Ш. Теория статистических выводов. М.: Мир, 1975. — 776 с.
9. Абчук В. А, Матвейчук Ф. А., Томашевский Л. П. Справочник по исследованию операций. М.: Во-ениздат, 1979. — 368 с.
10. Ивченко Г. И, Медведев Ю. И. Введение в математическую статистику. М.: Издательство ЛКИ, 2010. — 600 с.
11. Синай Я. Г. Курс теории вероятностей. Часть 2. М.: МГУ, 1986. — 112 с.
12. Фу К. Последовательные методы в распознавании образов и обучении машин. М.: Наука, 1971. — 256 с.
13. Хальд А. Математическая статистика с техническими приложениями. М.: ИЛ, 1956. — 664 с.
14. Рао С. Р. Линейные статистические методы и их применения. М.: Наука, 1968. — 548 с.
15. Климов Г. П. Теория вероятностей и математическая статистика. М.: Издательство Московского университета, 1983. — 328 с.
16. Лагутин М. Б. Наглядная математическая статистика. М.: БИНОМ. Лаборатория знаний, 2009. — 472 с.
17. Кулик С. Д., Ткаченко К. И. Автоматизированные средства для тестирования экспертов // Со-
Том 10. № 3 (57). 2015
временные возможности криминалистического исследования документов. Материалы межведомственной научно-практической конференции, 28 мая 20013 г. М.: Московский университет МВД России, 2013. С. 12-21.
18. Кулик С. Д., Ткаченко К. И. Использование методов последовательного анализа в задаче тестирования экспертов-почерковедов // Материалы 3-й Международной научно-практической конференции «Теория и практика судебной экспертизы в современных условиях» (г. Москва, 25-26 января 2011 г.). М.: МГЮА, 2011. С. 539-541.
19. Кулик С. Д. Оценка эффективности поисковых операций // Прикладная информатика. 2014. № 6 (54). С. 60-69.
20. Кулик С. Д., Никонец Д. А. Примеры использования нейросетевого алгоритма в методиках для эксперта-почерковеда // Нейрокомпьютеры: разработка и применение. М.: Радиотехника. 2009. № 9. С. 61-85.
21. Rasch G. Probabilistic models for some intelligence and attainment tests (Series: Studies in Mathematical Psychology I). Copenhagen, Denmark: Danmarks Paedogogiske Institute, Danish Institute for Educational Research, 1960. — xiii, 18 p.
22. Челышкова М. Б. Теория и практика конструирования педагогических тестов. М.: Логос, 2002. — 432 с.
References
1. GOST 34.601-90. Informatsionnaya tekhnologi-ya. Kompleks standartov na avtomatizirovannyye sistemy. Avtomatizirovannyye sistemy. Stadii soz-daniya [GOST 34.601-90. Information technology. Set of standards for automated systems. Stages of development.]. Moscow, IPK Izd. standartov, 1997. 9 р.
2. Kotik M. A., Yemel'yanov A. M. Priroda oshibok cheloveka-operatora (na primerakh upravleniya transportnymi sredstvami) [Human operator errors (examples driving)]. Moscow, Transport Publ., 1993. 252 р.
3. Druzhinin G. V. Uchet svoystv cheloveka v mode-lyakh tekhnologiy [Incorporation properties in models of human technologies]. Moscow, MAIK «Nau-ka/Interperiodika» Publ., 2000. 327 р.
4. Gasov V. M., Solomonov L. A. Organizatsi-ya vzaimodeystviya cheloveka s tekhnicheskimi sredstvami ASU. Vol. 7, kn. 1. Inzhenerno-psikho-logicheskoye proyektirovaniye vzaimodeystviya cheloveka s tekhnicheskimi sredstvami: Praktiches-koye posobiye [The organization of human interaction with technical means of automation (In the 7th book). Book 1. Engineering and design of psychological human interaction with technical means: Practical Guide]. Moscow, Vysshaya shkola Publ., 1990. 127 p.
5. Kondrat'yev S. V., Zaytsev K. S. Inzhenerno-psikho-logicheskaya otsenka sistem «chelovek-mashina» [Engineering and psychological evaluation systems «man-machine»]. Moscow, MIFI Publ., 1986. 80 p.
6. Val'd A. Posledovatel'nyy analiz [Sequential analysis]. Moscow, Fizmatgiz Publ., 1960. 328 p.
7. Shiryayev A. N. Statisticheskiy posledovatel'nyy analiz. Optimal'nyye pravila ostanovki [Statistical sequential analysis. The optimal stopping rule]. Moscow, Nauka Publ., 1976. 272 p.
8. Zaks SH. Teoriya statisticheskikh vyvodov [The theory of statistical inference]. Moscow, Mir Publ., 1975. 776 p.
9. Abchuk V. A., Matveychuk F. A., Tomashevs-kiy L. P. Spravochnik po issledovaniyu operatsiy [Guide to operations research]. Moscow, Voyeniz-dat Publ., 1979. 368 p.
10. Ivchenko G. I., Medvedev YU. I. Vvedeniye v matematicheskuyu statistiku [Introduction to mathematical statistics]. Moscow, Izdatel'stvo LKI Publ., 2010. 600 p.
11. Sinay YA. G. Kurs teorii veroyatnostey [Probability theory]. Chast-2, Moscow, MGU Publ., 1986. 112 p.
12. Fu K. Posledovatel'nyye metody v raspoznavanii obrazov i obuchenii mashin [Sequential methods in pattern recognition and machine learning]. Moscow, Nauka Publ., 1971. 256 p.
13. Khal'd A. Matematicheskaya statistika s tekhnicheskimi prilozheniyami [Statistical theory with engineering applications]. Moscow, IL Publ., 1956. 664 p.
14. Rao S. R. Lineynyye statisticheskiye metody i ikh primeneniya [Linear statistical inference and its applications]. Moscow, Nauka Publ., 1968. 548 p.
15. Klimov G. P. Teoriya veroyatnostey imatematicheskaya statistika [Probability theory and mathematical
Vol. 10. No. 3 (57). 2015
statistics]. Moscow, Izdatel'stvo Moskovskogo uni-versiteta, 1983. 328 p.
16. Lagutin M. B. Naglyadnaya matematicheskaya statistika [Transparent mathematical statistics]. Moscow, BINOM. Laboratoriya znaniy Publ., 2009. 472 p.
17. Kulik S. D., Tkachenko K. I. Avtomatizirovannyye sredstva dlya testirovaniya ekspertov [Automated tools for testing experts]. Sovremennyye voz-mozhnosti kriminalisticheskogo issledovaniya do-kumentov. Materialy mezhvedomstvennoy nauch-no-prakticheskoy konferentsii, 28 maya 20013 g. [Proceedings of Conference «Modern possibilities of forensic examination of documents» (Moscow, 28 May 2013)]. Moscow, Moskovskiy universitet MVD Rossii Publ., 2013, pp. 12-21.
18. Kulik S. D., Tkachenko K. I. Ispol'zovaniye metodov posledovatel'nogo analiza v zadache testirovaniya ekspertov-pocherkovedov [Application of the method of sequential analysis in the problem of testing the expert]. Materialy 3-y Mezhdunarodnoy nauch-no-prakticheskoy konferentsii «Teoriya i praktika sudebnoy ekspertizy v sovremennykh usloviyakh» (g. Moskva, 25-26yanvarya 2011g.) [Proceedings of Conference № 3 «Theory and practice of foren-
sic examination in modern conditions» (Moscow, 25-26 January 2011)]. Moscow, MGYUA Publ., 2011, pp. 539-541.
19. Kulik S. D. Otsenka effektivnosti poiskovykh op-eratsiy [Estimating efficiency of search operations]. Prikladnaya Informatika — Journal of Applied Informatics, 2014, no. 6 (54), pp. 60-69.
20. Kulik S. D., Nikonets D. A. Primery ispol'zovaniya neyrosetevogo algoritma v metodikakh dlya eksperta-pocherkoveda Neyrokomp'yutery: raz-rabotka i primeneniye [Examples of application of the neural networks in techniques for the forensic handwriting expert. Neurocomputers: design and application]. Radiotekhnika — Radiotechnics, 2009, no. 9, pp. 61-85.
21. Rasch G. Probabilistic models for some intelligence and attainment tests (Series: Studies in Mathematical Psychology I). Copenhagen, Denmark: Danmarks Paedogogiske Institute, Danish Institute for Educational Research, 1960. xiii, 184p.
22. Chelyshkova M. B. Teoriya ipraktika konstruirovani-ya pedagogicheskikh testov [Theory and practice of constructing educational tests]. Moscow, Logos Publ., 2002. 432 p.
S. Kulik, National Research Nuclear University «MEPHI», Moscow, Russia, sedmik@mail.ru
Sequential analysis for testing of the human operator
This article deals with the sequential analysis for testing of the human operator. A set of important criteria (indicators) of the effectiveness of the human operator is introduced. The purpose of studies to obtain an estimate efficiency of the human operator. This article is about special the information system. The information system includes: the block of object indexing, the block of recommendatory list processing, the block of searching, the block of searching array realized, the block of recognition, the block of archive of objects and the human operator too. The search of this indicator is done. The average number of errors for the human operator is important. Estimates of the effectiveness of the human operator were obtained. Sequential analysis for testing of the human operator was used. The experimental results were obtained too. The obtained results are used for some information systems for making decisions in criminalistics. It is offered to use a special factographic system. The results were successfully protected by various patents. Further, it is planned to get and explore in details another method for testing of the human operator.
Keywords: testing, sequential analysis, human operator, target missing probability, false alarm probability. About author: S. Kulik, PhD in Technique
For citation: Kulik S. Sequential analysis for testing of the human operator. Prikladnaya Informatika — Journal of Applied Informatiks, 2015, vol. 10, no. 3 (57), pp. 100-108 (in Russian).
108 i
