CC BY
50
2015 № 2 (88)
УДК 621.039.4
МЕТОДЫ ОЦЕНКИ ЧЕЛОВЕКО-МАШИННОГО ИНТЕРФЕЙСА
ОПЕРАТОРОВ АЭС
АН. АНОХИН, АС. ИВКИН, В А. ЧЕПУРКО
Обнинский институт атомной энергетики - филиал федерального государственного автономного образовательного учреждения высшего профессионального образования НИЯУ «Московский инженерно-физический институт»
Студгородок, 1, Обнинск, 249040, Россия
Поступила в редакцию 2 февраля 2015
Рассматривается проблема эмпирической оценки человеко-машинного интерфейса для управления технологическим процессом, в ходе которой можно получить реалистичные значения показателей качества выполнения задач управления. Предлагается методика такой оценки, основанная на шести показателях качества и сравнительном анализе интерфейсов с помощью дисперсионного анализа. Обсуждаются результаты экспериментальной программы тестирования экологического интерфейса для контроля и управления уровнем воды в барабанах-сепараторах АЭС типа РБМК. Экспериментальная серия, проведенная на полномасштабном тренажере Ленинградской АЭС,
продемонстрировала существенное превосходство экологического интерфейса над традиционным, однако степень этого превосходства зависит от типа выполняемой задачи.
В наши дни основным инструментом оценки качества интерфейса служит эргономическая экспертиза, проводимая как по формализованным критериям (например, угловые и физические размеры элементов, их взаимная компоновка, досягаемость и др.), так и по качественным характеристикам, таким как соответствие профессиональным стереотипам, удобство и т.п.. Другим способом оценки интерфейса являются его натурные испытания, для проведения которых используют различные симуляторы, модели и другие средства, воспроизводящие работу оператора и объекта управления. В отличие от эргономической экспертизы, натурные испытания позволяют оценивать конечную надежность и эффективность работы оператора, а также выявлять реальные величины факторов, влияющих на деятельность оператора при работе с тем или иным вариантом человеко-машинного интерфейса (ЧМИ).
В большинстве известных работ экспериментальная оценка основана на сравнительном анализе нового проекта ЧМИ и уже существующего, находящегося в промышленной эксплуатации. В качестве оцениваемых (измеряемых в ходе эксперимента) мер качества интерфейса обычно используются [1-3]: степень осведомленности оператора о ситуации; правильность выполнения задачи; рабочая нагрузка; время выполнения задачи; частота успешного выполнения задачи; количество управляющих действий, совершенных оператором; точность диагностики ситуации; время обнаружения и диагностики ситуации. В ряде работ эти показатели рассчитываются для каждого типа решаемых задач, что позволяет сделать вывод о зависимости эффективности интерфейса от типа сценария. В [4] сделана попытка оценивать качество деятельности оператора и, как следствие, интерфейса по поведению контролируемого технологического параметра, однако значимая зависимость не была выявлена. В то же время, использование этого признака в качестве показателя качества процесса управления, по мнению авторов, имеет большие перспективы. Целью статьи является разработка методики эмпирической оценки ЧМИ на примере экспериментального сравнения двух видов интерфейсов.
Исследуемые интерфейсы и метод исследования
Для исследования были взяты интерфейсы двух типов (рис. 1):
— традиционный (ТИ) - приборная панель и пульт для контроля и управления барабаном-сепаратором (БС) и питательным узлом - одной из наиболее значимых технологических систем АЭС с РБМК-1000;
— экологический (ЭИ) - компьютерный видеокадр, облегчающий контроль, оценку ситуации и управление этой же системой [5].
Основная гипотеза состояла в том, что экологический интерфейс существенно повышает надежность и эффективность деятельности оператора. Для проверки этой гипотезы была разработана экспериментальная программа опытной эксплуатации системы на полномасштабном тренажере (ПМТ) Ленинградской АЭС. В экспериментах участвовали шесть действующих лицензированных операторов БЩУ-2 ЛАЭС, Средний возраст — 42 года, средний стаж работы в должности — 5,5 лет. Каждый оператор выполнял на работающем ПМТ две серии из четырех последовательных тестовых упражнений и трех аварийных сценариев, используя ЭИ в первой серии и ТИ во второй серии. Действия оператора в процессе выполнения упражнений и сценариев и все релевантные технологические параметры автоматически регистрировались в журнале. По окончании экспериментов инструктор ПМТ заполнял лист оценки действий оператора, а оператор — лист оценки экологического интерфейса.
В классической литературе по теории автоматического управления указываются следующие группы критериев качества управления: точность, запас устойчивости,
быстродействие, величина перерегулирования, длительность переходного процесса, число колебаний и др. В настоящем исследовании для оценки ЧМИ выделены следующие количественные показатели выполнения оператором поставленной задачи (рис. 2).
Рис. 1. Традиционный и экологический интерфейсы для контроля и управления БС
Рис. 2. Расчетные показатели качества выполнения задачи
1. Количество ошибок оператора Nom. - количество выходов технологических параметров за уставки срабатывания технологической защиты во время выполнения задачи.
2. Время реакции ^еакц. - время, прошедшее с момента появления возмущения Созм. до первого воздействия оператора на органы управления Созд..
3. Время выполнения задачи Сып. - время, прошедшее с момента появления возмущения до момента удовлетворения критериев завершения задачи ^аверш..
4. Точность установки регулируемого параметра 5х - отклонение значения технологического параметра в момент времени ^аверш. от заданного значения хзадан.. В описываемом исследовании используются два показателя этого типа: 5Нводы в БС - точность установки уровня воды в БС (отклонение уровня от значения +380 мм в конце каждого из четырех упражнений); 5Спит. воды - точность установки расхода питательной воды (разность между расходом пара и суммарным расходом питательной воды).
5. Амплитуда изменения регулируемого параметра Ах - разность между максимальным и минимальным значениями регулируемого параметра. В данном исследовании амплитуда изменения рассчитывается для основного регулируемого параметра - уровня воды в БС: АНводы в БС.
6. Максимальное приближение регулируемого параметра к уставке ах. В описываемых экспериментах рассматривается максимальное приближение к уставкам уровня воды в БС аНводы в бс и расхода питательной воды аОпш. воды..
Таким образом, для эмпирической оценки ЧМИ предлагается использовать шесть типов
показателей: Rk (k 1 • *6) {Дош. ^реакц^ Сып^ &x, Аx, ах}.
Каждый из этих показателей Rky регистрируется по результатам выполнения j-м
оператором (j = 1... m, где m - число операторов, участвовавших в эмпирическом оценивании интерфейса) i-й задачи (i = 1...n, где n - число задач, на которых тестировался интерфейс) с использованием l-го интерфейса (l = 1. q, где q - количество оцениваемых/сравниваемых типов интерфейса). В нашем исследовании m = 6, n = 7 (4 упражнения и 3 сценария), q = 2 (ТИ и ЭИ).
Интерес представляют как абсолютные, так и относительные значения показателей. Абсолютные значения необходимы прежде всего для того, чтобы оценить, отвечает ли исследуемый интерфейс заданным ограничениям, например: время реакции оператора не должно превышать некоторое значение t* (реакц.< t*); время выполнения i-й задачи не должно превышать t* (Сып. i< t*) и др. Если такие ограничения отсутствуют, то показатели как в абсолютном, так и в нормированном виде могут быть использованы для сравнительной оценки двух и более интерфейсов. В этом случае для сравнения значений некоторого показателя Rkj ,
полученных для различных интерфейсов (например, Дош.,ЭИ и Дош.,ТИ - количество ошибок, совершенных оператором при использовании экологического и традиционного интерфейсов, соответственно) можно использовать однофакторный дисперсионный анализ.
Учитывая возможные существенные различия между тестовыми задачами (например, разные величины возмущающих воздействий или разные возможности для управления), прямое обобщение показателя по всем задачам не всегда корректно. В этом случае целесообразно рассматривать применение того или иного интерфейса в контексте определенной задачи Rikl , а для сравнения интерфейсов можно использовать двухфакторный дисперсионный анализ, где в качестве второго фактора (первым является тип интерфейса) выступает выполняемая задача. Важным результатом при этом является выявление тех типов задач, для которых тот или иной исследуемый тип интерфейса является наиболее эффективным и полезным.
Далее формируются обобщенные показатели, отражающие эффективность
исследуемого интерфейса в целом. Частный рейтинг l-го интерфейса для обеспечения k-го показателя качества выполнения i-й задачи: Щ = 1 - R для k = 1.5, Щ = Щ для k = 6, где R - нормированное среднее значение k-го показателя качества выполнения i-й задачи с
_ _ q _ _
использованием l-го интерфейса - R^ = Rl / ^ Rl, где Rl - среднее по всем операторам
i=1
(j = \ значение к-то показателя качества выполнения i-й задачи с использованием /-го
1 m
интеРфейса - Ц =—^Ri/j .
m
j=1
Чем выше этот рейтинг, тем лучше интерфейс с точки зрения обеспечения к-то показателя качества. Следующий шаг - формирование и анализ общего рейтинга Ri/j /-то
интерфейса для i-й задачи (по всем показателям качества ее выполнения). Для этого к выборке значений Rka (i=1...n; /=1...q; к=1...6) применяется многофакторный дисперсионный анализ, где в качестве факторов выступают интерфейс и задача.
Результаты и обсуждение
В качестве исходных экспериментальных данных выступали значения всех релевантных технологических параметров и состояние оборудования (всего около 150 переменных), регистрируемые один раз в секунду. В результате их обработки были рассчитаны 672 показателя: 2 интерфейса (экологический и традиционный) х 7 задач (4 упражнения и 3
сценария) х 6 операторов х 8 показателей ^реакц^ ^вып^ ^^воды в БС ^^пит. водьь Доводы в БС
сЯводы в Бс, cGnHX. воды). Часть этих показателей была подвергнута однофакторному, а часть -двухфакторному дисперсионному анализу, где в качестве факторов выступают тип интерфейса и выполняемая задача. Кроме того, были рассчитаны частные рейтинги исследуемых интерфейсов, для которых также выполнен двухфакторный дисперсионный анализ, результаты которого показаны в таблице.
Результаты дисперсионного анализа показателей качества интерфейсов
Анализируемые данные Факторы Р
^реакц. Задача х Интерфейс 0,02
^вып. Задача х Интерфейс 0,03
^Нводы в БС Интерфейс < 0,01
^^пит. воды Интерфейс < 0,01
Доводы в БС Задача х Интерфейс < 0,01
^Нводы в БС Задача х Интерфейс < 0,01
^^пит. воды Задача х Интерфейс 0,05
Частные рейтинги интерфейсов Задача х Интерфейс < 0,01
Время реакции. Во всех задачах, кроме первого сценария, наблюдается превосходство ЭИ - от существенного до умеренного. Это связано с тем, что он обеспечивает наглядное представление факта нарушения материального баланса между входящими и выходящими из БС потоками. И наоборот, при использовании ТИ операторы узнают о материальном дебалансе только по его последствию - изменению уровня воды в БС.
Время выполнения задачи. Здесь также наблюдается стабильное превосходство ЭИ. В простых ситуациях - в упражнениях 1 и 2, к подаче питательной воды самопроизвольно подключаются различные насосы, вызывая не очень большой, но довольно ощутимый дебаланс. Компенсировать это возмущение несложно при условии его быстрой идентификации. Это обуславливает существенное преимущество ЭИ. Умеренное превосходство наблюдается в задачах, содержащих очень сильные возмущения или наложенные друг на друга события.
Амплитуда изменения уровня воды в БС. Можно предположить, что этот показатель зависит от двух факторов - от силы возмущения и от времени реакции оператора. Сильное возмущение, вносящее ощутимый материальный дебаланс, и даже небольшая задержка в реакции оператора способны существенно изменить уровень. Это подтверждается наличием довольно высокой положительной корреляции между ^реакц. и ДНводы в БС (р « 0,5) и силой возмущения и ДНводы в БС (р « 0,7) при использовании ЭИ.
Во всех задачах наблюдается устойчивое преимущество ЭИ, используя который операторы успевали вовремя «перехватить» процесс и не допустить сильных отклонений уровня воды. Близкие значения для обоих интерфейсов наблюдаются в сценарии 1.
Максимальное приближение уровня воды в БС и расхода питательной воды к уставкам. Для уровня воды так же, как и в предыдущих случаях наблюдаются близкие
значения показателей при выполнении сценария 1. Это единственный момент, когда с ЭИ операторы довольно близко «подошли» к уставке срабатывания защиты. И наоборот, при использовании ТИ таких приближений наблюдается довольно много: в упражнении 2 по питательной воде и сценариях 2 и 3 по обоим технологическим параметрам.
Точность установки уровня воды в БС и расхода питательной воды. Эксперименты показали, что точность регулирования никак не зависит от выполняемой задачи, вследствие чего для обработки этого показателя был применен однофакторный анализ, показавший значимое преимущество ЭИ.
Общий рейтинг интерфейса. Наблюдается уверенное превосходство ЭИ над ТИ. Исключение составляет сценарий 1. В этом сценарии начинает самопроизвольно открываться регулирующий клапан питательной воды. Однако возникновению материального дебаланса препятствует другой клапан, стоящий на параллельной нитке. Этот клапан автоматически начинает закрываться, компенсируя в течение некоторого времени открытие неисправного клапана. Таким образом, существует латентный период между появлением неисправности и началом изменения уровня воды в БС. Этот период и дает операторам одинаковый шанс оценить ситуацию независимо от используемого интерфейса.
В целом, разные задачи обуславливают различную степень превосходства ЭИ, что совпадает с выводами авторов большинства работ, посвященных его эмпирической оценке.
Количество ошибок. При выполнении всех задач с использованием ЭИ было зафиксировано только два случая формирования режима аварийной защиты, тогда как при работе с ТИ таких срабатываний произошло восемь.
Общие замечания. Конечной целью сравнительного анализа интерфейсов является принятие решения о том, какой же из интерфейсов лучше. Такое решение должно приниматься на основании некоторого обобщенного показателя, характеризующего интерфейс в целом. Однако наиболее сложной проблемой на пути к этому показателю стало обобщение экспериментальных данных, полученных при выполнении разных задач. Начиная обработку данных, мы интуитивно полагали, что наиболее показательным и значимым фактором, характеризующим каждую задачу, является сила возмущения, порой далеко «уводящая» регулируемый параметр (уровень воды в БС) от нормы. Именно сила возмущения, которую несложно оценить количественно, могла бы лечь в основу весового коэффициента задачи, что позволило бы выполнить свертку рейтингов интерфейса по различным задачам в единый показатель. Однако, судя по результатам обработки и на основании некоторых размышлений, оказалось, что этот фактор не всегда играет отрицательную роль, а его влияние на показатели выполнения задачи не столь очевидно. Это означает, что в формирование весовых коэффициентов должны быть вовлечены и другие факторы, влияющие на деятельность оператора и для выявления которых необходим более глубокий теоретический анализ задач.
Список литературы
1. Дозорцев В.М., Назин В.А. // Экспериментальная психология в России. 2010. С. 491-496.
2. Burns C., Skraaning G., Jamieson G., e.a. // Human factors. 2008. Vol. 50, №. 4. P. 663-679.
3. Lau N., Jamieson G., Skraaning G., Burns C. Ecological interface design in the nuclear domain: an empirical evaluation of ecological displays for the secondary subsystems of a boiling water reactor plant simulator // IEEE Transactions on nuclear science. 2008. Vol. 55, № 6. P.3597- 3610.
4. Jamieson G.A. // IEEE Transactions on Systems, Man, and Cybernetics. Part A: Systems and Humans. 2007. Vol. 37, № 6. P. 906-920.
5. АнохинА.Н., ИвкинА.С. // Человеческий фактор: Проблемы психологии и эргономики. 2013. № 3 (66). С. 69-75.
