CC BY
45
УДК 004.5
А. С. Ивкин, А. Н. Анохин, В. А. Чепурко
Подход к эмпирической оценке человеко-машинного интерфейса для управления технологическим процессом: на примере экологического интерфейса для управления уровнем воды в барабане-сепараторе АЭС типа РБМК
Ключевые слова: человеко-машинный интерфейс, оператор, эмпирическая оценка, атомная станция, полномасштабный тренажер, экологический интерфейс, показатель качества, дисперсионный анализ.
Keywords: human-machine interface, operator, empirical evaluation, nuclear power plant, full-scope simulator, ecological interface, quality index, analysis of variance.
Рассматривается проблема эмпирической оценки человеко-машинного интерфейса (ЧМИ) для управления технологическим процессом, в ходе которой можно получить реалистичные значения показателей качества выполнения задач управления. Предлагается методика такой оценки, основанная на шести показателях качества и сравнительном анализе интерфейсов с помощью дисперсионного анализа. Данная методика позволяет оценить эффективность анализируемого интерфейса по отношению к другим интерфейсам и различным типам задач, решаемых оператором. В статье обсуждаются результаты экспериментальной программы тестирования экологического интерфейса для контроля и управления уровнем воды в барабанах-сепараторах АЭС типа РБМК. Экспериментальная серия, проведенная на полномасштабном тренажере Ленинградской АЭС, продемонстрировала существенное превосходство экологического интерфейса над традиционным, однако степень этого превосходства зависит от типа выполняемой задачи.
Введение
Человеко-машинный интерфейс (ЧМИ) является посредником между человеком-оператором и объектом управления. В подавляющем большинстве случаев оператор не имеет прямого контакта
с объектом и видит его таким, каким его воспроизводит интерфейс. Интерфейс наряду с практическим опытом человека и его знаниями формирует информационную модель, на основе которой оператор оценивает ситуацию и принимает решение. Очевидно, что от качества ЧМИ во многом, если не всецело, зависят надежность и эффективность операторской деятельности.
Несмотря на обилие и существенный технический прогресс средств построения интерфейсов (сенсорные экраны, регистраторы движений человека, манипуляторы и др.), проблема обеспечения их адекватности задачам управления технологическими процессами и проблема оценки их качества сегодня остаются весьма сложными и открытыми. Эта оценка должна производиться как на различных стадиях его проектирования, так и при модернизации и внесении усовершенствований.
Основным инструментом оценки качества интерфейса, как, впрочем, и других средств трудовой деятельности, служит эргономическая экспертиза, проводимая как по формализованным критериям (например, угловые и физические размеры элементов, их взаимная компоновка, досягаемость и др.), так и по качественным характеристикам (таким как соответствие профессиональным стереотипам, удобство и т. п.). Эргономическая экспертиза позволяет на различных этапах проектирования отсечь неприемлемые решения, не отвечающие установленным ограничениям, либо сравнить между собой несколько проектных вариантов интерфейса, ис-
пользуя некоторый обобщенный функционал, например аддитивную свертку оценок по различным критериям. Поскольку значительная часть оцениваемых параметров носит качественный характер, в эргономической экспертизе большую роль играют экспертные оценки. Основные методы и проблемы проведения такой экспертизы описаны в работах П. И. Падерно [1], В. М. Львова [2], М. В. Най-ченко [3] и др.
Другим способом оценки интерфейса являются его натурные испытания, для проведения которых используют различные симуляторы, модели и другие средства, воспроизводящие работу оператора и объекта управления. В отличие от эргономической экспертизы натурные испытания позволяют наряду с выявлением неприемлемых решений оценивать конечную надежность и эффективность работы оператора, а также выявлять реальные величины факторов, влияющих на деятельность оператора при работе с тем или иным вариантом ЧМИ. Этот путь оценки интерфейса намного более тернист и требует существенных затрат, однако получаемые с его помощью результаты стоят того.
Обзор эмпирических исследований интерфейса
Как отмечается в работе [4], работы по эмпирической оценке ЧМИ начинались еще в 1970— 80-х гг., но интерес к таким экспериментам угас из-за невозможности точно и полно имитировать технологический процесс. Особо сложными представляются технологические объекты, управление которыми требует решения как задач непрерывного слежения и регулирования, так и задач дискретного типа, включающих длинные цепочки дискретных операций. К таким объектам относятся электростанции (прежде всего атомные), нефтеперерабатывающие, химические предприятия и др.
Несмотря на существенный скачок технических возможностей для моделирования технологических объектов, современная публикационная активность по методам экспериментальной оценки ЧМИ практически отсутствует. В большинстве известных работ экспериментальная оценка основана на сравнительном анализе нового проекта ЧМИ и уже существующего, находящегося в промышленной эксплуатации. Так, в работе [5] сравниваются три вида интерфейса для управления технологическими системами на АЭС: 1) традиционный, основанный на мнемосхеме; 2) усовершенствованный — аналогичный традиционному, но графически усовершенствованный и дополненный диаграммами и контекстной информацией; 3) экологический.
Все видеокадры выводились операторам в составе функционально-аналитического тренажера (ФАТ) в отличие от полномасштабного тренажера (ПМТ), являющегося точной копией рабочего места — как
внешне, так и функционально. ФАТ воспроизводит рабочее место виртуально и только частично. Операторы отрабатывали несколько реальных сценариев нормальной эксплуатации и аварийных ситуаций. В качестве основной оцениваемой меры качества предлагаемого интерфейса использовалась степень осведомленности о ситуации. В соответствии с методикой SAGAT (Situation Awareness Global Assessment Technique) в произвольный момент времени тренажер «замораживался», а операторы отвечали на вопросы о состоянии определенного оборудования и тенденциях изменения процессов. Продолжением этой работы стала статья [6], в которой описаны дополнительные количественные меры прямой и косвенной оценки ЧМИ, а именно: правильность выполнения задачи — количественный показатель, измеряемый в баллах и характеризующий то, насколько правильно и своевременно действовал оператор, решая возникшую задачу, по сравнению с тем, как эта задача описана в процедуре или экспертами; оценить значение этого показателя можно с помощью методики OPASOperator Performance Assessment System;
рабочая нагрузка — количественный показатель, который отражает субъективную сложность задачи, оцениваемую самими операторами по семибалльной шкале (TLI — Task Load Index).
В качестве основного инструмента обработки данных в обеих работах [6, 7] выступал однофак-торный и двухфакторный дисперсионный анализ.
В статье [7] описывается решение аналогичной задачи сравнения трех видов интерфейсов для нефтехимического предприятия: 1) экологический; 2) экологический, дополненный информацией в контексте решаемой задачи; 3) традиционный. При этом в качестве показателей выступают:
время выполнения задачи, регистрируемое как интервал между выполнением первой и последней операций, предписанных процедурой, либо, при отсутствии процедуры, как интервал от начала действий до момента восстановления процесса или приведения его в безопасное состояние;
частота успешного выполнения задачи — число операторов, справившихся с незнакомой или малознакомой ситуацией (для хорошо изученных и привычных ситуаций данный показатель не рассчитывался);
количество управляющих действий, совершенных оператором;
точность диагностики ситуации, определяемая экспертом по четырехбалльной шкале на основании письменного отчета оператора, сделанного сразу по окончании сценария;
время обнаружения и диагностики ситуации, равное интервалу между началом события и моментом его идентификации оператором (время диагностики также экспериментально оценивается в работе [4], в которой сравниваются два вида интерфейса — традиционный и экологический).
Время обнаружения и точность диагностики ситуации как показатели деятельности оператора при работе с экологическим интерфейсом упоминаются и в отчете [8], однако количественные оценки там отсутствуют. Необходимо отметить, что во всех процитированных работах некоторые показатели рассчитывались как суммарно для каждого вида интерфейса, так и для каждого типа решаемых задач, что позволило авторам делать утверждения о зависимости эффективности интерфейса от типа сценария.
В работе [7] также была сделана попытка оценивать качество деятельности оператора по поведению контролируемого технологического параметра, однако значимая зависимость не была выявлена. Использование этого признака в качестве показателя качества управления, на наш взгляд, имеет большие перспективы. Во многих работах, проводимых авторами настоящей статьи на разных атомных станциях, в ходе взаимодействия с экспертами — инструкторами учебно-тренировочных центров — обсуждалась желательная траектория ликвидации той или иной ситуации. Наиболее часто ими подчеркивается необходимость плавного изменения параметра (например, температуры — для равномерного прогрева оборудования и недопущения тепловых ударов и деформаций), стремления к монотонным, а не колебательным процессам (например, монотонное изменение расхода воды во избежание постоянного включения-выключения насосов) и др.
В классической литературе по теории автоматического управления [9] указываются следующие группы критериев качества управления:
точность, отражающая величину ошибки, т. е. разность между требуемым и действительным значениями регулируемой величины;
запас устойчивости, характеризующий, насколько далеко находится система от границы
устойчивости, включая возникновение незатухающих колебаний;
быстродействие, под которым понимается быстрота реагирования на возмущающие воздействия.
Хорошими и информативными показателями качества являются величина перерегулирования, длительность переходного процесса, число колебаний и др.
Очевидно, что эти показатели могут использоваться для косвенной оценки качества интерфейса, однако их применение в существенной мере зависит от характера регулируемого процесса, ситуации, опыта оператора и других факторов, не имеющих отношения к ЧМИ, но при этом сильно «зашумля-ющих» результаты эксперимента.
Еще один подход к косвенной оценке качества интерфейса — регистрация параметров функционального состояния оператора в процессе работы, которой посвящено большое число отечественных и зарубежных работ. Огромный вклад в эту тематику применительно к операторам авиационных, технологических и других систем внесли Г. М. Зараков-ский, В. А. Бодров и др. Регистрируемые в таких экспериментах параметры могут использоваться для косвенной оценки интерфейса, однако исследователь скорее всего столкнется с проблемой их содержательной интерпретации.
Перечисленные показатели сведены в табл. 1.
Постановка задачи
Обобщая приведенную выше информацию, можно утверждать, что сегодня в мире накоплен некоторый опыт эмпирических исследований ЧМИ для управления технологическими процессами. В то же время говорить о единой устоявшейся методике пока рано. Методические аспекты, такие как выбор измеряемых величин, оцениваемых показателей,
Таблица 1 ¡Показатели для прямой и косвенной эмпирической оценки качества ЧМИ
Фактор Показатель Шкала Методика
Эффективность управления Правильность выполнения задачи Баллы Экспертная оценка OPAS
Частота успешного выполнения задачи Числовая Измерение
Качество управления Степень осведомленности о ситуации Баллы Самооценка SAGAT
Время выполнения задачи Числовая Измерение
Количество управляющих действий Числовая Измерение
Точность диагностики ситуации Баллы Экспертная оценка
Время обнаружения и диагностики ситуации Числовая Измерение и экспертная оценка
Поведение контролируемого технологического параметра Числовая Измерение и математические преобразования
Рабочие условия Рабочая нагрузка Баллы Самооценка TLI
Функциональное состояние оператора Числовая Измерение
шкал, планирование условий и процедуры получения экспериментальных данных, существенно разнятся от одного исследования к другому. Это свидетельствует об актуальности задачи осмысления существующего опыта и продвижения в сторону создания унифицированной методики эмпирического исследования интерфейса.
Таким образом, целью настоящей статьи является разработка методики эмпирической оценки ЧМИ на примере экспериментального сравнения двух видов интерфейса — традиционного и экологического.
ках уровень воды в БС. Положение усугубляется тем, что вода в БС находится на линии насыщения, а любые колебания давления и температуры могут привести к существенным скачкам ее объема. О когнитивной сложности задачи управления уровнем в БС свидетельствует большое число ошибок операторов, приводящих к снижению мощности реактора или остановке энергоблока. Применение экологического подхода к проектированию интерфейса [11], направленного на активизацию визуального мышления [12], позволило перенести ряд ментальных операций на уровень восприятия.
Исследуемые интерфейсы
Для исследования были взяты два вида интерфейса (рис. 1):
традиционный (ТИ) — приборная панель и пульт для контроля и управления одной из технологических систем АЭС с РБМК-1000 — барабана-сепаратора с питательными узлами;
экологический (ЭИ) — компьютерный видеокадр, разработанный в целях облегчения контроля, оценки ситуации и управления этой же системой [10].
Барабан-сепаратор (БС) — это сосуд под давлением, в который из реактора поступает пароводяная смесь, подлежащая разделению на пар и воду. Вследствие структурной сложности этого участка станции БС является «перекрестком» большого числа входящих и исходящих материальных потоков. Управляя ими, оператор — ведущий инженер управления блоком (ВИУБ) — должен добиться материального баланса и удержать в заданных рам-
а) .»„»¡Г
Условия эксперимента и регистрируемые данные
Основная гипотеза состояла в том, что экологический интерфейс существенно повышает надежность и эффективность деятельности оператора. Для проверки этой гипотезы была разработана экспериментальная программа опытной эксплуатации системы на ПМТ Ленинградской АЭС, являющемся точной копией блочного щита управления второго энергоблока (БЩУ-2 ЛАЭС).
Разработанный видеокадр выводили на монитор, установленный в вертикальной части пульта управления (рис. 2). В экспериментах участвовали шесть действующих лицензированных операторов БЩУ-2 ЛАЭС, проходящих плановые тренировки на ПМТ. Средний возраст операторов 42 года, средний стаж работы в должности ВИУБ 5,5 года.
Каждый оператор проходил три стадии работы с системой.
ГТ2-23Э2 ."'."■> П2-2Э12 ПМЗИ ГО-гЛ?
( 52%) № ( 52%)
ЛЮТ диет лет
Рис. 1 \ Традиционный (а) и экологический (б) интерфейсы для контроля и управления БС
Рис. 2 \ Расположение монитора с экологическим интерфейсом на ПМТ
На п е р в о й с т а д и и длительностью 45—60 мин оператор знакомился с экологическим интерфейсом. Знакомство осуществлялось в три этапа. На первом этапе оператору предъявили статичный скриншот видеокадра и предложили объяснить назначение всех графических элементов, которые он распознает. На втором этапе оператор с помощью имеющихся органов управления вносил возмущения в работу атомной станции, а по поведению видеокадра определял назначение ранее нераспознанных графических элементов. На третьем этапе оператору задавали наводящие вопросы о назначении тех графических элементов, которые не были опознаны на предыдущих этапах. В ходе знакомства оператора с интерфейсом инструкторы заполняли чек-лист для проверки понятности графических элементов, где для каждого из 22 элементов фиксируется этап, на котором он был распознан и объяснен оператором. По окончании знакомства оператор заполнял форму для регистрации замечаний, в которой указывал те графические элементы, которые оказались для него непривычны, противоречат его представлениям или неудобны для восприятия.
На в т о р о й с т а д и и длительностью около часа оператор выполнял на работающем ПМТ две серии из четырех последовательных тестовых упражнений, используя экологический интерфейс в первой серии и традиционный интерфейс во второй серии. Упражнение — это компенсация вручную (при выключенной автоматике) сильного возмущения технологического процесса, происшедшего вследствие искусственно вводимого отказа оборудования. Перед оператором ставилась задача вернуть регулируемый параметр — уровень воды в БС к заданному значению, действуя «механически», без диагностирования причин ситуации.
На т р е т ь е й с т а д и и оператор в составе смены участвовал в ликвидации трех аварийных ситуаций. Ситуации подбирали в ходе обсуждения с инструкторами ПМТ и включали события, имевшие место ранее в эксплуатационной практике Ленинградской и других АЭС с РБМК. Каждый из трех сценариев запускали дважды в течение нескольких дней в случайном порядке. В одном случае оператор использовал традиционный интерфейс, в другом — экологический. Оператора инструктировали лишь об интерфейсе, с которым ему нужно было работать, а сценарий был ему заранее неизвестен. Сценарий считается выполненным, когда устранена причина возмущения и процесс стабилизирован.
Действия оператора в процессе выполнения упражнений и сценариев и все релевантные технологические параметры автоматически регистрировались в журнале. По окончании экспериментов инструктор ПМТ заполнял лист оценки действий оператора, а оператор — лист оценки системы (экологического интерфейса).
Оцениваемые показатели
Эмпирические исследования проводили для проверки следующих гипотез:
1) ЭИ интуитивно понятен без дополнительных пояснений, использованные в нем графические элементы и их компоновка удобны для восприятия и не нарушают устоявшихся профессиональных стереотипов;
2) ЭИ облегчает и ускоряет распознавание деба-ланса материальных потоков в БС, тенденцию изменения уровня воды в БС, выявление источника дебаланса и принятие решения;
Совершенствование интерфейсов
3) ЭИ облегчает, ускоряет и повышает точность управления материальными потоками в БС за счет разгрузки мышления и более эффективной обратной связи по управляющим действиям;
4) ЭИ снижает вероятность ошибки при регулировании уровня воды в БС;
5) ЭИ формирует единый целостный образ БС и материальных потоков, проходящих через него, в отличие от существующих фрагментарных представлений традиционными средствами.
Настоящая статья фокусируется на методике более тонкой статистической обработки результатов, ориентированной на формирование количественных показателей качества ЧМИ и проверку гипотез 2-4. Для оценки интерфейса выделены следующие количественные показатели выполнения оператором поставленной задачи: количество ошибок оператора, время реакции, время выполнения задачи, точность установки регулируемого параметра, амплитуда изменения регулируемого параметра, максимальное приближение регулируемого параметра к уставке. Сущность некоторых из них иллюстрируется на рис. 3.
1. Количество ошибок оператора Ыош — количество выходов технологических параметров за уставки срабатывания технологической защиты во время выполнения задачи. Это один из наиболее важных показателей, характеризующих надежность эргатической системы.
2. Время реакции *реакц — время, прошедшее с момента появления возмущения *возм до первого воздействия оператора на органы управления *возд:
^реакц ^возд ^возм*
Показатель определяет, насколько быстро ЧМИ позволяет обнаружить возмущение, оценить ситуацию и принять решение.
3. Время выполнения задачи £вьш — время, прошедшее с момента появления возмущения до момента удовлетворения критериев завершения задачи ¿заверш:
Рис. 3
Расчетные показатели качества выполнения задачи:
*вып — время выполнения задачи; Ъх — точность установки регулируемого параметра; Дх — амплитуда изменения регулируемого параметра; ах — максимальное приближение регулируемого параметра к уставке
^вып ^возд ^заверш*
В описываемом исследовании в качестве критерия завершения упражнения выступает доклад оператора о приведении регулируемого параметра — уровня воды в БС к заданному значению, в качестве критерия завершения аварийного сценария — стабилизация регулируемого параметра и включение в работу автоматического регулятора. Данный показатель определяет, насколько ЧМИ ускоряет управление и обеспечивает эффективную обратную связь по управляющим действиям.
4. Точность установки регулируемого параметра Sx — отклонение значения технологического параметра в момент времени ¿заверш от заданного значения ^задан:
8х — |хзаверш — хзадан|.
Данный показатель отражает точность управления и качество обратной связи, обеспечиваемые интерфейсом, и рассчитывается только для тех задач, в которых существует «заданное» значение регулируемого параметра. В описываемом исследовании это четыре упражнения, выполняемых на второй стадии эксперимента.
5. Амплитуда изменения регулируемого параметра (Ах) — разность между максимальным и минимальным значениями регулируемого параметра:
Ах — max x(t) - min x(t),
t ^ [^возд> t
возд> "заверш.1'
Этот показатель позволяет судить о двух свойствах: плавности управляющих воздействий и величинах перерегулирования и, косвенно, о скорости реакции оператора. При глубоких возмущающих воздействиях регулируемый параметр продолжает монотонно изменяться до тех пор, пока оператор не предпримет компенсационных мер. Таким образом, параметр достигает одного из своих экстремумов именно до первого управляющего действия оператора.
6. Максимальное приближение регулируемого параметра к уставке ах:
ах = тт {тт (хверх - х(*) I V х(г) < хверх);
min (x(t) - хн
| V x(t) >
где хнижн, хверх — нижняя и верхняя уставки соответственно (при отсутствии одной из уставок берут - да или + да соответственно).
Обычно уставки предназначены для инициирования сигнализации или срабатывания защит — предупредительных либо аварийных. Поэтому данный показатель может служить косвенным предвестником неуспешного (неэффективного) управления.
x
x
x
Таблица 21 Форма представления результатов оценивания показателя Rk
Задача Интерфейс Оператор Частный рейтинг интерфейса
1 ] т
1
Ь 1 „к ЯЬ11 „к ЯЬ1] „к ЯЬ1т —к ~к - к к ЯЬ1 ^ ЯЬ1 ^ ЯЬ1
1 „к ЯЬ11 „к Я1Ц „к ЯЬ1т —к ~к - к Яи ^ Яи ^ Яи
q Яiq1 Як J-liqm т>к ^ т>к ^ —к ЯЩ ^ ^ ^ „щ
п
Таким образом, для эмпирической оценки ЧМИ предлагается использовать шесть показателей:
Як(к = 1, ..., 6) = N
г
, *вып, 8х, Ах, ах1-
ош "реакц' "вып'
Каждый из этих показателей В^щ (табл. 2) регистрируется по результатам выполнения ]-м оператором (] = 1, ..., т, где т — число операторов, участвовавших в эмпирическом оценивании интерфейса) ь-й задачи (ь = 1, ..., п, где п — число задач, на которых тестировался интерфейс) с использованием 1-го интерфейса [I = 1, ..., q, где q — количество оцениваемых (сравниваемых) типов интерфейса]. В описываемом исследовании т = 6, п = 7 (4 упражнения и 3 сценария), q = 2 (традиционный и экологический интерфейсы).
Обработка и интерпретация результатов
Интерес представляют как абсолютные, так и относительные значения показателей. Абсолютные значения необходимы прежде всего для того, чтобы оценить, отвечает ли исследуемый интерфейс заданным ограничениям, например: время реакции оператора не должно превышать некоторое значение г* (греакц < г*); время выполнения ь-й задачи не должно превышать г* (гвып ь < г*) и др.
Если такие ограничения отсутствуют, то показатели как в абсолютном, так и в нормированном виде могут быть использованы для сравнительной оценки двух и более интерфейсов. В этом случае
для сравнения значений некоторого показателя
к
ЯI, полученных для различных интерфейсов (например, Ыош, эи и Ыош, ти — количество ошибок, совершенных оператором при использовании экологического и традиционного интерфейсов соответственно), можно использовать однофакторный
дисперсионный анализ, как это показано, в частности, в статьях [5, 6].
Дисперсионный анализ позволяет изучать влияние одной или нескольких независимых переменных (факторов) на зависимую переменную. В нашем случае зависимой переменной является показатель Я качества и эффективности деятельности оператора, а факторами — тип интерфейса I, задача Ь или оператор ]. Дисперсионный анализ показывает значимость различий в средних значениях на основании критерия Фишера, а также дает возможность построить доверительные интервалы. Основным результатом дисперсионного анализа является статистическая значимость — р-значение: если р < 0,05, то принимается гипотеза о различии средних значений между группами, разделенными исследуемым фактором.
Поскольку возможны существенные различия между тестовыми задачами (например, разные возмущающие воздействия или разные возможности для управления), прямое обобщение показателя по всем задачам не всегда корректно. В этом случае целесообразно рассматривать применение того или иного интерфейса в контексте определенной задачи Я^, а для сравнения интерфейсов может быть использован двухфакторный дисперсионный анализ, в котором в качестве второго фактора (первый — тип интерфейса) выступает выполняемая задача. Важным результатом при этом считается выявление тех типов задач, для которых тот или иной исследуемый тип интерфейса наиболее эффективный и полезный.
Дальнейшая обработка связана с формированием обобщенных показателей, отражающих эффективность исследуемого интерфейса (или нескольких интерфейсов) в целом. В качестве первого шага для каждого сочетания «интерфейс—задача» вычисляются средние показатели:
Яь1 - — X ва]>
т7 -1 7
— к
где Яц — среднее по всем операторам (7 = 1, ..., т) значение к-го показателя качества выполнения ь-й задачи с использованием 1-го интерфейса.
Затем все значения к-го показателя по одной задаче нормируются к интервалу [0; 1]:
—к
¿к Яц
Яц --,
X Яь1
I-1
где Я^ — нормированное среднее значение к-го показателя качества выполнения ь-й задачи с ис-
(
пользованием 1-го интерфейса
X я к -1
VI-1 У
Необходимо отметить, что первые пять из шести введенных выше показателей качества выполнения задачи — это убывающая функция. Иными словами, чем выше значение показателя, тем хуже качество выполнения задачи. Унифицируем все показатели, инвертировав убывающие:
Я^ - 1 - Як для к = 1, ..., 5;
~ к ~к
Яц - Яп для к = 6.
~ к
Теперь Яц — это, по сути, частный рейтинг 1-го интерфейса для обеспечения к-го показателя качества выполнения ь-й задачи. Чем выше этот рейтинг, тем лучше интерфейс с точки зрения обеспечения к-го показателя качества. Следующий шаг — формирование и анализ общего рейтинга Яц 1-го интерфейса для ь-й задачи (по всем показателям качества ее выполнения). Для этого к выборке значений Яц (ь = 1, ..., п; I = 1, ..., q; к = = 1, ., 6) применяется многофакторный дисперсионный анализ, где в качестве факторов выступают интерфейс и задача.
Л
Результаты
Опрос операторов и инструкторов, руководивших ходом экспериментов, показал, что экологический интерфейс сделал охват информации о материальных потоках в БС более целостным, существенно облегчил удержание уровня воды в БС, более наглядно и четко демонстрирует нарушения баланса материальных потоков, являющегося предпосылкой изменения уровня воды в БС. В целом операторы подчеркивают, что с экологическим интерфейсом оценивать ситуацию стало лучше. Инструкторы ПМТ, наблюдавшие за ходом экспериментов, отмечали повышение скорости и точности диагностирования ситуации.
Для количественного анализа выбраны следующие показатели качества выполнения задачи:
Ыош — количество ошибок оператора; ¿реакц — время реакции; ¿вьш — время выполнения задачи; 8Нводы в бс — точность установки уровня воды в БС (отклонение уровня от значения +380 мм в конце упражнения);
8Спит. воды — точность установки расхода питательной воды (разность между расходом пара и суммарным расходом питательной воды в конце упражнения);
ДНводы в бс — амплитуда изменения уровня воды в БС;
стНводы в бс — максимальное приближение уровня воды в БС к уставкам;
а^пит. воды — максимальное приближение расхода питательной воды к уставке.
В качестве исходных экспериментальных данных выступали значения всех релевантных технологических параметров и состояние оборудования (всего около 150 переменных), регистрируемые один раз в секунду. В результате их обработки были рассчитаны 672 показателя (2 интерфейса х х 7 задач х 6 операторов х 8 показателей). Часть этих показателей была подвергнута однофакторному, а часть — двухфакторному дисперсионному анализу, где в качестве факторов выступают тип интерфейса и выполняемая задача. Кроме того, были рассчитаны частные рейтинги исследуемых интерфейсов, для которых также выполнен двухфактор-ный дисперсионный анализ. Результаты дисперсионного анализа показаны на рис. 4. Точки на графиках — это средние значения с доверительным интервалом 95 %. Значимость различий между исследуемыми интерфейсами показана в табл. 3.
Обсуждение результатов
Время реакции. Во всех задачах, кроме первого сценария, наблюдается превосходство — от существенного до умеренного — экологического интерфейса, что связано прежде всего с тем, что экологический интерфейс обеспечивает наглядное представление факта нарушения материального баланса между входящими и выходящими из БС потоками. Это нарушение служит предвестником изменения уровня воды в БС, а его раннее обнаружение позволяет операторам начать регулирование еще до появления серьезных проблем с уровнем. И наоборот, при использовании традиционного интерфейса операторы узнают о нарушении материального баланса только по последствию этого нарушения — изменению уровня воды в БС.
Различие между двумя типами интерфейса отсутствует в сценарии 1. В этом сценарии начинает самопроизвольно открываться регулирующий клапан питательной воды. Однако возникновению материального дебаланса препятствует другой клапан, стоящий на параллельной нитке. Этот клапан
Таблица 3 Результаты дисперсионного анализа показателей качества выполнения задачи и частных рейтингов интерфейсов
Анализируемые данные Факторы Р
Время реакции Задача х интерфейс 0,02
Время выполнения задачи Задача х интерфейс 0,03
Точность установки уровня воды в БС Интерфейс < 0,01
Точность установки расхода питательной воды Интерфейс < 0,01
Амплитуда изменения уровня воды в БС Задача х интерфейс < 0,01
Максимальное приближение уровня воды в БС к уставкам Задача х интерфейс < 0,01
Максимальное приближение расхода питательной воды к уставке Задача х интерфейс 0,05
Частные рейтинги интерфейсов Задача х интерфейс < 0,01
автоматически начинает закрываться, компенсируя в течение некоторого времени открытие неисправного клапана. Таким образом, существует латентный период между появлением неисправности и началом изменения уровня воды в БС. Этот период и дает операторам одинаковый шанс оценить ситуацию независимо от используемого интерфейса.
Время выполнения задачи. Здесь также наблюдается стабильное превосходство экологического интерфейса. В простых ситуациях — в упражнениях 1 и 2 — к подаче питательной воды самопроизвольно подключаются различные насосы, вызывая не очень большой, но довольно ощутимый деба-ланс. Компенсировать это возмущение несложно при условии его быстрой идентификации. Это обусловливает существенное преимущество экологического интерфейса. Умеренное превосходство наблюдается в задачах, содержащих очень сильные возмущения или наложенные друг на друга события.
На время выполнения задачи влияет также эффективная обратная связь, обеспечиваемая экологическим интерфейсом. Совершая управляющее воздействие, оператор наглядно видит момент достижения материального баланса, что предотвращает появление перерегулирования (т. е. потенциально лишних действий) и ускоряет выполнение задачи.
Амплитуда изменения уровня воды в барабане-сепараторе. Можно предположить, что этот показатель зависит от двух факторов: силы возмущения и времени реакции оператора. Сильное возмущение, вносящее ощутимый материальный дебаланс, и даже небольшая задержка в реакции оператора способны существенно изменить уровень. Это подтверждается наличием довольно высокими положительной корреляции между греакц и АНводы в бс (р = 0,5) и силой возмущения и АНводы в бс (Р ~ 0,7) при использовании экологического интерфейса.
Во всех задачах наблюдается устойчивое преимущество экологического интерфейса, используя
который операторы успевали вовремя «перехватить» процесс и не допустить сильных отклонений уровня воды. Близкие значения для обоих интерфейсов наблюдаются в сценарии 1 по причине, обсужденной выше.
Максимальное приближение уровня воды в барабане-сепараторе и расхода питательной воды к уставкам. Уставка — это значение технологического параметра, при котором возникают срабатывание сигнализации, блокировка (некоторой автоматической программы) или аварийная защита, снижающая мощность реактора или вообще его останавливающая. В данном исследовании в качестве уставок выступают аварийные пределы по уровню воды в БС и расходу питательной воды. Для уровня воды, так же как и в предыдущих случаях, наблюдаются близкие значения показателей при выполнении сценария 1. Это единственный момент, когда с экологическим интерфейсом операторы довольно близко «подошли» к уставке срабатывания защиты. И наоборот, при использовании традиционного интерфейса таких приближений наблюдается довольно много: в упражнении 2 по питательной воде и сценариях 2 и 3 по обоим технологическим параметрам.
Точность установки уровня воды в барабане-сепараторе и расхода питательной воды. Эксперименты показали, что точность регулирования никак не зависит от выполняемой задачи, вследствие чего для обработки этого показателя был применен однофакторный анализ. Кроме того, точность регулирования уровня воды релевантна только упражнениям, так как в сценариях допускалось стабилизировать уровень на любом из допустимых значений, не восстанавливая его в первоначальной точке. Поэтому в дисперсионном анализе участвовали только результаты выполнения четырех упражнений. В обеих диаграммах наблюдается значимое преимущество экологического интерфейса.
Рис. 4
Результаты дисперсионного анализа показателей качества выполнения задач и частных рейтингов интерфейсов:
У1-У4 — упражнения 1-4; С1-С3 — сценарии 1-3; — ---ТИ — традиционный интерфейс; —•--
ЭИ — экологический интерфейс
Общий рейтинг интерфейса. В целом наблюдается уверенное превосходство экологического интерфейса над традиционным. Исключение составляет сценарий 1. В этом сценарии экологический интерфейс не концентрирует внимание оператора на происшедшем событии, хотя и отображает его. Возможно, это послужило причиной ошибки одного из операторов, закончившейся срабатыванием аварийной защиты, что и привело к снижению рейтинга экологического интерфейса. Простым решением здесь является введение сигнализации «Самоход клапана», срабатывающей при сочетании определенных условий. Однако вопрос о более удобном и эффективном представлении состояния узла регулирования подачи питательной воды, позволяющем операторам быстро контролировать его работоспособность, остается открытым.
Кроме того, из диаграммы видно, что разные задачи обусловливают различную степень превосходства экологического интерфейса. Это совпадает с выводами, сделанными авторами большинства работ, посвященных его эмпирической оценке.
Количество ошибок. При выполнении всех задач с использованием экологического интерфейса было зафиксировано только два случая формирования режима аварийной защиты, тогда как при работе с традиционным интерфейсом таких срабатываний произошло восемь.
Общие замечания. Конечной целью сравнительного анализа интерфейсов является принятие решения о том, какой же из интерфейсов лучше. Такое решение должно приниматься на основании некоторого обобщенного показателя, характеризующего интерфейс в целом. Формирование такого показателя — одна из целей настоящего исследования. Однако наиболее сложной проблемой на пути к этому показателю стало обобщение экспериментальных данных, полученных при выполнении разных задач. Как уже отмечалось, все тестовые задачи существенно различались друг от друга по трудоемкости, силе возмущающего воздействия, имеющимся возможностям для управления, скорости протекания процессов, наложению нескольких событий и другим факторам.
Начиная обработку данных, мы интуитивно полагали, что наиболее показательным и значимым фактором является сила возмущения, порой далеко «уводящая» регулируемый параметр (уровень воды в БС) от нормы. Именно сила возмущения, которую несложно оценить количественно, могла бы лечь в основу весового коэффициента задачи, что позволило бы выполнить свертку рейтингов интерфейса по различным задачам в единый показатель. Однако, судя по результатам обработки и на основании некоторых размышлений, оказалось, что этот фактор не всегда играет отрицательную роль, а его влияние на показатели выполнения задачи не столь очевидно. Это означает, что в формирование весовых коэффициентов должны быть вовлечены
и другие факторы, влияющие на деятельность оператора. Для выявления этих факторов необходим более глубокий теоретический анализ задач, что и станет темой дальнейшего исследования.
Заключение
В данной работе выполнен обзор существующих подходов к эмпирической оценке ЧМИ для управления технологическим процессом, в результате которого выявлены основные методы и количественные показатели оценки. Далее предлагается метод, состоящий в следующем. Разработанный интерфейс устанавливают на полномасштабном тренажере объекта управления (энергоблока АЭС). Отбирают тестовые задачи, основанные на ранее встречавшихся ситуациях, которые приводили к ошибкам операторов. Затем формируют экспериментальную программу, в которую включают освоение операторами нового интерфейса, выполнение тестовых задач с использованием нового и существующего интерфейсов и заполнение опросников операторами (участниками экспериментов) и инструкторами, руководящими ходом экспериментов.
На основании полученных данных рассчитывают показатели качества выполнения задачи: количество ошибок, время реакции, время выполнения, точность установки регулируемого параметра, амплитуду изменения регулируемого параметра и максимальное приближение регулируемого параметра к уставкам. Затем полученные показатели подвергают однофак-торному и многофакторному дисперсионному анализу, в ходе которого проверяют значимость различий между новым и традиционным интерфейсами. На основании этих показателей формируют общий рейтинг анализируемых типов интерфейса по отношению к каждой из выполняемых задач.
Разработанная методика была применена для оценки экологического интерфейса, предназначенного для улучшения восприятия и снижения когнитивной нагрузки на оператора при управлении уровнем воды в барабане-сепараторе Ленинградской АЭС. В ходе опытной эксплуатации выполнена оценка этого интерфейса по сравнению с традиционным приборным интерфейсом. В результате серии экспериментов выявлено значимое превосходство экологического интерфейса, однако степень превосходства зависит от выполняемой задачи. Для оценки силы и природы этой зависимости необходимы дальнейшие исследования, направленные на теоретический анализ задач.
Авторы выражают огромную признательность инструкторам ПМТ-1 Ленинградской АЭС Л. А. Тарасову и А. В. Подкопаеву, благодаря энтузиазму которых данная работа была доведена до конца. Они оказали неоценимую помощь в решении технологических вопросов управления рассматриваемым
Совершенствование интерфейсов
участком АЭС. Авторы благодарят также операторов — участников экспериментов, безвозмездно тративших свое время и силы на освоение нового интерфейса и выполнение ряда заданий.
Литература
1. Бурков Е. А., Падерно П. И., Пахарьков Г. Н. Экспертиза: системные проблемы и пути их решения при выборе медицинской аппаратуры // Биотехносфера. 2010. № 2(8). С. 6-14.
2. Львов В. М., Найченко М. В. Экспериментальная проверка работоспособности новой методики оценки эргономичности эргатических систем // Человеческий фактор: Проблемы психологии и эргономики. 2010. № 3 (54). С. 50-56.
3. Городецкий И. Г., Найченко М. В., Турзин П. С. Эргономика и качество изделий медицинской техники // Биотехносфера. 2010. № 2(8). С. 34-38.
4. Дозорцев В. М., Назин В. А. Компьютерные тренажеры как инструмент экспериментального исследования операторской деятельности // В сб. Экспериментальная психология в России / Под ред. В. А. Барабанщикова. М.: Институт психологии РАН, 2010. С. 491-496.
5. Evaluation of ecological interface design for nuclear process control: situation awareness effects / C. M. Burns,
G. Skraaning, G. A. Jamieson [et al.] // Human factors. 2008. Vol. 50, N 4. P. 663-679.
6. Ecological interface design in the nuclear domain: an empirical evaluation of ecological displays for the secondary subsystems of a boiling water reactor plant simulator / N. Lau, G. A. Jamieson, G. Skraaning, C. M. Burns // IEEE Transactions on nuclear science. 2008. Vol. 55, N 6. P. 35973610.
7. Jamieson G. A. Ecological interface design for petrochemical process control: an empirical assessment // IEEE Transactions on Systems, Man and Cybernetics. Pt. A: Systems and Humans. 2007. Vol. 37, N 6. P. 906-920.
8. Marmaras N., Drivalou S. Design and evaluation of ecological interfaces // THALES Basic research program. Project 65/1192. Project results demonstration. Athens: National technical university of Athens, 2005. 6 p.
9. Бесекерский В. А., Попов Е. П. Теория систем автоматического регулирования. М.: Наука, 1972. 768 с.
10. Анохин А. Н., Ивкин А. С. Экологический интерфейс для мониторинга состояния барабанов-сепараторов АЭС с РБМК // Человеческий фактор: проблемы психологии и эргономики. 2013. № 3 (66). С. 69-75.
11. Vicente K. J., Rasmussen J. Ecological interface design: Theoretical foundations // IEEE Transactions on Systems, Man and Cybernetics. 1992. Vol. 22, N 4. P. 589-606.
12. Арнхейм Р. Новые очерки по психологии искусства. М.: Прометей, 1994. 352 с.
/Г
Лк
ОАО «Издательство "ПОЛИТЕХНИКА"
предлагает:
Системный анализ в фундаментальных и прикладных исследованиях / В. В. Кузнецов, С. В. Бабуров, А. А. Мальчевский, А. В. Самойлов, А. Ю. Шатраков; Под ред. В. В. Кузнецова. — СПб. : Политехника, 2014. — 378 с.
ISBN 978-5-7325-1048-5 Цена: 520 руб.
Монография посвящена проблемам анализа, синтеза и моделирования сложных систем различной природы. Содержание материала соответствует разделу паспорта научной специальности 05.13.01 «Системный анализ управления и обработка информации». Материалы монографии сгруппированы так, что они удовлетворяют требованиям ученых при выполнении фундаментальных и прикладных исследований. Монография рассчитана для использования учеными, специалистами-практиками, аспирантами при выполнении исследований и анализе больших, территориально распределенных технических систем, а также сложных проектов.
Для приобретения книги по издательской цене обращайтесь в отдел реализации:
Тел.: (812) 312-44-95, 710-62-73; тел./факс: (812) 312-57-68; e-mail: [email protected], [email protected], через сайт: www.polytechnics.ru
Возможна отправка книг «Книга — почтой». Книги рассылаются покупателям в России наложенным платежом (без задатка). Почтовые расходы составляют 40 % и выше от стоимости заказанных Вами книг.
J
