CC BY
148
НАУЧНОЕ ИЗДАНИЕ МГТУ ИМ. Н. Э. БАУМАНА
НАУКА и ОБРАЗОВАНИЕ
Эл № ФС77 - 4 8211. Государственная регистрация №042 1200025. ISSN 1994-0408
электронный научно-технический журнал
Шкала для оценки эргономичности способов отображения информации # 05, май 2014
DOI: 10.7463/0514.0711864 Горячкин Б. С.
УДК 004.055:004.51:303.622
Россия, МГТУ им. Баумана bsgorffmail.ni
Введение
В современных автоматизированных системах различного назначения могут использоваться различные способы отображения информации. При этом, способ отображения информации должен делать информацию как можно более понятной для человека. Во многих случаях, программное обеспечение системы приходится существенно модифицировать в связи с трудностями понимания и интерпретации отображаемой информации пользователями. Для того, чтобы можно было эффективно контролировать этот процесс, необходим способ оценки эргономичности отображаемой информации. Учитывая тот факт, что эргономичность является субъективным понятием, единственный возможный способ оценки эргономичности - опрос пользователей системы. Такой опрос должен быть хорошо стандартизован, прост для пользователей и удобен в интерпретации.
В настоящее время существует ряд шкал эргономичности достаточно широко используемых на практике, представляющих собой анкеты-опросники. Прежде всего, это так называемая System Usability Scale (SUS) [4], которая, пожалуй, наиболее часто используется и хорошо исследована (см., например, работы [3; 9]). Она состоит из 10 пунктов и измеряет удобство использование и возможность научиться работе с системой.
Среди других аналогичных шкал можно выделить:
• After Scenario Questionnaire (ASQ) [8], предназначенную для измерения удовлетворенности пользователя от эргономичности системы и состоящую из трех пунктов.
• Computer System Usability Questionnaire (CSSUQ) и Post-Study System Usability Questionnaire (PSSUQ) [8], предназначенные для измерения удовлетво-
ренности пользователя от качества информации, степени полезности системы и др. Каждая из этих шкал состоит из 19 пунктов.
• Questionnaire for User Interface Satisfaction (QUIS) [5], предназначенную для измерения различных параметров, связанных со степенью удовлетворенности пользовательским интерфейсом. Состоит из 27 пунктов.
• Software Usability Measurement Inventory (SUMI) [7], предназначенную для измерения различных параметров эргономичности системы в целом, в том числе, удобство использования, возможности быстро изучить работу системы, эмоции, вызываемые работой с системой и др. Состоит из 50 пунктов.
К сожалению, упомянутые шкалы имеют три основных недостатка:
1. они предназначены для оценки эргономических характеристик системы в целом, а не способа отображения информации;
2. они не позволяют оценить такой важный параметр, как вовлеченность (в англоязычной литературе - engagement);
3. большинство упомянутых шкал содержат большое количество пунктов, что создает большое неудобство для респондентов.
Таким образом, приходится констатировать отсутствие подходящей шкалы для оценки эргономичности способа отображения информации. Разработка такой шкалы, свободной от вышеуказанных недостатков, и является целью настоящей работы.
1. Предлагаемая шкала
Мы предлагаем шкалу, представляющую собой анкету-опросник, содержащую следующие шесть пунктов:
1. Для меня просто найти нужную информацию.
2. Я испытываю трудности в понимании информации
3. Для понимания информации необходимо иметь высокую квалификацию.
4. Я смог найти полезную информацию.
5. Вся информация совершенно бесполезна.
6. Я буду часто использовать устройство, отображающее информацию в таком виде.
Каждый из этих пунктов представляет собой утверждение, степень своего согласия с которым респондент должен оценить по шкале Лайкерта:
• Полностью не согласен;
• Не согласен;
• Затрудняюсь ответить;
• Согласен;
• Полностью согласен.
Интерпретация ответов респондентов производится путем выставления баллов за каждый ответ с последующим суммированием баллов. Для каждого утверждения выставляется от 1 до 5 баллов, причем ответы на утверждения 1, 4, 6, являющиеся позитивными,
оцениваются по шкале: 1 - полностью не согласен, ..., 5 - полностью согласен, а ответы на утверждения 2, 3, 5, являющиеся негативными, оцениваются по шкале: 1 - полностью согласен, ..., 5 - полностью не согласен.
Таким образом, максимальная сумма баллов равна 30, а минимальная - 5.
Как будет показано ниже, предложенная шкала состоит из двух подшкал, которые могут быть оценены независимо:
• подшкала удобства использования, состоящая из утверждений 1, 2, 3;
• подшкала вовлеченности, состоящая из утверждений 4, 5, 6.
2. Статистическое исследование.
Предложенная шкала была протестирована посредством опроса 653 человек. Демографические характеристики выборки приведены в таблице 1.
Таблица 1. Демографические характеристики респондентов.
Характеристика
Пол 49.1% мужчин
50.9% женщин
Средний возраст 32.3 года
Образование:
Ученая степень 0.6%
Высшее 27.3%
Неполное высшее 5.1%
Среднее 36.7%
Ниже среднего 30.3%
Всего было подготовлено 8 различных образцов инфографики, которые показывали зависимость потребления горячей и холодной воды в здании от времени суток. Каждому респонденту был предложен один из них для оценивания по разработанной шкале.
По результатам опроса был проведен факторный анализ [1]. Его результаты приведены в таблице 2. Всего было выявлено два фактора. Первый фактор мы определяем, как «Удобство использования», второй фактор - как «Вовлеченность». Из таблицы 2 очевидно, что вопросы 1, 2 и 3 являются наполнением первого фактора, а вопросы 4, 5 и 6 - наполнением второго фактора.
Таблица 2. Результаты факторного анализа
Фактор 1 Фактор 2
1. Для меня просто найти нужную информацию. 2. Я испытываю трудности в понимании информации 3. Для понимания информации необходимо иметь высокую квалификацию. 4. Я смог найти полезную информацию. 5. Все информация совершенно бесполезна. 6. Я буду часто использовать устройство, отображающее информацию в таком виде. 0,76 0,85 0,75 0,21 0,28 0,11 0,32 0,15 0,02 0,85 0,70 0,86
Была произведена оценка надежности путем вычисления коэффициента Кронбаха X [6; 10], по следующей формуле:
а
N
N -1
N Л 2 2 ах -
i=1
а
х
(1)
V У
где N - количество исследуемых компонентов, а2 - среднеквадратическое отклонение
всех исследуемых множеств, а1 - среднеквадратическое отклонение компонента Y, а
N
х = £ Y.
г=1
Интерпретация значений этого коэффициента приведена в таблице 3.
Таблица 3. Интерпретация коэффициента Кронбаха
Коэффициент Кронбаха а Степень надежности
> 0.9 очень хорошая
> 0.8 хорошая
> 0.7 достаточная
> 0.6 сомнительная
> 0.5 плохая
■■■ 0,5 недостаточная
Для предложенной шкалы коэффициент Кронбаха составил 0.82, для первого фактора - 0.79, для второго - 0.81. Таким образом надежность всей шкалы, а также второго фактора можно квалифицировать, как хорошую, в то время как надежность первого фактора -как достаточную.
Также была произведена оценка чувствительности методом дисперсионного анализа [2]. В соответствии с результатами этого анализа, можно сделать вывод о значительной чувствительности всей шкалы (F = 3.919, p<0.001) и первого фактора: (F = 8.3 ,
p < 0.001), а также достаточно приличные показатели чувствительности второго фактора: (F = 2.3, p < 0.01).
Заключение
Таким образом, в статье предложена простая и легкая в использовании шкала, предназначенная для быстрой оценки эргономичности способов отображения информации. Шкала позволяет оценить два аспекта эргономичности: удобство использования и вовлеченность. Проведенное исследование показало хорошую надежность и достаточно высокую чувствительность оценки эргономичности способов отображения информации с помощью предложенной шкалы.
Список литературы
1. Ким Дж.О., Мьюллер Ч.У., Клекка У.Р., Олдендерфер М.С., Блэшфилд Р.К. Факторный, дискриминантный и кластерный анализ: пер. с англ. М.: Финансы и статистика, 1989. 215 с.
2. Наследов А.Д. Математические методы психологического исследования. СПб.: Речь, 2004. 392 с.
3. Bangor A., Kortum P.T., Miller J.T. An empirical evaluation of the System Usability Scale // International Journal of Human-Computer Interaction. 2008. Vol. 24, no. 6. P. 574-594.
4. Brooke J. SUS-A quick and dirty usability scale // In: Usability Evaluation in Industry / P.W. Jordan, B. Thomas, B.A. Weerdmeester, I.L. McClelland (eds.). London: Taylor & Francis, 1996. P. 189-194.
5. Chin J.P., Diehl V.A., Norman K.L. Development of an instrument measuring user satisfaction of the human-computer interface // Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI '88). ACM, 1988. P. 213-218. DOI: 10.1145/57167.57203
6. Cronbach L.J. Coefficient alpha and the internal structure of tests // Psychometrika. 1951. Vol. 16, no. 3. P. 297-334.
7. Kirakowski J., Corbett M. SUMI: The software usability measurement inventory // British Journal of Educational Technology. 1993. Vol. 24, no. 3. P. 210-212.
8. Lewis J.R. IBM computer usability satisfaction questionnaires: psychometric evaluation and instructions for use // International Journal of Human-Computer Interaction. 1995. Vol. 7, no. 1. P. 57-78.
9. Lewis J.R., Sauro J. The Factor Structure of the System Usability Scale // In: Human Centered Design. Springer Berlin Heidelberg, 2009. P. 94-103. DOI: 10.1007/978-3 -642-028069 12
10. Schmitt N. Uses and abuses of coefficient alpha // Psychological assessment. 1996. Vol. 8, no. 4. P. 350-353.
SCIENTIFIC PERIODICAL OF THH BAUMAN MSTU
SCIENCE and EDUCATION
EL № FS77 - 48211. N»0421200025. ISSN 1994-0408
electronic scientific and technical journal
A scale for estimating the ergonomics of information display methods
# 05, May 2014
DOI: 10.7463/0514.0711864 B.S. Goryachkin
Bauman Moscow State Technical University, 105005, Moscow, Russian Federation
bsgorffmaiLru
Modern automated systems use various methods to display information. Thus, a method to estimate the ergonomics of displayed information is desirable. Now there are a number of ergonomics scales, which are rather widely used in practice. Unfortunately, they have a number of shortcomings.
We offer a new scale consisting of six points. Each of these points represents an assertion, which must be estimated by the respondent on Laykert's scale in terms of the extent of his consent with it. The offered scale consists of two independent subscales: a subscale of usability and a subscale of involvement.
The offered scale was tested via polling survey of 653 people. The factorial analysis to confirm the existence of two factors was based on the results of the poll. Reliability evaluation was accomplished by calculating a Cronbach's coefficient. For the offered scale the Cronbach's coefficient was 0.82. As to the first factor and to the second one, it was, respectively, 0.79 and 0.81. It means that, reliability of the entire scale, and also that of the second factor is possible to qualify as a good one, while reliability of the first factor may be qualified as sufficient.
The sensitivity evaluation was made using a method of the dispersion analysis. According to results of this analysis, a conclusion may be drawn that the sensitivity of the entire scale and the first factor is significant, and the second factor sensitivity is sufficient.
The scale offered in the article is simple and easy in use. The scale allows us to estimate two aspects of ergonomics: usability and involvement. The conducted research has shown that the offered scale provides good reliability and rather high sensitivity of estimating the ergonomics of information display methods.
Publications with keywords: ergonomics, scale Publications with words: ergonomics, scale
References
1. Kim J.-O., Mueller C.W. Factor Analysis: Statistical Methods and Practical Issues. 12th printing. Sage Publications, Inc., 1986; Klecka W.R. Discriminant Analysis. 7th printing. Sage Publications, Inc., 1986; Aldenderfer M.S., Blashfield R.K. Cluster Analysis. 2nd printing. Sage Publications, Inc., 1985. (Russ. ed.: Kim J.-O., Mueller C.W., Klecka W.R., Aldenderfer M.S., Blashfield R.K. Faktornyy, diskriminantnyy i klasternyy analiz. Moscow, Finansy i statistika Publ., 1989. 215 p.).
2. Nasledov A.D. Matematicheskie metody psikhologicheskogo issledovaniya [Mathematical methods of psychological research]. St. Petersburg, Rech' Publ., 2004. 392 p. (in Russian).
3. Bangor A., Kortum P.T., Miller J.T. An empirical evaluation of the System Usability Scale. International Journal of Human-Computer Interaction, 2008, vol. 24, no. 6, pp. 574-594.
4. Brooke J. SUS: A Quick and Dirty Usability Scale. In: Jordan P.W., Thomas B., Weerdmeester B.A., McClelland I.L., eds. Usability Evaluation in Industry. London, Taylor and Francis, 1996, pp. 189-194.
5. Chin J.P., Diehl V.A., Norman K.L. Development of an instrument measuring user satisfaction of the human-computer interface. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI '88). ACM, 1988. P. 213-218. DOI: 10.1145/57167.57203
6. Cronbach L.J. Coefficient alpha and the internal structure of tests. Psychometrika, 1951, vol. 16, no. 3, pp. 297-334.
7. Kirakowski J., Corbett M. SUMI: The software usability measurement inventory. British Journal of Educational Technology, 1993, vol. 24, no. 3, pp. 210-212.
8. Lewis J.R. IBM computer usability satisfaction questionnaires: psychometric evaluation and instructions for use. International Journal of Human-Computer Interaction, 1995, vol. 7, no. 1, pp. 57-78.
9. Lewis J.R., Sauro J. The Factor Structure of the System Usability Scale. In: Human Centered Design. Springer Berlin Heidelberg, 2009, pp. 94-103. DOI: 10.1007/978-3-642-02806-9 12
10. Schmitt N. Uses and abuses of coefficient alpha. Psychological assessment, 1996, vol. 8, no. 4, p. 350-353.
