CC BY
192УДК 316:004.9
ОБЗОР МЕТОДОВ ОЦЕНКИ НАДЕЖНОСТИ ИЗМЕРИТЕЛЬНОЙ ШКАЛЫ В СОЦИОЛОГИЧЕСКИХ ИССЛЕДОВАНИЯХ
Е.Е. Фомина
Тверской государственный технический университет
Метод анкетирования широко используется социологами в качестве основного способа анализа состояния общественного мнения. Данные, полученные в результате анкетирования, позволяют проанализировать проблему, опираясь на мнение большого числа респондентов. Поэтому одним из важных требований, предъявляемых к анкетам, является их достаточная валидность и надежность. В противном случае, полученные результаты не будут представлять никакой ценности и не могут быть использованы для получения объективных выводов. Настоящая статья посвящена обзору методов, применяемых для оценки надежности измерительной шкалы, используемой при проведении анкетирования и опроса. Рассмотрены такие методы оценки надежности как расчет статистики а Кронбаха; метод, основанный на расщеплении шкалы и расчете коэффициентов Спирмена-Брауна и Гуттмана; метод анализа надежности шкалы, путем проверки ее устойчивости по повторным измерениям с помощью расчета коэффициента Спирмена-Брауна. Проанализированы их преимущества и недостатки. Применение всех методов продемонстрировано на примере. Сделаны обобщающие выводы и даны рекомендации, предложен алгоритм анализа, включающий пять этапов.
Ключевые слова: измерительная шкала, построение надежных шкал, анкетирование, а Кронбаха, коэффициент Спирмена-Брауна, коэффициент Гуттмана.
1. Введение
Анкетный социологический опрос - наиболее эффективный инструмент сбора информации при изучении общественного мнения [6]. Полученные путем анкетирования социологические данные позволяют проанализировать проблему, учитывая мнение большого числа респондентов, и способствуют принятию оптимальных решений.
Ошибки, допущенные на этапе составления анкет (неточные формулировки вопросов или некорректная шкала ответов) могут оказать существенное влияние на итог исследования и привести к искаженным результатам. Поэтому при разработке анкеты важно, чтобы построенная измерительная шкала (список вопросов) была валидной и надежной.
Под валидностью шкалы понимается однозначность и правильность получаемых результатов относительно измеряемого свойства объектов, т. е. относительно предмета измерения [1]. Для проверки валидности на практике применяются экспертный метод, корреляционный и факторный анализ [7 - 9].
Под надежностью шкалы понимается воспроизводимость получаемых результатов измерения, их устойчивость к действию случайных факторов. Надежная шкала не должна содержать неясно или неоднозначно сформулированных вопросов, на которые респонденты отвечают случайным образом. Вопросов, связанных с колебаниями внимания или вопросов, которые могут быть по-разному восприняты в различных ситуациях [1].
Результат измерения или балл, определяющий мнение респондента при ответе на вопрос анкеты (х), включает в себя две составляющие: истинное значение или истинную метку (X) и ошибочное значение (Р):
х = X + р.
Ошибочное значение, в свою очередь, состоит из систематической ошибки, связанной, например, с используемой методикой или некорректно сформулированным вопросом и случайной ошибки, связанной с влиянием случайных факторов на мнение респондента. Измерение считается надежным, если истинная метка значительно превалирует над ошибочным значением.
При увеличении количества вопросов влияние случайных факторов будет снижаться, и надежность измерительной шкалы увеличится. Однако анкета с большим числом вопросов
может утомить респондента.
Внедрение математических методов, предназначенных для проверки надежности шкалы и определения оптимального числа вопросов, является актуальной задачей. Цель настоящей статьи - анализ и оценка методов, применяемых для проверки надежности социологического измерительного инструмента, разработка общего алгоритма оценки надежности измерительной шкалы.
2. Материалы и методы
Основные способы оценки надежности измерительных шкал можно разделить на следующие группы (в статье рассматриваются способы, которые возможно реализовать в пакетах статистической обработки данных, таких как SPSS и STATISTICA):
- проверка внутренней согласованности между утверждениями, образующими шкалу (расчет статистики а Кронбаха);
- расщепление шкалы и анализ корреляции между ее частями (расчет коэффициентов Спирмена-Брауна, Гуттмана);
- проверка ретестовой надежности, которая базируется на сравнении и анализе результатов измерений с использованием одной и той же шкалы на одной и той же выборке респондентов в разные промежутки времени (расчет коэффициента Спирмена-Брауна, коэффициента устойчивости).
Перечисленные способы не являются взаимоисключающими и могут использоваться в комплексе при подготовке вопросов анкеты.
Остановимся более подробно на каждом из них и продемонстрируем возможности способов на примере при построении измерительной шкалы для проведения социологического исследования на тему «Система ценностей современной молодежи глазами студентов». Анкета включала в себя 30 вопросов. Каждый вопрос позволял оценить насколько та или иная ценностная ориентация присуща современной молодежи. Измерение проводилось по 5-бальной шкале. Выборка составила 100 респондентов, из них 45 юношей и 55 девушек.
Анализ данных осуществлялся в табличном процессоре MS Excel, а также пакете SPSS, который обладает широкими возможностями по статистической обработке данных.
3. Проверка внутренней согласованности между позициями шкалы с использованием статистики а Кронбаха
Статистика а Кронбаха позволяет оценить внутреннюю согласованность между утверждениями измерительной шкалы. Формула для расчета а Кронбаха имеет вид:
а =-
n -1
I s
1-
2
n
1=1
2
s
где п - объем выборки;
sf - выборочная дисперсия для 1-ого вопроса;
^ит - выборочная дисперсия суммарной шкалы (суммарная оценка всех респондентов).
Если разброс результатов для суммарной шкалы меньше, чем разброс для каждого отдельного вопроса, то шкала считается надежной. В этом случае значение а Кронбаха близко к единице.
Если в ответе респондента превалирует случайная составляющая, т.е. получен случайный разброс при ответе на вопросы, то шкала считается ненадежной. В этом случае дисперсия суммарной шкалы равна сумме дисперсий отдельных вопросов и тогда значение а Кронбаха близко к нулю.
На практике надежность по внутренней согласованности оценивается по следующим критериям [5] (табл. 1).
Таблица 1 - Оценка надежности шкалы
_а > 0,9 - шкала отличная;_
а > 0,8 - шкала хорошая; а > 0,7 - шкала удовлетворительная; а > 0,6 - шкала сомнительная; а > 0,5 - шкала малопригодная; а <0,5 - шкала недопустимая.
Зарубежные нормы предусматривают, что тесты, используемые при массовых социологических опросах и по результатам которых будут приняты значимые решения, должны иметь а Кронбаха не меньше 0,8. Для отечественных норм шкалы с а >0,7 считаются надежными. Для разведочного исследования возможно отсечение а >0,6 [4, 5].
Основным недостатком статистики а Кронбаха является тот факт, что с увеличением количества вопросов ее значение прямо пропорционально увеличивается, что в свою очередь может привести к ошибочным положительным результатам для плохо структурированного теста [3].
Произведем расчет статистики а Кронбаха для измерительной шкалы, используемой при анкетировании на тему «Система ценностей современной молодежи».
Результаты применения метода представлены в табл. 1. Основной показатель надежности тестируемой шкалы, а Кронбаха, равен 0,8113, что говорит об хорошей согласованности ответов на ее пункты (табл. 2).
Таблица 2 - Общие статистики позиций
Статистики пригодности
Альфа Кронбаха Количество пунктов
0,8113 30
Статистики пункта-итогов
№ Общая корреляция коррелированных Альфа Крон-баха при удалении пункта № Общая корреляция коррелированных Альфа Крон-баха при удалении пункта
пунктов пунктов
1 0,021 0,8189 16 0,533 0,8111
2 -0,011 0,8191 17 0,582 0,8109
3 0,311 0,8135 18 0,671 0,8106
4 0,822 0,8069 19 0,682 0,8105
5 0,851 0,8066 20 0,789 0,8085
6 0,796 0,8079 21 0,852 0,8065
7 0,811 0,8071 22 0,952 0,8060
8 0,801 0,8073 23 0,789 0,8083
9 0,691 0,8105 24 0,863 0,8062
10 0,771 0,8096 25 0,853 0,8063
11 0,772 0,8093 26 0,032 0,8186
12 0,777 0,8088 27 0,963 0,8060
13 0,614 0,8107 28 0,798 0,8076
14 0,531 0,8111 29 0,789 0,8083
15 0,691 0,8100 30 -0,144 0,8193
Пакет SPSS позволяет более детально проанализировать пункты шкалы (табл. 2). Столбец «Общая корреляция коррелированных пунктов» показывает корреляцию между от-
ветами на соответствующий вопрос и общей суммарной шкалой без этого вопроса. Столбец «Альфа Кронбаха при удалении пункта» содержит значение а Кронбаха, отражающее надежность шкалы, если соответствующий вопрос будет удален.
Особенно выделяются пункты 2 и 30, т.к. они имеют отрицательную корреляцию. Отрицательное значение коэффициента корреляции говорит о том, что пункт нужно перекодировать в противоположном направлении [4].
Вопросы 1, 2, 3, 26, 30 имеют низкую (по модулю) корреляцию с остальной шкалой, а значение столбца «Альфа Кронбаха при удалении пункта» для этих вопросов больше, чем значение а Кронбаха для суммарной шкалы. Рекомендуется их переформулировать, более конкретизировать или рассмотреть возможность исключения некоторых из них из анкеты.
Таким образом, расчет статистики а Кронбаха является достаточно простым и удобным способом анализа надежности измерительной шкалы. Однако недостатком показателя является тот факт, что его значение может быть «искусственно» увеличено за счет увеличения числа вопросов, что может привести к ошибочным выводам для плохо структурированных анкет.
4. Проверка, основанная на расщеплении шкалы и оценки корреляции между ее частями
Расщепление измерительной шкалы представляет собой процедуру, согласно которой шкала разбивается на две половины (например, четные и нечетные вопросы). Если они коррелируют между собой, исходная шкала считается надежной.
Для анализа надежности в этом случае рассчитывается коэффициент Спирмена-Брауна:
к * к
0,5;0,5
1 + (к - 1)Го
М:1 =
где ги - надежность всего опросника;
г0 5 0 5 - коэффициент корреляции между результатами тестирования по двум половинам опросника;
к - коэффициент расщепления, т.е. общее число вопросов, деленное на число вопросов в расщеплённом опроснике.
Нужно отметить, что на коэффициент надежности Спирмена-Брауна сильно влияют способы разделения пунктов на две половины, которое предпочтительно осуществлять случайным образом. Случайное распределение пунктов по двум формам повышает вероятность равенства дисперсий между этими формами, однако такое равенство не гарантируется и должно проверяться исследователем.
Нужно отметить, что коэффициент Спирмена-Брауна также увеличивается с увеличением числа вопросов, как и коэффициент а Кронбаха.
Для оценки надежности шкалы методом расщепления может использоваться коэффициент лямбда Гуттмана, не требующий равенства дисперсий:
г = 2
1 -
_2 2 ^ С
С
где а2х - дисперсия результатов по первой части заданий теста; а у - дисперсия результатов по второй части заданий; ст2 - дисперсия результатов по всему тесту.
Основным достоинством коэффициента Гуттмана является тот факт, что его значения не возрастают прямо пропорционально длине опросника [3].
Значения ги и гд большие 0,90 говорят об отличной надежности; значения в проме-
жутке от 0,8 до 0,89 - о хорошей надежности; значения от 0,7 до 0,79 - об удовлетворительной надежности [3, 10].
Применение метода расщепления в пакете SPSS для анализа измерительной шкалы, используемой при анкетировании на тему «Система ценностей современной молодежи глазами студентов», привело к следующим результатам (табл. 3).
Таблица 3 - Оценка надежности шкалы при расщеплении
Статистики пригодности
Альфа Кронбаха Часть 1 Значение 0,7986
Количество пунктов 15a
Часть 2 Значение 0,8089
Количество пунктов 15b
Коэффициент Спирмена-Брауна Равная длина 0,8109
Неравная длина 0,8108
Коэф. половинного расщепления Гуттмана 0,8103
а. Пункты: 1 - 15. b. Пункты: 16 - 30.
Пакетом SPSS расщепление шкалы было произведено следующим образом: первая половина включала в себя вопросы с 1 по 15, вторая половина - с 16 по 30 вопросы.
Коэффициенты Спирмена-Брауна и Гуттмана равны 0,8109 и 0,8103 соответственно, что говорит об хорошей измерительной шкале.
Дополнительно был проведен расчет статистики а Кронбаха для каждой половины опросника: надежность первой части оказалась удовлетворительной (а=0,7886), а надежность второй части - хорошей (а=0,8089).
Таким образом, расчет коэффициентов Спирмена-Брауна и Гуттмана позволяют проанализировать надежности измерительной шкалы, в результате расщепления вопросов на две части. В данном случае коэффициент Гуттмана является более предпочтительным, так как он не требует равенства дисперсий и существенно не увеличивается с увеличением числа вопросов.
5. Анализ надежности шкалы, путем проверки ее устойчивости по повторным измерениям
Под устойчивостью понимается способность измерительной шкалы давать однозначную информацию при повторном измерении [2].
Шкала считается надежной, если ее устойчивость достаточно высокая, т.е. имеет максимальное количество совпадения между первой и второй сериями измерений.
Проверка устойчивости может быть произведена путем расчета:
коэффициента Спирмена-Брауна:
k * r
Г =
1 + (k - l)r0
где г - коэффициент расщепленной надежности Спирмена-Брауна; Г - корреляция между формами;
к - общий размер выборки, деленный на размер выборки для каждой формы (как правило, к = 2 );
путем расчета коэффициента устойчивости по каждому вопросу, который вычисляется по формуле [2]:
w = m,
n
где m - количество полностью совпадающих пар, n - объем выборки.
К существенным недостаткам методов можно отнести сложности, связанные с повторным опросом той же выборки респондентов, который не всегда возможен при проведении исследования.
Рассмотрим результаты расчетов коэффициентов для измерительной шкалы, используемой при анкетировании на тему «Система ценностей современной молодежи глазами студентов» (табл. 4). Расчет коэффициента Спирмена-Брауна осуществлялся в программе SPSS, коэффициента устойчивости - в MS Excel. Время между анкетированиями составляет 3 недели.
Таблица 4 - Оценка надежности шкалы при повторном измерении
Коэффициент Спирмена-Брауна 0,7998
№ W № W № W
1 0,3878 11 0,7336 21 0,8225
2 0,3123 12 0,7348 22 0,8991
3 0,5211 13 0,6917 23 0,7621
4 0,8022 14 0,6345 24 0,8988
5 0,8114 15 0,7297 25 0,8536
6 0,7878 16 0,6356 26 0,4158
7 0,7958 17 0,6454 27 0,9125
8 0,7925 18 0,7125 28 0,7913
9 0,7285 19 0,7235 29 0,7657
10 0,7325 20 0,7588 30 0,2322
Результаты расчетов показывают, что измерительная шкала является удовлетворительной (табл. 1). Плохую устойчивость показывают 1-3, 26 и 30 вопросы. Результаты совпали с выводами, полученными в 3 и 4 пунктах.
6. Алгоритм построения надежной шкалы
Исходя из вышесказанного, можно предложить следующий алгоритм построения надежной шкалы, которая может использоваться в социологических исследованиях:
формулировка вопросов, отражающих все аспекты, связанные с темой анкетирования (опроса);
тестирование вопросов на начальной выборке респондентов с целью проверки надежности шкалы. Первоначальный анализ надежности измерительной шкалы может осуществляться с использованием коэффициентов а Кронбаха, Спирмена-Брауна и Гуттмана (наиболее предпочтительный);
по возможности проводится оценка ретестовой надежности анализ сомнительных вопросов путем расчета Спирмена-Брауна и коэффициента устойчивости;
исключение или модификация вопросов, которые не согласуются со шкалой; построение окончательного набора вопросов, образующих надежную шкалу.
7. Результаты
Таким образом, в статье рассмотрены методы, реализованные в пакете SPSS, позволяющие провести оценку надежности измерительной шкалы при проведении анкетного социологического опроса. К таким методам относится:
- метод расчета коэффициента а Кронбаха. Основным преимуществом метода является удобство анализа надежности измерительной шкалы. К недостаткам метода можно отнести прямо пропорциональное увеличение его значения с ростом числа вопросов;
- метод, основанный на расщеплении шкалы и расчете коэффициентов Спирмена-Брауна и Гуттмана. Метод позволяет проанализировать надежности измерительной шкалы, в результате разделения вопросов на две части. Коэффициент Гуттмана является более предпочтительным, так как он не требует равенства дисперсий и существенно не увеличивается с увеличением числа вопросов, в отличие от коэффициента Спирмена-Брауна.
метод анализа надежности шкалы, путем проверки ее устойчивости по повторным измерениям с помощью расчета коэффициентов Спирмена-Брауна и устойчивости. Метод позволяет более точно оценить надежности опросника и отдельных вопросов. Однако имеются сложности, связанные с повторным опросом одной и той же группы респондентов.
Применение методов продемонстрировано на примере. Предложен алгоритм построения надежной измерительной шкалы.
Список литературы
1. Девятко И.Ф. Методы социологического исследования. Екатеринбург: Издательство Уральского университета. 1998. 208 с.
2. Мазорчук М.С., Добряк В.С., Базилевич К.А., Хазай М.Ю. Оценка эффективности одномерных шкал при анализе данных в социологических исследованиях. // Радиоэлектроника и компьютерные системы. 2013, № 1 (60). С. 99-104.
3. Мазорчук М.С., Соколова Е.О., Добряк В.С., Сухобрус А.А. Обоснование выбора методов измерения надежности педагогических тестов // Радиоэлектроника и компьютерные системы. 2014, № 4 (68). С. 131-137.
4. Митина О.В. Альфа Кронбаха: когда и зачем ее считать // Современная психодиагностика России. Преодоление кризиса: сборник материалов III Всероссийской конференции: в 2 т. / редколлегия: Н.А. Батурин (отв. ред.) и др. - Челябинск: Издательский центр ЮУрГУ, 2015. Т.1. С. 232-240.
5. Наследов А. IBM SPSS Statistics 20 и AMOS: профессиональный статистический анализ данных. СПб.: Питер, 2013. 416 с.
6. Смирнов А.В. Практические аспекты оценки качества образования работающего выпускника // Управление качеством образования в Уральском государственном педагогическом университете: сборник научных статей / Под науч. ред. Б.М. Игошева, А.А. Симоновой, Б.Е. Стариченко. Урал. гос. пед. ун-т. Екатеринбург. 2007. С. 64-85.
7. Фомина Е.Е. Применение факторного анализа для обработки результатов анкетирования // Социосфера. 2016. № 3. С. 122-127.
8. Фомина Е.Е. Факторный анализ и категориальный метод главных компонент: сравнительный анализ и практическое применение для обработки результатов анкетирования // Гуманитарный вестник. 2017. № 10 (60). С. 3.
9. Фомина Е.Е., Жиганов Н.К. Методика обработки результатов анкетирования с использованием методов многомерной и параметрической статистики. // Вестник Пермского национального исследовательского политехнического университета. Социально-экономические науки. 2017. № 1. С. 106-115.
10. Халафян А.А., Темердашев З.А., Якуба Ю.Ф., Киселева Н.В., Гугучкина Т.И., Ан-тоненко Т.И. Позиционный анализ как метод оценки согласованности экспертных оценок // Заводская лаборатория. Диагностика материалов № 12. 2015. Том 81. С. 69-78.
Сведения об авторах
Фомина Елена Евгеньевна - кандидат технических наук, доцент кафедры Информатики и прикладной математики Тверского государственного технического университета, Email: f-elena2008@yandex.ru
UDK 316:004.9
REVIEW OF METHODS OF ASSESSING THE RELIABILITY OF MEASUREMENT SCALES IN SOCIOLOGICAL RESEARCH
E.E. Fomina
Tver State Technical University
Abstract. The method of survey is widely used by sociologists as the main method of analyzing the state of public opinion. The data, obtained from the survey, allows to analyze the problem, based on the opinion of a large number of respondents. Therefore, one of the important requirements for questionnaires is their sufficient validity and reliability. Otherwise, the results will not represent any value and can not be used to obtain objective conclusions. This article is devoted to review of the methods applied for assess the reliability of the measuring scale used in conducting questionnaires and surveys. Considered such methods of assessing the reliability as the calculation of statistics a Cronbach; the method based on splitting the scale and calculating the Spearman-Brown and Guttman coefficients; method of analyzing the reliability of the scale, by checking its stability by repeated measurements using the calculation of the Spearman-Brown coefficient. Analyzed their advantages and disadvantages. The application of all methods is demonstrated by the example. Were made general conclusions and recommendations, was proposed the algorithm for analysis that included five stages.
Keywords: measurement scale, the construction of reliable scales, questionnaires, Cronbach's alpha, coefficient Spearman-Brown, coefficient Guttman.
References
1. Devyatko I.F. Metody sociologicheskogo issledovaniya. Ekaterinburg: Izdatel'stvo Ural'skogo universiteta. 1998. 208 s.
2. Mazorchuk M.S., Dobryak V.S., Bazilevich K.A., Hazaj M.YU. Ocenka ehffektivnosti odnomernyh shkal pri analize dannyh v sociologicheskih issledovaniyah. // Radioehlektronika i komp'yuternye sistemy. 2013, № 1 (60). S. 99-104.
3. Mazorchuk M.S., Sokolova E.O., Dobryak V.S., Suhobrus A.A. Obosnovanie vybora metodov izmereniya nadezhnosti pedagogicheskih testov // Radioehlektronika i komp'yuternye sistemy. 2014, № 4 (68). S. 131-137.
4. Mitina O.V. Al'fa Kronbaha: kogda i zachem ee schitat' // Sovremennaya psihodi-agnostika Rossii. Preodolenie krizisa: sbornik materialov III Vserossijskoj konferencii: v 2 t. / redkollegiya: N.A. Baturin (otv. red.) i dr. - CHelyabinsk: Izdatel'skij centr YUUrGU, 2015. T.1. S. 232-240.
5. Nasledov A. IBM SPSS Statistics 20 i AMOS: professional'nyj statisticheskij analiz dannyh. SPb.: Piter, 2013. 416 s.
6. Smirnov A.V. Prakticheskie aspekty ocenki kachestva obrazovaniya rabotayushchego vypusknika // Upravlenie kachestvom obrazovaniya v Ural'skom gosudarstvennom pedagog-icheskom universitete: sbornik nauchnyh statej / Pod nauch. red. B.M. Igosheva, A.A. Simonovoj, B.E. Starichenko. Ural. gos. ped. un-t. Ekaterinburg. 2007. S. 64-85.
7. Fomina E.E. Primenenie faktornogo analiza dlya obrabotki rezul'tatov anketirovaniya // Sociosfera. 2016. № 3. S. 122-127.
8. Fomina E.E. Faktornyj analiz i kategorial'nyj metod glavnyh komponent: sravnitel'nyj analiz i prakticheskoe primenenie dlya obrabotki rezul'tatov anketirovaniya // Gumanitarnyj vestnik. 2017. № 10 (60). S. 3.
9. Fomina E.E., ZHiganov N.K. Metodika obrabotki rezul'tatov anketirovaniya s is-pol'zovaniem metodov mnogomernoj i parametricheskoj statistiki. // Vestnik Permskogo nacion-al'nogo issledovatel'skogo politekhnicheskogo universiteta. Social'no-ehkonomicheskie nauki. 2017. № 1. S. 106-115.
10. Halafyan A.A., Temerdashev Z.A., YAkuba YU.F., Kiseleva N.V., Guguchkina T.I., An-tonenko T.I. Pozicionnyj analiz kak metod ocenki soglasovannosti ehkspertnyh ocenok // Za-vodckaya labopatopiya. Diagnoctika matepialov № 12. 2015. Tom 81. S. 69-78.
Author's information
Fomina Elena Evgenievna - candidate of Technical Sciences, Associate Professor of Informatics and Applied Mathematics, Tver State Technical University. E-mail: f-elena2008@yandex.ru
