CC BY
73
казахским медицинским i
'университет непрерывного
образования
Вестник АГИУВ №2, 2018
УДК 378.046.4: 001.89: 303.6-057.875
Г.К. КОШМАГАНБЕТОВА1*
'Западно-Казахстанский государственный медицинский университет им. М.Оспанова
г. Актобе
ОЦЕНКА УДОВЛЕТВОРЕННОСТИ ОБУЧАЮЩИХСЯ ПО ДИСЦИПЛИНЕ «МЕНЕДЖМЕНТ НАУЧНЫХ ИССЛЕДОВАНИЙ» В РЕЗИДЕНТУРЕ ЗКГМУ
ИМ.М.ОСПАНОВА
АННОТАЦИЯ
Надежность измерительной шкалы для оценки удовлетворенности обучающихся дисциплиной определяется внутренней согласованностью составляющих ее элементов. Исследование проведено с целью оценки надежности анкеты для определения удовлетворенности обучающихся дисциплиной. Установлено, что коэффициент Альфа Кронбаха для анкеты составил 0,84. Полученные данные свидетельствуют о надежности анкеты.
Ключевые слова: Внутренняя согласованность, анкета, надежность;
Основными измерительными инструментами эмпирических социологических исследований являются анкеты, опросники, состоящие из значительного числа отдельных пунктов, вопросов, утверждений и т.п. Задачей каждого из пунктов является косвенно выяснить какую-либо одну из сторон, отдельную часть общего целого, вследствие чего он является некоторым индикатором измеряемого шкалой фактора (свойства). Для оценки надежности измерительной шкалы определяется согласованность составляющих ее элементов. Предполагается, что обоснованность и надежность выводов более возрастают, когда мы принимаем во внимание всю совокупность индикаторов и определенным образом интегрируем косвенную информацию, которую несет каждый из индикаторов[1,2]. Считается, что согласованный инструмент должен состоять из внутренне непротиворечивых пунктов. Для порядковых шкал с большим количеством позиций (например, шкалы Лайкерта), а также для более мощных интервальных шкал Л. Кронбах предложил в 1951 году формулу для определения согласованности измерений. Показатель согласованности, рассчитанный по этой формуле, называется коэффициент альфа Кронбаха (Cronbach's Coefficient Alpha) [3]. Созданная нами анкета, основана на измерении критериев удовлетворенности резидентов: - содержанием образовательных программ - методами обучения - результатом обучения (знаниями, умениями, навыками) - соответствием реального образовательного процесса ожиданиям
Цель исследования. Оценить надежность анкеты для определения удовлетворенности обучающихся дисциплиной.
Материалы и методы. С сентября 2017 года по январь 2018 года в Центре непрерывного профессионального развития ЗКГМУ им. Марата Оспанова в конце прохождения обучения дисциплины «Менеджмент научных исследований» (МНИ) (90ч/2кредита) прово-
дилось анонимное онлайн-анкетирование «Удовлетворенность обучающихся (резидентов) по программе послевузовского образования дисциплиной «Менеджмент научных исследований»» среди резидентов (n=40) первого года обучения различных специальностей, давших согласие на участие. Анкета создана на сайте Survio.com. Резиденты отвечали на анкету, проходя по ссылке, отправленной им в открытую группу в социальной сети "Вконтакте». Об опыте применения социальной сети "Вконтакте» для самостоятельной работы студентов и формате проведения занятий мы писали ранее [5]. Анкета состояла из 14 закрытых вопросов. Каждое из высказываний предлагалось оценить по 5- балльной шкале Ликерта [6].
5 баллов - да, полностью удовлетворен;
4 балла - да, достаточно;
3 балла - скорее да;
2 балла - скорее нет;
1 балл - совсем не удовлетворен.
Отклик анкету был высокий и составил 88,8% (из 45 резидентов ответили на анкету 40). Согласно модифицированной модели Кирпатрика иерархии уровней оценки доказательств оценивалась реакция или мотивация обучающихся, как участвующие в обучении реагируют, мотивированы непосредственно на обучение — нравится ли оно им, и для чего они будут использовать полученные навыки и знания. Критерии удовлетворенности резидентов: - содержанием образовательной программы - методами обучения - результатом обучения (знаниями, умениями, навыками) - соответствием реального образовательного процесса ожиданиям,- открытостью, доступностью информации.
Статистическая обработка проведена с использованием программы «Statistica 10» (StatSoft, USA). Для валидизации опросника -анкеты проведен анализ внутренней согласованности пунктов с определением Альфа Кронбаха. За уровень статистической значимо-
Раздел III. Медицинское образование
сти принимали р <0,05. Расчет Альфа Кронбаха проводился по формуле: а = N * г / (1 + г * ^ - 1)), где N - количество исследуемых компонентов, г - средний коэффициент корреляции между компонентами[4].
Интерпретация альфы Кронбаха: [0,9; 1] Очень хорошее; [0,8; 0,9] Хорошее;
[0,7; 0,8] Достаточное;
[0,6; 0,7] Сомнительное;
[0,5; 0,6] Плохое;
[0; 0,5] Недостаточное.
Результаты и обсуждение: Результаты проведенного анализа внутренней согласованности пунктов опросника-анкеты, используемого для определения удовлетворенности обучающихся приведены в таблице 1.
Таблица 1 - Результаты вычисления Альфа Кронбаха для пунктов опросника
переменная Итог для шкалы: Среднее=63,625 Стд.от.=5,568 наблюдений n=40
Альфа Кронбаха: ,844 Стандартизов. альфа: ,842
Средняя межпозиционная корреляция: -,2889
Сред- Диспер- Станд. Общ. по- Альфа
нее сия отклоне- зиционная при уда-
при при уда- ние корреля- лении
удале- лении при уда- ция
нии лении
Отвечали ли лекции и занятия Вашим потребно- 58,95 27,30 5,22 0,44 0,84
стям в обучении?
Насколько вы удовлетворены форматом проведения занятий? 59,00 26,70 5,17 0,59 0,83
Устраивает ли вас организация занятий по дисциплине «МНИ»? 59,00 27,30 5,23 0,48 0,83
Испытываете ли вы удовлетворение от получен- 59,15 25,58 5,06 0,66 0,82
ных навыков и знаний?
Насколько вас устраивал темп подачи материала? 58,95 27,55 5,25 0,44 0,84
Насколько полезной для вас была дисциплина? 59,60 23,74 4,87 0,70 0,82
Насколько интересной для вас была эта дисци- 59,55 24,30 4,93 0,60 0,83
плина?
Оценка по 5 балльной шкале: нравится ли Вам 59,00 26,40 5,14 0,39 0,84
защита проекта
Оценка по 5балльной шкале: нравится ли Вам 59,40 23,59 4,86 0,57 0,83
написание литературного обзора
Оценка по 5 балльной шкале: нравится ли Вам 58,70 29,76 5,46 0,14 0,85
составление PICOT
Оценка по 5 балльной шкале: нравится ли Вам 59,03 26,17 5,12 0,47 0,83
поиск (работа в базах данных)
Оценка по 5 балльной шкале: нравится ли Вам 58,90 26,84 5,18 0,42 0,84
работа в малых группах, работа в команде
Оценка по 5 балльной шкале: нравится ли Вам 59,02 26,97 5,19 0,41 0,84
критическая оценка статей
Оценка по 5 балльной шкале: нравится ли Вам 58,87 27,16 5,21 0,45 0,83
формулировка исследовательского вопроса
казахским медицинским i
'университет непрерывного
образования
Вестник АГИУВ №2, 2018
Определяя а-Кронбаха, мы основывались на предположении о том, что наличие большей дисперсии у достаточного надежного инструмента оценки удовлетворенности предполагает следующее: чем надежнее тест, тем большая чувствительность (различительная способность) пунктов теста (экспертная оценка). Мерой внутренней согласованности измерительной шкалы является коэффициент а. Его диапазон находится в пределах от 0 до 1. Внутренняя согласованность опросника высокая, если коэффициент а ближе к 1. Коэффициент а мы рассматривали как показатель корреляции между измеренными признаками для оценки критерия удовлетворенности^]. Знание коэффициента а Кронбаха, позволяет установить лишние, избыточные пункты опросника, которые не относятся к изучаемой теме. Причем, вначале рассчитываются корреляции ответа на каждый вопрос с общим результатом теста, а затем корреляционный анализ повторяется, последовательно исключая каждое тестовое утверждение. В случае, если полученные при этом коэффициенты корреляции ниже исходных, данное утверждение можно удалить из анкеты. Если же полученные при удалении пункта коэффициенты корреляции превышают исходные, это свидетельствует об увеличении надежности теста после исключения данного пункта. Источниками недостаточной надежности шкалы могут быть неадекватные варианты ответов, лежащие за пределами компетенции испытуемых, недостаточно четко сформули-
рованные утверждения, большое их количество, недостаточно ясные инструкции для выполнения теста и многое другое. Как видно из представленных в таблице данных, по всем утверждениям получены высокие показатели надежности. Только переменная «Составление PICOT» вносит некоторый диссонанс (выбивается из общего ряда из-за низкой г.). Ее корреляция с суммарной шкалой равна 0,14, в то время как все другие коррелируют с показателем 0.4 или лучше. Можно предположить, что данный пункт вызывал некоторое неудобство и затруднения интерпретации для респондентов из-за формулировки. Поскольку коэффициент альфа для исходного набора вопросов составил 0,84, а при исключении данного вопроса увеличивается незначительно, исключать его не обязательно, так, как и с данным вопросом надежность-согласованность измерений приемлема. Поэтому, данный вопрос не был исключен из анкеты. Коэффициенты а Кронбаха для первичного исходного набора вопросов и стандартизованных данных опросника составили 0,844 и 0,842 соответственно. Это свидетельствует о хорошей внутренней согласованности шкалы, то есть опрашиваемые легко понимали и воспринимали вопросы.
Заключение. Разработанный опросник имеет достаточную внутреннюю согласованность и может использоваться для определения удовлетворенности обучающихся дисциплиной «Менеджмент научных исследований» в резидентуре.
ЛИТЕРАТУРА
1. Дубинина И.Н. Математические основы эмпирических социально-экономических исследований: учебное пособие. - Барнаул: Изд-во Алт. ун-та, 2006. - 263 с. ISBN 5-7904-0553-3. www.psychology-online.net
2. Bentler PM. Alpha, Dimension-Free, and Model-Based Internal Consistency Reliability. Psychometrika.2009; 74(1):137-143.doi:10.1007/s11336-008-9100-1.
Cronbach, L. J. My current thoughts on coefficient alpha and successor procedures / L.J. Cronbach // Educational and Psychological Measurement. - 2004. -V. 64. P. 391-418. doi:10.1177/0013164404266386
Sijtsma K. On the Use, the Misuse, and the Very Limited Usefulness of Cronbach's Alpha. Psychometrika. 2009; 74(1):107-120. Doi: 10.1007/s11336-008-9101-0.
3. Жамалиева Л.М., Кошмаганбетова Г.К., Калбагаева Г.Х. Опыт использования социальной сети «Вкон-такте» в преподавании менеджмента научных исследований в резидентуре. Медицинский журнал Западного Казахстана 2 (54) 2017. -с.70-74.
4. Gadermann, A. Estimating ordinal reliability for Likert - type and ordinal item response data: A conceptual, empirical, and practical guide / A. Gadermann, M. Guhn, B. Zumbo // Practical Assessment, Research & Evaluation. -2012. - V. 17, N 3 - http: // pdfs.semanticscholar.org/.../850f5637cb377a1ccdded - P. 1-13
TYWH^
9лшеу шкаласыньщ сешмдтИ оньщ ^урамдас элементтершщ îuim сэйкестИмен аньщталады. Зерттеу студенттердщ пэн бойынша ^анагаттандыру елшеу шкаласыньщ сеымдтИн багалау Yшiн етмзтдК Сауалнаманьщ Альфа Кронбах коэффициент 0,84 болды. Алынган деректер сауалнаманьщ сешмдтИн керсетедК
Ктт сездер: îuim сэйкеспк; сауалнама; сешмдтт;
SUMMARY
The reliability of the measuring scale is determined by the internal consistency of its elements. The study was conducted to assess the reliability of the questionnaire to determine the satisfaction of students with discipline. It was found that the coefficient of Alfa Cronbach for the questionnaire was 0.84. The received data indicates the reliability of the questionnaire.
Key words: Internal consistency; the questionnaire; reliability;
