CC BY
11УДК 004.891.3
МЕТОДИКА РАСЧЕТА БАЗОВЫХ ПОКАЗАТЕЛЕЙ ЧИТАБЕЛЬНОСТИ ТЕСТОВЫХ МАТЕРИАЛОВ НА ОСНОВЕ ЭКСПЕРТНЫХ ОЦЕНОК
И.Ю. Петрова, С.В. Окладникова
В статье рассматривается необходимость оценки читабельности тестовых материалов. С учетом конструктивных особенностей тестовых вопросов предлагается номенклатура единичных показателей оценки читабельности их формулировок и методика расчета базовых показателей на основе экспертных оценок.
Ключевые слова: оценка качества, базовые показатели, единичные показатели, экспертные оценки, читабельность тестовых материалов, количественные характеристики текста.
Key words: an estimation of quality, base parameters, individual parameters, expert estimations, читабельность test materials, quantitative characteristics of the text.
Тестовые материалы (TM) представляют собой контрольно-измерительный учебный материал, усвоение которого зависит от сложности текста, а понимание - от составляющих его компонентов, например, количества и длины слов, используемых сокращений, иностранных символов, математических формул и т.п.
Наличие разнообразных компонентов в содержании ТМ тесно связано с предметным содержанием дисциплины, по которой разрабатываются данные ТМ. Например, в ТМ для гуманитарных и экономических дисциплин преобладающим компонентом выступает текст, а использование объектов статической графики (формулы, специальные математические символы и т.п.) характерно для ТМ физико-математических дисциплин.
Анализ образовательных ресурсов сети Internet показал, что в настоящее время основной составляющей содержания ТМ независимо от особенностей предметной области дисциплины остается текст. Преобладание ТМ с текстовым содержанием формулировок или с дополнительными элементами статической графики объясняется относительной простотой их создания. Разработка тестовых заданий (ТЗ) осуществляется с помощью либо общеизвестных текстовых редакторов (например, Блокнот, MS Word и т.п.), либо специальных редакторов, встроенных в конструкторы автоматизированных систем тестирования (ACT) и адаптированных под пользователя, который может иметь минимальные навыки работы с компьютерными технологиями. Разработка объектов динамической графики, аудио- и видеообъектов на сегодняшний день требует от разработчиков ТМ дополнительных навыков работы с графическими, мультимедиа-, видео- и аудиоедакторами (Photoshop, Flash, 3D Мах и т.п.), в виду отсутствия подобных в конструкторах существующих ACT, и дополнительных материальных затрат, связанных с приобретением этих редакторов.
При оценке трудоемкости разработки ТМ, помимо их общего количества, учитывается и сложность формулировок. В зависимости от пропорции используемых в содержании ТМ вставных объектов в виде статической и динамической графики выделяют следующие уровни сложности формулировок тестовых вопросов [7]:
• легкие формулировки - 100 % текста;
• средние формулировки - 75 % текста и 25 % объектов статической и/или динамической графики;
• трудные формулировки - 50 % текста и 50 % объектов статической и/или динамической графики;
• очень трудные формулировки - менее 50 % текста и более 50 % объектов статической и/или динамической графики.
На рис. показана сравнительная диаграмма оценки количества времени, которое затрачивается пользователями разного уровня владения компьютерными технологиями при подготовке 10 тестовых вопросов различного уровня сложности формулировок.
легкие
Уровень подготовки пользователя
И высокий Передний
средние трудные очень трудные
уровень сложности формулировок ТЗ
□ минимальный
Рис. Время, затрачиваемое авторами на подготовку ТМ с использованием компьютерных технологий
Как видно из графика, время, затрачиваемое авторами на подготовку ТМ, с увеличением сложности формулировок ТЗ возрастает в геометрической прогрессии. Однако именно включение графических и мультимедиа-объектов в формулировки ТЗ позволит реализовать принцип наглядности, используемый в педагогике в процессе обучения |4].
В мировой практике оценка восприятия текста связана с анализом его читабельности, которая предполагает возможность свободного прочтения текста без чрезмерного напряжения и в настоящее время широко используется в Public Relation [5]. К универсальным правилам написания текстов в сфере связей с общественностью относятся простота предложений и простые слова. Это требование сочетается с основным требованием — краткость, предъявляемым и к формулировкам ТМ, которая согласно B.C. Аванесову должна «... обеспечиваться тщательным подбором слов или введением в текст вопроса (или ответов) символов и графиков, с помощью которых можно добиться максимума ясности смыслового содержания» [1].
В существующих методах оценки читабельности текстов (формула Флэша, индекс туманности Ганнинга) оценка трудности понимания составленных текстов основывается на расчете средней длины предложения и средней длины слов. Использование этих методов позволяет получить количественные показатели, характеризующие стиль изложения материала и степень его понимания целевой аудиторией. В табл. 1 представлен сравнительный анализ рассматриваемых методов.
Таблица 1
Сравнительный анализ существующих методов оценки читабельности текстов
Критерий сравнительного анализа Методы оценки читабельности текстов
Формула Флэша Индекс туманности Ганнинга
Язык текста Английский
Применимость для анализа русскоязычных текстов Необходимость корректировки коэффициентов с учетом особенностей характеристик текстов
Используемые параметры текста Средняя длина предложения (\¥), средняя длина слова (V) в слогах на 100 слов текста
Математическая модель Коэффициент легкости 1 = 206.835-(1.015*\¥+84.6*8) Индекс туманности Б = 0.4*(\¥+83) 83 - среднее число слов, длиной 3 и более слогов
Градация значений показателей 1<30 - очень трудные 30<1<50 - трудные 50<1<70 - средние 70<1<80 - легкие 1>80 - очень легкие Б<5 - уровень начальной школы 5<Б<8 - уровень средней школы 8<Б<12 - уровень старшеклассников 12<Р<17 - уровень студентов вузов Б>17 - научный уровень
В качестве основных недостатков использования данных методов при оценке читабельности ТМ можно рассматривать следующие:
• основные параметры русских и английских текстов не совпадают - средняя длина слова английского словаря составляет 2,77 слога, а русского 3,03, а предложение, написанное на английском языке, в среднем в 1,43 раза больше, чем на русском;
• при расчете коэффициента читабельности объем анализируемой выборки текста должен быть не менее 100 слов, когда средняя длина формулировки отдельного ТЗ в среднем в 1,5 раза меньше;
• структура ТЗ конструктивно отличается от структуры обычного текста наличием инструкции, вопроса и набора ответов.
Определение номенклатуры единичных показателей. С учетом методических требований, предъявляемых к формулировкам ТМ, и технологических особенностей, связанных с выбором формы отдельных ТЗ, был составлен список из 30 единичных показателей
(230 = {С1 —С30} , позволяющих конструктивно охарактеризовать отдельные свойства формулировок ТЗ:
Су - общее количество вариантов ответов;
Г1
^ 2 - количество дистракторов;
Сз - количество верных ответов;
С4 - количество предложений;
с1
с1 ^6
с1 с1
С>
- количество слов в формулировке вопроса;
- количество слов в формулировке ответов;
- средняя длина слова (в слогах, исключаются союзы, предлоги и частицы);
- количество подлежащих в формулировке вопроса;
- количество подлежащих в формулировках ответов;
С10 - количество сказуемых в формулировке вопроса;
Суу - количество сказуемых в формулировках ответов;
С12 ~ количество предлогов, союзов, частиц в формулировке вопроса;
С12 ~ количество предлогов, союзов, частиц в формулировке вопроса;
С14 - количество знаков препинания в формулировке вопроса;
С15 - количество знаков препинания в формулировках ответов;
С16 - количество иностранных символов (англ., греч. и т.п.) в формулировке вопроса;
Си - количество иностранных символов (англ., греч. и т.п.) в формулировках ответов;
С18 - количество математических символов в формулировке вопроса;
С^ - количество математических символов в формулировках ответов;
С2о - количество цифр в формулировке вопроса;
С21 - количество цифр в формулировках ответов;
С22 - количество формул в формулировке вопроса;
С2з - количество формул в формулировках ответов;
С24 - количество объектов статической графики в формулировке вопроса;
С2$ - количество объектов статической графики в формулировках ответов;
С26 — количество объектов динамической (в том числе аудио и видео) графики в формулировке вопроса;
С21 - количество объектов динамической (в том числе аудио и видео) графики в формулировках ответов;
С28 - количество повторяющихся словосочетаний в формулировках ответов;
С29 - количество повторений каждого повторяющегося словосочетания в формулировках ответов;
С1
^ 30 — количество условно принятых сокращении.
С целью оценки полноты предложенного набора единичных показателей (2зо был проведен первый этап опроса экспертов, в качестве которых выступили:
1) ведущие преподаватели, использующие ТМ в качестве контрольных в рамках учебного процесса преподаваемых ими дисциплин;
2) методисты и тестологи Центра мониторинга и аудита качества образования (ЦМАКО АГУ), ответственные за разработку ТМ и организацию электронного тестирования в рамках проведения федерального Интернет-экзамена в сфере профессионального образования;
3) специалисты регионального ресурсного центра дистанционного обучения (РРЦ ДО АГУ), ответственные за разработку электронных учебных материалов (в том числе тестовых) для организации дистанционного обучения на базе АГУ.
С1 ГЛ1 1 1 1 ^-1 1 г~л 1 Г~Л 1 ^-1 1
з, ^4, ^9, ^ю, ^11, '-^28> 29и ^30
были исключены из списка, а показатели С5 и Св . С12 и С13 , С14 и С15 , С16 и
С1 /~ч 1 /~ч 1 /~ч 1 1 1 1 1 1 1 1
17, ^18 И ^19, ^20 и ^21 ^ 22 и ^23 > ^"24 и ^25> ^26 и ^27 попарно ООъеди-
нены. Начальный список показателей (2зо был трансформирован в новый
0л2 = {( ,|2...( '|221. где:
С! - общее количество вариантов ответов;
2 2
С3 - общее количество слов;
С4 - средняя длина слова (в слогах, исключаются союзы, предлоги и частицы); количество предлогов, союзов, частиц;
С
'-^2 ~~ количество дистракторов;
Сс -
с2
^6 - количество знаков препинания;
С7 - количество иностранных символов (англ., греч. и т.п.);
С2
^8 - количество математических символов; с9 - количество цифр;
С10 - количество формул;
Сп - количество объектов статической графики;
с12 - количество объектов динамической (в том числе аудио- и видео-) графики.
Для выявления характера взаимосвязи между учитываемыми показателями {Су .. .Су2 } необходимо определить функциональную зависимость, которая в наибольшей степени будет соответствовать их объективной корреляции [3]:
£> = /(ЯрКрт) (1)’
где - комплексный обобщенный показатель, характеризующий уровень читабельности ТМ;
Д...) - функция свертывания, qj - относительный )-й показатель;
2
К] - весовой коэффициент единичного показателя ^ у ;
т - число показателей;
В качестве функции свертывания при определении значения комплексного показателя
читабельности 0\2 будем применять средневзвешенную арифметическую:
12 (2)
а^=2>А
j=^^
Увеличение значение каждого из единичных показателей повышает слож-
ность восприятия ТМ, тем самым снижая читабельность текста.
Поэтому для определения относительного единичного показателя используется следующая формула [3]:
]
где (С^6аз- численное значение j-го единичного показателя базового образца.
В соответствии с «ГОСТ 15467-79. Управление качеством продукции. Основные понятия. Термины и определения» в качестве базового значения показателя качества продукции принимается значение показателя качества продукции, принятое при сравнительной оценке ее качества. Трудности в определении значений базовых показателей (С^Ьса оценки удобочитаемости ТМ вызваны отсутствием в настоящее время стандартизованного или нормативного перечня рассматриваемых показателей.
Расчет значений единичных базовых показателей. Наиболее приемлемым представляется подход, при котором значения базовых показателей (С^ък определяются как средние
2
значения показателей , рассчитанные на основе опытных образцов, в качестве которых
выступают тесты (/’). прошедшие статистический анализ качества и имеющие значение основного показателя качества - надежности р > 0,7, допустимое для экзаменационных тестов.
В качестве опытных образцов были использованы тесты (7„ 1 = 1 ... 23) по различным дисциплинам, для которых средний объем накопленных статистических данных составил более 430 тестирований (табл. 2), а преобладающим большинством выступают ТЗ закрытой формы (93 %).
Таблица 2
Общая характеристика объектов анализа
N3 Дисциплина Значение показателя надежности (Р) Длина теста (к) Общее КОЛ-ВО испытуемых <*) Кол-во ТЗ
открытой формы. закрытой формы. на соответствия па уста по еле пая последовательности.
1 Алгебра и геомтерия 0,88 30 382 0 30 0 0
2 Вычислительная математика 0,84 35 331 0 35 0 0
3 Гражданское право 0,73 30 301 4 23 1 2
4 Дискретная математика 0,87 40 400 0 40 0 0
Исследование операций 0,78 25 335 0 25 0 0
6 И стория го судар ств а и пр ав а зарубежных стран 0,73 30 311 0 30 0 0
7 Конституционное право 0,72 35 362 3 27 2 3
3 Культур ология 0,74 30 283 0 30 0 0
9 Линейная алгебра 0,84 25 324 0 25 0 0
10 Математическая статистикаи теория вероятности 0,85 30 257 0 30 0 0
11 Математический анализ 0,83 30 330 0 30 0 0
12 Общая психология 0,88 35 365 0 30 5 0
13 Отечественная история 0,84 40 297 4 32 4 0
14 Политология 0,75 30 321 0 30 0 0
15 Римское право 0,74 35 272 0 35 0 0
16 Социология семьи 0,81 35 267 0 35 0 0
17 Статистика 0,89 30 370 0 30 0 0
13 Теория государства и права 0,91 25 282 3 16 2 4
19 Физика 0,81 25 302 0 25 0 0
20 Философия 0,86 30 263 5 17 2 6
21 Химия 0,71 35 264 0 35 0 0
22 Экология 0,76 30 260 0 30 0 0
23 Электротехника и электроника 0,83 35 272 0 35 0 0
Доля ТЗ различных форм 2,62 % 93,10 % 2,21 % 2,07 %
Выборки опытных тестов были сделаны из массивов ТМ, разработанных:
• на базе Регионального ресурсного центра дистанционного обучения и используемые в учебном процессе Астраханского государственного университета (АГУ) в период с 2004-2008 гг.;
• независимым центром тестирования качества обучения (ACT - центр, г. Москва) и используемые для проверки качества обучения в АГУ.
Расчет показателя надежности (р) для каждого опытного образца /,. (/ = / ... 23) выполнялся согласно методике, используемой в настоящее время для оценки качества ТМ, разрабатываемых для проведения ЕГЭ [6]:
• в качестве метода оценки надежности теста использовался метод расщепления;
• коэффициент надежности определялся по формуле Спирмена - Брауна.
Расчет базовых значений показателей (С)ср выполнялся поэтапно.
1 этап. Для каждого T3S (s=l...n), входящего в состав отдельного опытного образца (/’,). были определены числовые значения единичных показателей (Cj)s,s = l... п.
2 этап. Для каждого теста (Ti) по каждому показателю были рассчитаны их средние значения:
1(Ф
(СХР =
(4).
23
Предварительный анализ показал:
• во-первых, числовые значения показателей (С^2\ = 0 по всем опытным образцам,
поэтому расчет показателя (С12)ср «количество объектов динамической графики» становится невозможным;
• во-вторых, для дисциплин преимущественно гуманитарного и социально-экономического направлений (философия, отечественная история, культурология, политология и др.) значения показателей (Сн}ср и (С10)ср так же равны нулю. При этом для математических и родственных с ними дисциплин (например, технических, химических, физических и т.п.) значения этих показателей ненулевые. Такое расхождение объясняется спецификой предметной области сравниваемых дисциплин. Поэтому дальнейший анализ будем производить с учетом выявленных ограничений в отношении показателей (С8)ср и (С10)ср-
3 этап. Опытные тесты Тц и Т21 были сгруппированы. В первую группу вошли тесты со значениями (С8)ср = 0 и (С10)ср = 0, во вторую - (С8)срФ 0 и (С10)срФ 0.
4 этап. Для каждой группы опытных образцов Тц и Т2, были пересчитаны средние значения показателей С^:
Х((С])сР);
('Г'21'! -J=l '
' j 'ср
12
23
Е((Фср},- (6),
(С ) =
V у У ср
и проведена оценка их репрезентативности на основе коэффициентов вариации.
С учетом выявленных особенностей было сформировано 2 набора единичных показателей. Первый набор включает 9 показателей (/; = { С^ С\ С3 С\ С5 С26 С27 СI С ^ }. Второй - 11
показателей 0^ = {с\с1 С23 С24 С2 С26 С2 С82 С92 } (табл. 3).
Расчет значений весовых коэффициентов базовых единичных показателей. На основе метода непосредственной численной оценки с целью определения значений весовых коэффициентов показателей С2 для наборов О,; и ()^ был проведен второй этап экспертного опроса, в ходе которого экспертам было предложено определить, какой из единичных по-
казателей С" при увеличении своего значения усложняет восприятие формулировок ТМ и с
какой степенью, В качестве шкалы была использована шкала абсолютных оценок: 0 - не усложняет; 1 - усложняет очень слабо; 2 - усложняет слабо; 3 - усложняет средне; 4 - усложняет сильно; 5 - усложняет очень сильно. Обработка экспертных данных выполнялась с использованием MS Excel ХР.
По результатам экспертизы была построена матрица С = jС„ | i = 1... 138, j = 1... .12}, в которой элементы Су принимали значения 0 < Су < 5.
Таблица 3
Значения базовых единичных показателей
JV2 Дисциплина Значения единичных показателей
(Ct)cp (С2)ср (Cj)cp (С4)ср (Cs)cp (С6)ср (С7)ер (С 3)ср (С9)ср (С ю)ср (Сц)ср (С12)ср
1 Гр ажд анское право 6ДЗ 3,31 18,7 4,38 2,16 ОДО 2,94 0 0,64 0 0Л б 0
2 История государства и права зарубежных стран 6,22 3,12 22,9 3,98 2,21 0,11 2,74 0 1,12 0 0,09 0
3 Конституционное право 6,09 3,24 24,5 4,19 2,84 0,13 3,11 0 0,85 0 одо 0
4 Культур одо ГИЯ 6,11 2,99 20,1 4,16 2,83 0,08 2,96 0 0,92 0 0,11 0
5 Общая психология 5,93 3,15 21,3 4,47 2,57 0,11 3,04 0 0,89 0 0,09 0
6 Отечественная история 5,98 3,36 20,4 4,05 2,24 ОДО 2,87 0 1,07 0 0,11 0
7 Политология 5,84 2,98 21,9 4,01 2,75 0,08 2,31 0 0,97 0 0,12 0
8 Римское право 5,97 3,04 24,7 4,2 2,34 0,14 3,18 0 0,98 0 ОДО 0
9 Социология семьи 5,86 3,17 23,8 4,41 2,17 0,12 2,54 0 0,83 0 0,09 0
10 Теория государства и права 6,15 3,09 22,7 4,46 2,39 0,09 2,63 0 0,88 0 0,08 0
11 Философия 5,91 2,96 23,8 4Л8 2,64 0,08 3,07 0 1,13 0 0,11 0
12 Экология 5,87 2,57 23,4 4,46 2,23 0,12 2,99 0 0,95 0 ОДО 0
(4% 6,01 3,08 22,35 4,25 2,45 0,11 2,87 0,00 0,94 0,00 0,11 0,00
С1'1 0,02 0,07 0,08 0,04 0,11 0,19 0,09 - 0,15 - 0,20 -
13 Алгебра и геомтерия 5,22 2,11 11,7 4,17 0,47 2,72 0,63 1,39 3,62 3,34 2,11 0
14 Вычислительная математика 4,93 2,32 13,4 4,38 0,58 2,81 0,79 1,77 5,9 2,97 1,98 0
15 Дискр етная математика 5,03 2,14 11,7 4,33 0,36 3,17 0,49 1,47 4,13 3,22 2,54 0
16 Исследование операций 5,19 2,31 13,7 3,8 0,41 2,95 0,56 1,84 5,81 3,41 1,96 0
17 Линейная алгебра 5,14 2,26 14 4,4 0,56 2,89 0,76 1,71 5,22 3,29 2,53 0
18 Математическая статистика и теория вероятности 5,27 2,17 13,5 4,24 0,56 3,05 0,76 1,37 3,87 2,99 1,96 0
19 Математический анализ 5,32 2,24 11,8 3,59 0,48 2,88 0,65 1,46 3,88 3,40 2,39 0
20 Статистика 5,09 2,31 14,2 3,74 0,64 2,67 U 1,37 3,62 3,26 1,56 0
21 Физика 4,98 2,16 11,8 3,44 0,55 2,75 0,75 1,48 4,59 2,83 2,83 0
22 Химия 5,17 2,28 12,8 3,56 0,58 3,01 0,79 1,43 3,84 3,31 1,76 0
23 Электротехника и электроника 5,26 2,29 12,3 3,88 0,57 2,31 0,77 1,54 4,34 3,37 2,76 0
(с'% 5,15 2,24 12,81 3,96 0,53 2,84 0,73 1,53 4,44 3,22 2,22 0,00
CV] 0,02 0,03 0,08 0,09 0,16 0,08 0,22 0,11 0,19 0,06 0,19
Для анализа согласованности абсолютных оценок использовался коэффициент вариабельности СУ) значимости по каждому С) - показателю (табл. 4).
Значения СУ/ по каждому показателю С) изменяются в диапазоне 0,04 < СУ- < 0,21,
среднее значение коэффициента вариации по всем показателям СУ = 0,12, что говорит о согласованности полученных мнений экспертов. На основе полученных средних значений С~ оценок был рассчитан ранг каждого показателя д> .
УПРАВЛЕНИЕ В ОБЛАСТИ ОБРАЗОВАНИЯ
Таблица 4
Эксперты Критерии оценки
а С2 сз С4 С5 Сб С7 С8 С9 СЮ С11 С12
Эксперт 1 5 4 5 5 3 1 2 2 2 3 3 1
Эксперт 2 4 3 4 3 3 0 1 2 2 5 2 1
Эксперт 3 4 3 2 5 3 2 2 4 3 2 5 1
Эксперт 4 4 5 4 3 4 1 3 3 2 5 1 2
Эксперт 5 5 3 2 5 4 2 1 3 2 3 2 1
Эксперт 136 5 4 4 3 3 2 2 2 1 3 4 1
Эксперт 137 5 4 5 5 4 0 4 2 2 4 1 2
Эксперт 138 5 3 3 3 3 1 2 4 0 5 3 2
Ц 4.47 4.02 4.31 4 01 3,57 1.36 З.Э6 3.87 2,19 4,39 2,07 1.57
СУі 0 оэ 0 08 0 04 0 15 0 14 0,15 0 07 0 08 0 18 0 11 0,21 0 10
Ранг -Яр 1 4 3 Ё 8 12 Е 7 Э 2 10 11
Обобщенные численные оценки каждого единичного показателя рассчитаем на основе среднего с учетом веса каждого эксперта:
/=1
п
где у; нормированный вес і -го эксперта (^ г = 1). п 138.
(7),
2=1
Весовой коэффициент 1-эксперта обратно пропорционален его вкладу в общую дисперсию оценок [2]:
2 I
(8),
V. = —
і
г
где д- = '. —С ): ~ сУмма квадратичных отклонений оценок і-го эксперта от осталь-
1=1 к=\
ных.
В результате пересчета оценок экспертов Сщ с учетом весовых коэффициентов экспертов (у ) изменились их средние значения, и, как следствие, изменились и ранги /{ показа-
1 ' ' 3
телей. В табл. 5 представлены полученные значения обобщенных оценок Су с учетом значений весовых коэффициентов экспертов.
В общей свертке (формула 1) сумма значений всех весовых коэффициентов К. показателей С “ должна равняться единице, т.е.
5Х=»
т
Расчет значений весовых коэффициентов выполним по формуле:
г-1*
іс;
у=1
(9)
Таблица 5
Обобщение численных оценок показателей экспертов Сц
Эксперты Критерии оценки
С1 С2 сз С4 С5 С6 СТ СЭ С9 СЮ СП 02
Эксперт 1 5 4 5 5 3 1 2 2 2 3 3 1
Эксперт 2 4 3 4 3 3 0 1 2 2 5 2 1
Эксперт 3 4 3 2 5 3 2 2 4 3 2 5 1
Эксперт 4 4 5 4 3 4 1 3 3 2 5 1 2
Эксперт 5 5 3 2 5 4 2 1 3 2 3 2 1
Эксперт 136 5 4 4 3 3 2 2 2 1 3 4 1
Эксперт 137 5 4 5 5 4 0 4 2 2 4 1 2
Эксперт 138 5 3 3 3 3 1 2 4 0 5 3 2
Ъ 4.47 4.02 4,31 4 01 3,57 1 36 3,96 3,87 2,19 4,39 2,07 1.57
С1/, 0 09 0 08 0 04 0 15 0 14 0 15 0 07 0 08 0 18 0 11 0.21 0 10
Ранг К, 1 4 3 5 8 12 6 7 9 2 10 11
Ц 4.47 3,57 4,52 3 01 1,25 2,15 3,42 4 05 3,87 4,39 3,24 2,64
Ранг 2 6 1 Э 12 11 7 4 5 3 8 10
В табл. 6 представлены рассчитанные значения К)
Таблица 6
Значения коэффициентов вариации единичных показателей, рассчитанные на основе экспертного опроса
Критерии ииенки 12 IX ;=1
С1 С2 СЗ С4 С5 С6 С7 СВ СЭ СЮ С11 С12
С* 4.47 3,57 4,52 3 01 1,25 2,15 3,42 4.05 3,87 4,39 3,24 2.64 40,58
к} 0 110 0 088 0 111 0 074 0 031 0 053 0 084 0 100 0 095 0 108 0 080 0 065
Расчет базового значения интегрального показателя 0Ъа, читабельности ТМ выполняется по формуле (2) на основе рассчитанных значений базовых единичных показателей (таблица 3) с учетом значений весовых коэффициентов. Предельно допустимые значения ('Оьа^тт и (01ш,-)тах рассчитываются по правилу «3 сигма».
Авторами статьи рассмотрен подход оценки качества тестовых материалов на этапе их разработки, основанный на расчете значения интегрального показателя читабельности формулировок тестовых материалов, в рамках которого определена номенклатура единичных показателей оценки читабельности тестовых материалов и предложена методика расчета их базовых значений. На основе экспертных оценок рассчитаны значения весовых коэффициентов единичных показателей читабельности тестовых материалов.
Библиографический список
1. Аванесов, В. С. Композиция тестовых заданий / В. С. Аванесов. - М. : Центр тестирования. 2002.-239 с.
2. Анохин, А. Н. Методы экспертных оценок : учебное пособие / А. Н. Анохин. - Обнинск : ИА-ТЭ, 1996. - 148 с.
3. Аристов, О. В. Управление качеством / О. В. Аристов. - М. : Инфра - М, 2005. - 264 с.
4. Зайнутдинова, Л. X. Создание и применение электронных учебников (на примере общетехнических дисциплин): монография / Л. X. Зайнутдинова. - Астрахань : Изд-во «ЦНТЭП», 1999. - 364 с.
5. Кривоносое, А. Д. РЯ-текст в системе публичных коммуникаций / А. Д. Кривоносов. - 2-е изд., доп. - СПб. : Петербургское востоковедение, 2002. - 288 с.
6. Нейман, Ю. М. Введение в теорию моделирования и параметризации педагогических тестов / Ю. М. Нейман, В. А. Хлебников. - М. : Прометей, 2000. - 168 с.
7. Поддубная, Л. М. Компьютерная технология разработки тестовых заданий : учебное пособие / Л. М. Поддубная. - М. : Логос, 2003. - 56 с.
