Оценки содержания образовательных документов: статистический аспект Текст научной статьи по специальности «Науки об образовании»

УДК 519.25 М с ППГЯЧРР

DOI: http://dx.doi.org/10.21686/2500-3925-2016-5-14-17 1 1ЧЛ ЯПСО

Государственное бюджетное профессиональное образовательное учреждение г. Москвы «Колледж Современных технологий имени Героя Советского Союза М.Ф. Панова»

Москва, Россия

Оценки содержания образовательных документов: статистический аспект

В статье определяется проблема объективного и универсального подхода к оценке содержания образовательных нормативных документов, составленных в образовательных организациях. Оценка качества содержания документа, например, содержание учебной программы дисциплины, не может проходить по формальным критериям. Для их оценки необходимо привлекать экспертов в конкретной области еще на стадии написания и составления документа. При этом нормативные документы в области образования регламентируют четкий перечень элементов и разделов образовательных документов. И вот эта формальная часть может быть подвергнута автоматической проверке на основе математико-статистических методов. Актуальность разработки таких подходов обусловлена в первую очередь большим количество образовательных документов. В настоящее время по одной образовательной программе может быть разработано более 400 образовательных документов (учебный план, учебная программа, руководство по изучению курса, фонды оценочных средств и т.д.). Основной целью исследования является разработка математико-статистических методов оценки содержания образовательных документов для возможности организации автоматизированной системы оценки. В ходе исследования были использованы методы описательной статистики, метод рангов, экспертные опросы, коэффициенты конкордации Кендэла и Пирсона. Входе работы были

выделены основные формальные элементы, которые содержат нормативные документы образовательных организаций на примере рабочей программы профессионального модуля. Среди работников образовательной организации был проведен экспертный опрос по разработанным критериям.

На основе итогов экспертного опроса были получены ранговые оценки полноты и содержания образовательных документов. Для оценки согласованности и адекватности экспертных оценок в работе были применены непараметрические методы статистики. Рассчитанные коэффициенты конкордации Кендэла и Пирсона позволили сделать выводы о согласованности полученных оценок, тем неимении в случае выявления разнонаправленности ответов экспертов можно выявить ответы, которые выпадают из общей тенденции. В случае обнаружения подобных ответов, можно вернуть образовательный документ на повторенное рассмотрение эксперту. Разработанная универсальная математико-статическая методика оценки элементов образовательного документа. Данная методика может быть автоматизирована с целью автоматической обработки большого количества образовательных документов.

Ключевые слова: экспертный опрос, ранг, рабочая программа, уровень значимости, критерий

Maxim S. Logachev

College of Modern Technology named after Hero of the Soviet Union M.F. Panova, Moscow, Russia

Assessment the content of educational documents: statistical aspect

В статье определяется проблема объективного и универсального подхода к оценке содержания образовательных нормативных документов, составленных в образовательных организациях. Оценка качества содержания документа, например, содержание учебной программы дисциплины, не может проходить по формальным критериям. Для их оценки необходимо привлекать экспертов в конкретной области еще на стадии написания и составления документа. При этом нормативные документы в области образования регламентируют четкий перечень элементов и разделов образовательных документов. И вот эта формальная часть может быть подвергнута автоматической проверке на основе математико-ста-тистических методов. Актуальность разработки таких подходов обусловлена в первую очередь большим количество образовательных документов. В настоящее время по одной образовательной программе может быть разработано более 400 образовательных документов (учебный план, учебная программа, руководство по изучению курса, фонды оценочных средств и т.д.).

Основной целью исследования является разработка математико-статистических методов оценки содержания образовательных документов для возможности организации автоматизированной системы оценки. В ходе исследования были использованы методы описательной статистики, метод рангов, экспертные опросы, коэффициенты конкордации Кендэла и Пирсона. Входе работы были

выделены основные формальные элементы, которые содержат нормативные документы образовательных организаций на примере рабочей программы профессионального модуля. Среди работников образовательной организации был проведен экспертный опрос по разработанным критериям.

На основе итогов экспертного опроса были получены ранговые оценки полноты и содержания образовательных документов. Для оценки согласованности и адекватности экспертных оценок в работе были применены непараметрические методы статистики. Рассчитанные коэффициенты конкордации Кендэла и Пирсона позволили сделать выводы о согласованности полученных оценок, тем неимении в случае выявления разнонаправленности ответов экспертов можно выявить ответы, которые выпадают из общей тенденции. В случае обнаружения подобных ответов, можно вернуть образовательный документ на повторенное рассмотрение эксперту.

Разработанная универсальная математико-статическая методика оценки элементов образовательного документа. Данная методика может быть автоматизирована с целью автоматической обработки большого количества образовательных документов.

Ключевые слова: экспертный опрос, ранг, рабочая программа, уровень значимости, критерий.

Введение

В современных образовательных организациях имеется в среднем 40 направлений подготовки специалистов (для высшего профессионального образования) и 20 (для среднего профессионального образования). В последние годы сложилась устойчивая тенденция на объединение образовательных организаций, а эта деятельность приводит к увеличению количества направлений подготовки, увеличения нагрузки на учебно-методические отделы и педагогических работников. Для организации деятельности таких структур необходимо контролировать множество различных показателей, например, качество содержания учебно-методических комплексов образовательных дисциплин, соответствие учебного плана расписанию учебных занятий, темы проведенных учебных занятий календарно-тематическому планированию, критерии балльно-рейтинговой системы и т.д.

Все это обуславливает внедрение в образовательные организации автоматизированных систем, позволяющих интегрировать большие массивы разносторонних данных и информационных потоков между разными подразделениями, организовывать информационную поддержку и сопровождать образовательный процесс [1].

В настоящий момент проверка внешними экспертами любой документации, составленной в образовательной организации, осуществляется только во время аккредитации учреждения, а текущая осуществляется соответствующим методистом. Такой подход не позволяет осуществлять полноценный мониторинг подготовки к осуществлению образовательной деятельности и не позволяет однозначно судить о качестве составления нормативных документов. В связи с этим необходимо осуществить автоматизацию процесса мониторинга содержания образовательных документов по универсальным и объективным критериям, позволяющим получить однозначную оценку.

Оценка творческой составляющей документа учебно-методичес-

Таблица 1

Результаты экспертного опроса для оборот-титула рабочей программы профессионального модуля

№ п/п Критерий Ранги

Э1 Э2 Э3 Э4 Э5

1 Соответствие ФГОС 2 5 3 6 4

2 Заполнение блока «Одобрена» 1 1 1 2 2

3 Заполнение блока «Утверждена» 1 2 1 1 1

4 Заполнение блока «Согласована» 1 3 1 3 2

5 Заполнение блока «Автор/составитель» 1 4 2 4 3

6 Последовательность блоков на странице по шаблону образовательной организации 2 5 3 5 4

кого комплекса должна осуществляться внешними рецензентами на стадии согласования и утверждения документа. Такой процесс трудно автоматизируемый и не имеет необходимости. А вот проверка формальной части подлежит процессу автоматизации. Для этого необходимо выработать соответствующие критерии и методику их оценивания, тем самым определив основной механизм работы автоматизированной системы.

К основным структурным блокам рабочей программы профессионального модуля можно отнести следующее: титульный лист, листы оборот-титула и содержания, главы «Паспорт рабочей программы», «Результаты освоения рабочей программы», «Структура и содержание рабочей программы», «Условия реализации рабочей программы» и «Контроль и оценка результатов освоения рабочей программы», а также блок соответствия распределения часов.

Структурные элементы и критерии оценки образовательного документа

На примере рабочей программы рассмотрим формирование критериев оценки качества документов учебно-методического комплекса. Для выделения критериев и их весовых значений будут использоваться результаты экспертного опроса. В качестве экспертов выбираются методисты образовательных организаций и эксперты, участвующие в процессе лицензирования образовательных программ.

Любая рабочая программа представляет из себя иерархическую блочную структуру. Соответственно в рамках одного структурного блока выделяются отдельные элементы, подвергающиеся оценке. В связи с этим, эксперту предлагается осуществить ранжирование ключевых элементов структурного блока, чтобы определить их весовые значения при его формировании. Дополнительно каждому эксперту в конце опроса предлагается определить значимость каждого структурного блока в рамках рабочей программы. При этом допускается наличие связанных рангов [3].

Анализ экспертных оценок образовательного документа

На примере оборот-титула проведем методику оценки его ключевых элементов. В табл. 1 представлены ранги, выставленные экспертами.

В табл. 1 имеются связанные ранги, соответственно необходимо произвести переформирование рангов без изменения мнения эксперта. В результате такого переформирования между ранговыми номерами сохранятся соответствующие соотношения, определенные на стадии экспертного опроса. Переформирование рангов представлено записывается в табл. 2 соответственно для каждого эксперта, согласно формуле 1.

Rd =

d=1

П

(1)

где Rd - значение связанного ранга после переформирования, ^ - значение связанного ранга, определенного экспертом,

п - количество связанных рангов одного типа.

Для определения правильности составления новой матрицы ис-

Таблица 2

Матрица с переформированными рангами для определения согласованности экспертов

№ п/п Наименование критерия Ранги Сумма баллов Д А2

Э1 Э2 Э3 Э4 Э5

1 Соответствие ФГОС 5,5 5,5 5,5 6 5,5 28,0 10,50 110,25

2 Заполнение блока «Одобрена» 2,5 1 2 2 2,5 10,0 -7,50 56,25

3 Заполнение блока «Утверждена» 2,5 2 2 1 1 8,5 -9,00 81,00

4 Заполнение блока «Согласована» 2,5 3 2 3 2,5 13,0 -4,50 20,25

5 Заполнение блока «Автор/ составитель» 2,5 4 4 4 4 18,5 1,00 1,00

6 Последовательность блоков на странице по шаблону образовательной организации 5,5 5,5 5,5 5 5,5 27,0 9,50 90,25

ИТОГО 21 21 21 21 21 105 0,00 359,00

пользуется контроль исчисления контрольной суммы по формуле 2.

Ъхи =

(1 + п) • п

j=1

(2)

W -

(и3-п)-т^,Тг

(3)

12

• m

5 = 1 А2,

г=1

(4)

где п - объем выборки; Х/ - ранг г'-го эксперта.

Непараметрические методы оценки

Также в табл. 2 записываются значения коэффициента конкор-дации Кендэла и определяется его значение. Коэффициент конкорда-ции Кендэла показывает, на сколько согласуются ранги друг с другом, выявляя при этом согласованность экспертов. Расчет коэффициента конкордации Кендэла осуществляется по формуле 3.

п

(5)

где Ш - коэффициент согласованности экспертов;

S - сумма квадратов отклонения от среднего значения; т - количество экспертов; п - объем выборки (количество оцениваемых критериев или количество рангов в структурном элементе); Т1 - число связок (видов повторяющихся элементов) в оценках ьго эксперта.

Для определения значения S используется формула 4, а для Т -формула 6.

2

X =

5

1 /• ,4 1

— m ■ n ■ (n +1) + -12 n -1

"> (7)

-1 £ '

где х2 - критерий согласия Пирсона.

Рассчитаем критерий согласия Пирсона для проверки коэффициента конкордации по формуле 7.

359

2

X =

— • 5 • 6 • (6 +1) + — • 7.5 12 6 -1

= 18.89.

где А - отклонение от среднего значения величины переформированных рангов, определяется по формуле 5.

п т

И*

где Ху - критерий структурного элемента.

1 Ц

^ттХ^-^ (6)

1=1

где L¡ - число повторяющихся связок в оценках -го эксперта; t| - количество элементов в /-ой связке г'-го эксперта.

Значение коэффициента конкор-дации должно принимать любое значение из интервала 0 < Ш < 1. Чем полученное значение ближе к 1, тем выше согласованность экспертов [4]. Анализируя полученный результат, можно сказать, что имеется высокая степень согласованности мнений экспертов при ранжировании критериев оборот-титула.

Для того, чтобы убедиться, что полученный коэффициент конкор-дации не случаен и полученный результат является доверительным, необходимо произвести проверку его значимости [4]. Для проверки значимости используется критерий согласия Пирсона, рассчитывающийся по формуле 7.

Определим уровень а = 0.05 для определения значимости согласованности экспертов при оценке критериев структурного элемента. Уровень значимости - это вероятность ошибки первого рода при принятии решении или, другими словами, вероятность ошибочного отклонения нулевой гипотезы [4].

а = 0.05 - первый уровень значимости, где допускается риск ошибки в выводе в пяти случаях из ста теоретически возможных таких же экспериментов при строго случайном отборе испытуемых для каждого эксперимента.

Для оборот-титула число степеней свободы K = 6 - 1 = 5. Согласно таблице распределения Пирсона х2табл = 111. Таким образом, X2 > Х2табл. Это означает, что полученное значение величины W = 0.89 не случайно, поэтому представленные результаты имеют смысл и могут быть использованы в исследовании.

Вес каждого критерия BJ-Kpum структурного элемента определяется по формуле 8.

1

Bj.

j=1

-х 100,

1

(8)

£ х

V1=1

где т - количество экспертов; п - объем выборки;

Ху - ранг, поставленный /-экспертом по '-критерию.

На основании формулы 8 рассчитаем величину В для каждого критерия при оценивании оборот-титула в рабочих программах профессионального модуля (табл. 3).

x

Значимость каждого критерия при оценивании оборот-титула

№ п/п Наименование критерия Значимость, %

i Соответствие ФГОС 8,5

2 Заполнение блока «Одобрена» 23,7

3 Заполнение блока «Утверждена» 27,9

4 Заполнение блока «Согласована» 18,3

5 Заполнение блока «Автор/составитель» 12,8

6 Последовательность блоков на странице по шаблону образовательной организации 8,8

Заключение

Таким образом можно получить систему оценки уровня сформированности каждого структурного элемента любого документа или всего документа в

Таблица 3

целом. На основании полученных результатов составляется шкала оценивания с рекомендациями в зависимости от полученных результатов. Полученные результаты могут быть использованы при проектировании и разработке ав-

томатизированной системы мониторинга качества образовательного документа.

Такая методика позволяет объективно оценивать содержание любого нормативного документа, составленного в образовательной организации, исключить человеческий фактор при проверке и принятии решении о соответствии нормативным документам федерального и регионального уровня. При этом сокращается время на согласование и утверждение проверяемого документа. При автоматической проверке исключается возможность использования устаревших или утративших силу нормативных документов.

Литература

1. Егоров А.Ф., Савицкая Т.В., Капустин Ю.И. Организация процесса обучения и контроля знаний с использованием автоматизированного лабораторного комплекса для подготовки химиков-технологов // Вестник ТГТУ. - 2006 - №2 - С. 477-485.

2. Горанский А.В. Информационно-аналитическая система контроля, планирования и управления образовательным процессом вуза химико-технологического профиля: диссертация кандидата технических наук: 05.13.01, 05.13.18. - Москва, 2007. - 219 с.

3. Логачёв М.С. Подготовка экспертного опроса для определения значимости элементов рабочей программы учебных дисциплин // Профессиональное образование и общество. - 2016. - №1(17) - С. 66-73.

4. Образцов П.И. Методы и методология психолого-педагогического исследования. - СПб.: Питер, 2004. - 268 с.

References

1. Egorov A.F., Savitskaya T.V., Kapustin Yu.I. Or-ganizatsiya protsessa obucheniya i kontrolya znanii s ispol'zovaniem avtomatizirovannogo laboratornogo kom-pleksa dlya podgotovki khimikov-tekhnologov // Vestnik TGTU. - 2006 - №2 - S. 477-485.

2. Goranskii A.V. Informatsionno-analiticheskaya sistema kontrolya, planirovaniya i upravleniya obrazovatel'nym protsessom vuza khimiko-tekhnologicheskogo profilya: dissertatsiya kandidata tekhnicheskikh nauk: 05.13.01, 05.13.18. - Moskva, 2007. - 219 s.

3. LogachevM.S. Podgotovka ekspertnogo oprosa dlya opredeleniya znachimosti elementov rabochei programmy uchebnykh distsiplin //Professional'noe obrazovanie i ob-shchestvo. - 2016. - №1(17) - S. 66-73.

4. Obraztsov P.I. Metody i metodologiya psikhologo-pedagogicheskogo issledovaniya. - SPb.: Piter, 2004. -268 s.

Сведения об авторе

Максим Сергеевич Логачёв

Государственное бюджетное профессиональное

образовательное учреждение города Москвы

«Колледж Современных технологий имени Героя Советского

СоюзаМ.Ф. Панова»

Эл. почта: logachevmaxim@gmail.com

Москва, Россия

Information about the author

Maxim S. Logachev

College of Modern Technology named after Hero of the Soviet

Union M.F. Panova

E-mail: logachevmaxim @gmail. com

Moscow, Russia