CC BY
37
Оригинальная статья / Original article
УДК 004.055:004.891.2
DOI: 10.21285/1814-3520-2017-9-83-94
ФОРМАЛИЗОВАННАЯ ЭКСПЕРТНАЯ ОЦЕНКА КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ МУЛЬТИМЕДИА-РЕСУРСОВ
С.А. Сакулин1, Д.А. Соколов2, В.С. Выхованец3
Московский государственный технический университет им. Н.Э. Баумана
(национальный исследовательский университет),
Российская Федерация, 105005, г. Москва, ул. 2-ая Бауманская, 5, стр. 1.
РЕЗЮМЕ. ЦЕЛЬ. Изучается проблема построения формализованных экспертных оценок качества образовательных мультимедиа-ресурсов. Цель исследования состоит в повышении точности и объективности оценки качества ресурса для обоснования принятия решения о его внедрении в учебный процесс. МЕТОДЫ. Для получения итоговой оценки применяются иерархические структуры, состоящие из операторов агрегирования. В качестве таких операторов используются: средневзвешенный оператор, оператор минимума, нечеткий дискретный интеграл Шоке. РЕЗУЛЬТАТЫ. Для оценки качества мультимедиа-ресурсов предлагается формальная модель, отражающая возможные взаимозависимости критериев оценки. Показана результативность применения предложенной модели на примере презентаций. ВЫВОДЫ. Подход к формализации экспертной оценки качества образовательных мультимедиа-ресурсов, основанный на иерархии операторов агрегирования, позволяет поэтапно формализовать экспертные предпочтения, которые могут включать в себя взаимозависимости критериев оценки. Ключевые слова: оценка качества образовательных ресурсов, мультимедиа, оператор агрегирования, интеграл Шоке, нечёткая мера.
Формат цитирования: Сакулин С.А., Соколов Д.А., Выхованец В.С. Формализованная экспертная оценка качества образовательных мультимедиа-ресурсов // Вестник Иркутского государственного технического университета. 2017. Т. 21. № 9. С. 83-94. DOI: 10.21285/1814-3520-2017-9-83-94
FORMALIZED EXPERT QUALITY ASSESSMENT OF EDUCATIONAL MULTIMEDIA RESOURCES S.A. Sakulin, D.A. Sokolov, V.S. Vykhovanets
Bauman Moscow State Technical University,
5/1 2nd Baumanskaya St., Moscow 105005, Russian Federation.
ABSTRACT. PURPOSE. The paper deals with the problem of constructing formalized expert assessments of educational multimedia resource quality. The purpose of the research is to increase the accuracy and objectivity of resource quality assessment in order to justify the decision-making on its introduction into the education process. METHODS. Hierarchical structures consisting of aggregation operators are used to obtain the final assessment of the resource. Aggregation operators can be represented by a weighted average operator, a minimum operator and a fuzzy discrete Choquet integral. RESULTS. A formal model reflecting possible correlations of assessment criteria has been introduced for the evaluation of the multimedia resource quality. The efficiency of the proposed model has been shown on the example of presentations. CONCLUSIONS. The approach to the formalization of the expert quality assessment of educational multimedia resources based on the hierarchy of aggregation operators allows stage-by-stage formalization of expert preferences which may include the interdependences of assessment criteria.
Keywords: educational resource quality assessment, multimedia, aggregation operator, Choquet integral, fuzzy measure
For citation: Sakulin S.A., Sokolov D.A., Vykhovanets V.S. Formalized expert quality assessment of educational multimedia resources. Proceedings of Irkutsk State Technical University. 2017, vol. 21, no. 9, pp. 83-94. (In Russian). DOI: 10.21285/1814-3520-2017-9-83-94
Сакулин Сергей Александрович, кандидат технических наук, доцент кафедры информационных систем и телекоммуникаций, e-mail: [email protected]
Sergei A. Sakulin, Candidate of technical sciences, Associate Professor of the Department of Information Systems
and Telecommunications, e-mail: [email protected]
2Соколов Дмитрий Александрович, студент, e-mail: [email protected]
Dmitry A. Sokolov, Student, e-mail: [email protected]
3Выхованец Валерий Святославович, доктор технических наук, профессор кафедры информационных систем и телекоммуникаций, e-mail: [email protected]
Valery S. Vykhovanets, Doctor of technical sciences, Professor of the Department of Information Systems and Telecommunications, e-mail: [email protected]
Введение
Мультимедиа-ресурсы позволяют эффективно представлять различную информацию. В частности, в последние годы применение технологий мультимедиа стремительно набирает популярность в сфере образования. Результаты ряда исследований показывают, что чтение лекций с использованием мультимедиа позволяет повысить эффективность усвоения информации слушателями [1-7]. Так, например, в опросе, в котором участвовали 275 студентов [2], было выявлено, что среди основной целевой аудитории в сфере образования большинство отдает предпочтение мультимедиа-презентациям. В статье [8] рассмотрено влияние применения различных технологий представления информации, в том числе презентаций, на вовлеченность учащихся в образовательный процесс. В другой работе того же автора [9] было установлено влияние вовлеченности на успеваемость студентов, что свидетельствует об информативности этого показателя. По результатам широкого опроса российских студентов сделан вывод о том, что между использованием преподавателями мультимедийных технологий и вовлеченностью студентов имеется положительная взаимосвязь.
Вместе с тем для принятия решения о внедрении того или иного мультимедиа-ресурса в учебный процесс необходимо удостовериться в том, что этот ресурс удовлетворяет критериям, в совокупности определяющим его качество.
Наиболее распространенным инструментом для создания образовательных мультимедиа-ресурсов в настоящее время является Microsoft Power Point [б]. В качестве примера рассмотрим презентацию,
Критерии кач
Критерии качества презентации можно сформулировать по-разному, в зависимости от конкретного эксперта. В частности, в [10] приводится описание возмож-
выполненную посредством использования этой программы.
Проанализируем возможные критерии, определяющие качество такой презентации. Среди прочих выделяются группы подобных критериев качества: наполнение (содержание) и оформление презентации [9]. Оценкой качества презентации будем называть определение совокупной степени соответствия составных критериев значениям, задаваемым экспертом.
С определением понятия оценки качества презентации встает вопрос формального численного получения такой оценки.
Таким образом, для оценки качества презентаций представляется актуальным вопрос формализации связанных с этой оценкой экспертных знаний. Одним из возможных методов данной оценки является модифицированная модель Раша, представленная в работе [5]. Здесь значительное внимание уделено изучению самой модели, однако формализация экспертных знаний не рассмотрена, не затронут вопрос обоснования выбора тех или иных критериев оценки. Совокупную степень соответствия составных критериев заданным значениям и получение численных значений самих этих критериев возможно реализовать с помощью процедуры свертки или агрегирования критериев. Данную процедуру имеет смысл задавать экспертным путем, поскольку от ее характера также будет зависеть итоговая оценка качества презентации. В настоящей статье рассмотрен вопрос формализации экспертных знаний, касающихся оценки качества презентации посредством агрегирования пользовательских критериев с помощью операторов агрегирования.
презентации
ных рассуждений эксперта относительно содержания презентации. При этом критерий 01 означает качество содержания. В
свою очередь, ^ получается в результате агрегирования следующих критериев: g¡ -развернутость обозначенной темы; g\ -соответствие изложенного материала поставленной задаче; gl - оценка использованной литературы. Критерии g¡ -g1 оцениваются экспертом по 10-балльной шкале, после чего приводятся к интервалу [0,1] или нормализуются. В случае отсутствия в презентации списка литературы либо слайда содержания критерии g\ и gl невозможно оценить. В связи с этим качество содержания такой презентации также не оценивается.
Через g1 обозначим критерий наличия списка литературы, gl - критерий наличия содержания. Эти критерии являются бинарными и принимают значения на множестве {0,1}. Введение g\ и g 1 предусматривает необходимость наличия содержания и списка литературы в качественной презентации.
На качество презентации влияет также и ее оформление. Выделяют несколько критериев качества оформления. Одним из них является степень структурированности отдельных слайдов и презентации в целом [3, 4]. В работе [2] выявлена значимость критерия наличия звукового сопровождения презентации для студентов - 69% опрошенных отдает предпочтение презентации со звуковым сопровождением. Кроме того, критериями качества оформления презентации могут быть: параметры шрифта (размер, цвет символов); цветовое сочетание (контрастность, фон, выбор цветов); качество анимации, графиков и таблиц.
Приведенные критерии качества оформления объединим в два обобщенных критерия: g12 - дизайн презентации (параметры шрифта, цветовое сочетание, качество анимации), и g22 - структурированность презентации и слайдов. Критерии g12
и g\ также будут оцениваться экспертом
по 10-балльной шкале, а затем нормализироваться. Как и в случае с критерием качества содержания ^, отсутствие в презентации введения приведет к невозможности оценки качества оформления из-за его влияния на структурированность презентации. Поэтому наличие критерия g\ (структурированность презентации и слайдов) имеет смысл только при единичном значении бинарного критерия g2 (введение), который принимает значения на множестве {0,1}. Таким образом, представляется составным критерием качества оформления. В свою очередь, ^ является резуль-
2 7
татом агрегирования критериев g1 -g2.
Рассмотрим теперь возможные рассуждения эксперта, касающиеся взаимного влияния обозначенных критериев. Составные критерии ^ (качество содержания) и
02 (качество оформления) примем независимыми по отношению друг к другу, поскольку дизайн и наполнение одной и той же презентации могут выполнять разные люди без влияния на конечный результат. Критерии внутри соответствующих ^ и
независимых групп способны оказывать взаимное влияние.
Рассмотрим соответствующие взаимосвязи. Критерии g11 - развернутость
обозначенной темы, - соответствие теме, и gl - оценка литературы - взаимосвязаны, так как очевидно, что развернутость темы прямо зависит как от использованной литературы, так и от соответствия поставленной задаче. Кроме того, критерии g1
(развернутость обозначенной темы) и g\
(соответствие теме) являются в некотором смысле взаимозаменяемыми. По мнению эксперта, удовлетворение критерия g\ может оказывать почти такое же влияние на результат оценки, как и удовлетворение обоих критериев g1 и g\, поскольку в том
случае, если содержание презентации соответствует поставленной задаче, пусть даже обозначенная тема не полностью развернута, то презентация, скорее всего, качественна с точки зрения представления информации. При этом эксперт отмечает, что критерий gl (оценка использованной литературы) не является зависимым от критериев g| и g\, а критерии g| и g\, в свою очередь, не зависят от g]. Критерии g12 (дизайн), g2 (структурированность презентации и слайдов) положительно корре-
Формализация оценки
Приведенные выше рассуждения возможно формализовать с помощью иерархии соответствующих операторов агрегирования. Такой оператор представляет собой функцию, зависящую от входных критериев и обладающую заданными свойствами [11]. Сами критерии и результат агрегирования определены и принимают значения на единичном интервале [0,1], в связи с чем в модели формальной оценки качества презентации все критерии приводятся к единичному интервалу. Для того чтобы из значений исходных критериев g11
1 2 ? ,...,g 1; ^ ,..., g2 получить итоговую оценку
качества презентации О, необходимо выбрать операторов агрегирования.
Задача выбора операторов не является тривиальной [11]. Различия между операторами и методами построения соответствующих иерархий обусловлены спецификой решаемых задач. Примерами таких прикладных задач являются: оценка спортсмена в фигурном катании (модифицированный средневзвешенный оператор); формирование интегральной оценки успеваемости учащегося; оценка удобства вебстраниц; анализ и оценка эффективности какого-либо производственного процесса; оценка возраста наступления смерти по скелету в судебной медицине [12-17]. Наиболее распространенные и относительно простые операторы - минимум
лированны ввиду очевидности того факта, что качественный дизайн может быть выстроен только лишь при наличии качественной структуры презентации. Здесь
2
логично отдать предпочтение критерию g,,
2
в сравнении с критерием g , потому как
структурированность презентации более важна при восприятии информации, чем ее дизайн. Влияние бинарных критериев g\, g1 и g2 на остальные критерии было описано выше.
качества презентации
(min), максимум (max), средневзвешенный оператор. С их помощью невозможно учитывать взаимодействие между критериями, в том числе рассмотренные выше корреляцию и взаимозаменяемость. Для того чтобы формализовать знания эксперта о зависимых критериях, применяются дискретные интегралы Шоке и Сугено [11]. Основное различие между ними заключается в том, что интеграл Шоке основывается на линейных операторах, а интеграл Сугено - на нелинейных операторах (min и max). Интеграл Шоке подходит для количественной агрегации, в то время как интеграл Сугено больше подходит для порядковой агрегации.
Критерии качества презентации являются количественными, изменение каждого из них должно влиять на результат оценки, поэтому в качестве оператора агрегирования зависимых критериев нами был выбран интеграл Шоке.
Для использования интеграла Шоке требуется идентифицировать нечеткую меру. Идентификация затруднена необходимостью экспертным путем задавать значение меры для каждого подмножества критериев, что невозможно реализовать на практике. Поэтому такая идентификация осуществляется различными косвенными методами. Для построения модели оценки качества презентаций был выбран метод наименьшей дисперсии, поскольку он, в
отличие от других методов, обеспечивает уникальность получаемой нечеткой меры, а также отсутствие субъективизма в результате агрегирования помимо субъективизма экспертного мнения [18-20].
Построим иерархию в виде дерева операторов агрегирования для оценки качества презентации. Основанием для выбора операторов, входящих в дерево, послужит влияние критериев друг на друга и на результат в целом.
Составные критерии ^ (качество
содержания) и ^ (качество оформления)
независимы друг от друга, поэтому целесообразно будет использовать простой средневзвешенный оператор
ЛОО(, 02) = + ,
где щ и щ - весовые коэффициенты,
определенные экспертом напрямую или косвенно.
Из-за упомянутой взаимозаменяемости критериев g\ (развернутость обозначенной темы) и g:1 (соответствие теме) для их агрегирования применим интеграл Шоке. Кроме того, в составной критерий
входит критерий g! (оценка литературы), который является взаимно предпочтительно независимым с критериями g\ и g1. Ин-
теграл Шоке, в силу своей универсальности, позволяет отражать в итоговой оценке как взаимозаменяемость, так и независимость критериев, поэтому будем применять его для агрегирования всех трех критериев этой группы. В то же время необходимо учесть описанное выше влияние критериев
g\ (наличие списка литературы) и gl (наличие вступления) на составной критерий . Для этого используем оператор минимума, который будет сводить значение ^ к нулю в том случае, если хотя бы
один из критериев - g\ или gl примет нулевое значение. Ввиду того что критерии g12 (дизайн) и g2 (структурированность
презентации и слайда) взаимозависимы, в качестве соответствующего оператора агрегирования также применим интеграл Шоке.
Аналогично тому, как это сделано для критерия ^, критерий 02 будем получать посредством оператора минимума, который обнулит значение критерия 02 в случае отсутствия в презентации содержания (обнуление критерия g2 - наличие содержания). Полученная в итоге иерархия операторов агрегирования представлена на рис. 1.
Рис. 1. Иерархия операторов агрегирования для оценки качества презентации Fig. 1. Hierarchy of aggregation operators assessing presentation quality
Таким образом, в соответствии с приведенной иерархией операторов агрегирования итоговая оценка качества презентации ^ выражается формулой:
П = w min[g\, gl5, Сi (g1, gl g1)] +
+w2min[C^ (g2, g22), g32].
Здесь интегралы Шоке
сЦ1(я1«3) и с^2,22)
совместно с соответствующими операторами минимума служат для вычисления значений составных критериев 01 и .
Иллюстративный пример
Презентации широко используются в образовательной сфере. С помощью приведенных ниже примеров проиллюстрируем практическую применимость описанного подхода к формализации экспертных оценок. Рассмотрим две презентации, которые находятся в общем доступе [21, 22]. Первая
- презентация с американского образовательного портала Science Prof Online (SPO)
- представляет собой лекцию по физике о материи и энергии (рис. 2). Вторая используется в лекции кафедры экономики и менеджмента Владивостокского государственного университета экономики и сервиса (ВГУЭС), посвященная управлению организационными изменениями (рис. 3).
Эти презентации посвящены разным темам (физика и экономика), имеют отличия в стиле оформления, языке, поэтому намеренно выбраны для проверки универсальности применения предложенного подхода к формализации экспертных знаний в рассматриваемом классе образовательных ресурсов. В роли экспертов выступили 4 студента, обучающиеся на кафедре ИУ-3 МГТУ им. Н.Э. Баумана, которые уже прослушали курсы лекций по физике и экономике в университете. Кроме того, им было предложено ознакомиться с дополнительной литературой для более полного понимания содержания презентаций и объективности соответствующей оценки. Каждый студент провел оценку по всем критериям,
Рис. 2. Вводная лекция по физике Fig. 2. Introductory lecture on Physics
ФГБОУ ВПО «Владивостокский государственный университет экономики и сервиса»
Кафедра экономики и менеджмента
УПРАВЛЕНИЕ ИЗМЕНЕНИЯМИ
Преподаватель: БодунковаАнна Григорьевна ауд. 1532, т.240-41-36
fjtï&aa
Рис. 3. Лекция по дисциплине «Управление изменениями» Fig. 3. Lecture on "Change Management"
сформировав тем самым реализацию входных критериев. Экспертам предлагалось оценить значение каждого из критериев в диапазоне от 0 до 10, где 0 - критерий «полностью не удовлетворен», 10 - критерий «полностью удовлетворен». Студенты выставляли свою оценку для каждой из презентаций в соответствии с анкетой, состоящей из следующих вопросов.
1. Полностью ли развернута тема презентации?
2. Насколько содержимое соответствует обозначенной теме?
3. Оцените надежность и достоверность источников.
4. Присутствует ли введение, (0 -нет, 10 - да)?
5. Присутствует ли список литературы, (0 - нет, 10 - да)?
6. Оцените качество дизайна (графические, звуковые элементы; анимация, цветовое сочетание, читабельность шрифта).
7. Оцените структуру презентации и отдельных слайдов.
8. Присутствует ли содержание, (0 -нет, 10 - да)?
Осредненные результаты проведен-
ного анкетирования в виде нормализованных значений критериев представлены в табл. 1.
Обе презентации имеют слайды «содержание», «введение», «список литературы», что отражено в табл. 1 единичными значениями соответствующих критериев. Значение критерия g1 (развернутость
обозначенной темы) было оценено одинаково для обеих презентаций: темы в них были развернуты, но присутствовали некоторые недостатки. Основным недостатком, отмеченным экспертами в презентации ВГУЭС, признана некоторая избыточность информации, а в презентации БРО -напротив, некоторая ее недостаточность. По критерию gl2 презентация БРО имеет
более высокую оценку по соответствию тематике. В презентации ВГУЭС содержится информация, не относящаяся к основной теме, составлен обширный список научной и учебной литературы. В презентации БРО в качестве источников в списке литературы приведены только ссылки на интернет-ресурсы, которые не отличаются надежностью и постоянством. Поэтому значение
Таблица 1
Осредненные результаты экспертных оценок
Table 1
Averaged results of expert assessments_
Критерий I Criterion ВГУЭС (g1 ) / Vladivostok State University of Economics and Service (gl) SPO ( g2 )
gl 0,8 0,8
g 2 0,7 0,8
i g 3 0,9 0,5
1 g 4 1 1
g 5 1 1
gl2 0,7 0,9
g 22 0,7 0,8
g 32 1 1
критерия g1 (оценка литературы) у презентации ВГУЭС выше. Из табл. 2 видно, что презентация ВГУЭС имеет более низкие относительно презентации SPO значения критериев g12 (дизайн), g2 (структурированность презентации и слайдов), агрегированием которых является критерий 02
(оформление). Причиной тому может служить недостаточная проработка графических элементов (изображений, таблиц, графиков и т.д.) в презентации ВГУЭС. Для экспертов было очевидным, что качество презентации SPO в целом выше качества презентации ВГУЭС, что можно формализовать в виде следующего отношения предпочтения на множестве А реализаций критериев (презентаций):
носительно критериев g1,...,g1, составляющих критерий ^ (содержание), а предпочтительность презентации SPO - относительно критериев g12,...,g2, составляющих
критерий 02 (оформление). Обозначим g1 реализацию критериев «1х,..., g1 для презентации ВГУЭС, а реализацию тех же критериев для презентации SPO - как g1. Обо-
2
значим g1 как реализацию критериев g12,...,g2 для презентации ВГУЭС, а реализацию тех же критериев для презентации SPO - как g2. Тогда описанные предпочтения выражаются следующими отношениями порядка на соответствующих множествах реализации:
g2 ^ gi-
(2)
8Î >" &
(3)
Здесь - реализации критериев для презентаций ВГУЭС и SPO (символом ^ обозначено отношение предпочтения); А = } - множество реализаций.
Несмотря на то что общая оценка презентации, по мнению экспертов, должна быть выше у презентации SPO, ВГУЭС отдана предпочтительность презентации от-
2 . 2 gl ^ g2-
(4)
Другие предпочтения не так очевидны для экспертов. Положительную корреляцию критериев g1,..., g1 можно формализовать с помощью знака индекса взаимодействия соответствующих критериев:
I,(1,2,3) < 0 ,
(5)
где индекс * указывает, что индекс взаимодействия (5) относится к интегралу
с* (й1, Й2, Й1).
Положительная корреляция критериев g12 (дизайн) и g2 (структурированность презентации и слайда) формализуется с помощью знака индекса взаимодействия соответствующих критериев:
I/ (1,2) < 0,
(б)
где индекс * указывает, что индекс взаимодействия (6) относится к интегралу
й2, ^.
Приведенные выше рассуждения эксперта о том, что при определении значения критерия 02 более важным критерием является (структурированность презентации и слайда), чем (дизайн презентации), формализуются с помощью соответствующих индексов Шепли.
Ф/ (1) <Ф/ (2).
/
(7)
Для получения численных значений оценок качества презентаций нужно идентифицировать нечеткие меры * и *2. Для
их идентификации мы применяем метод максимизации энтропии нечеткой меры при заданных ограничениях, реализованный в специализированном свободно распространяемом пакете Карра1аЬ [19]. В соответствии с этим методом отношения предпочтений (3) и (4) переводятся в неравен-
ства:
C" (0.8,0.7,0.9) -- C"( (0.8,0.8,0.5) > S"1 ;
(8)
С, (0.9,0.8) - С, (0.7,0.5) S (9)
/
где S,1, S,2 - пороги безразличия.
Критерии , и при переводе
отношений предпочтений (3), (4) в неравенства (8), (9) не рассматриваются, поскольку имеют единичные значения и не влияют на результаты агрегирования в виде значений составных критериев ^ (содержание) и 02 (оформление).
Неравенства (5)-(7) преобразуются соответственно в неравенства:
-1 < I(1,2,3) ;
-1 < I(1,2) < S ;
Ф(g2) -Ф(gi2) >s$ .
(10)
(11)
(12)
Здесь 5*1 , 5*2 , 5*2 , 5*1, 5* - задаваемые
экспертом пороги безразличия для идентификации соответствующих нечетких мер. Исходя из того, что все входные критерии определены на шкалах вида {0, 0.1,., 0.9, 1}, а также принимая во внимание ограничения на значения порогов безразличия, применяемые для недопущения выбора значений порогов, при которых задача идентификации нечеткой меры заведомо не имеет решения [23], были выбраны следующие значения этих порогов:
Sf1 = 0,005; Sf = 0,005 ;
S£ = 0,02 ;
5* =5* = 0,055 .
С с '
Результаты проведенной идентификации в виде параметров соответствующих интегралов (индексов взаимодействия и индексов Шепли, а также значения этих интегралов на реализациях ^, g2 ) приведены в табл. 2. Весовые коэффициенты щ и w2 эксперты определили одинаково - по
0,5 каждый. Значения итоговой оценки П для рассмотренных презентаций также приведены в табл. 2.
Индекс взаимодействия / (1,2)
принимает значение -0,0050, которое принадлежит интервалу [-1 -5* ]. Этим выражается взаимозависимость критериев
Таблица 2
Результаты агрегирования критериев
Table 2
_Results of criteria aggregation_
Критерии / Criteria Ф(1) Ф(2) Ф(3) I* (l,2,3) I * (l,2) gl g 2
C*l 0,33833 3 0,3350 0,3350 -0,0050 - 0,801 0,7015
C*2 0,50250 0 0,50250 0 - - -0,0050 0,7 0,85025
Q - - - - - 0,7505 0,77587 5
gl, g2, что соответствует экспертным
рассуждениям. Остальные индексы взаимодействия для критериев, относящихся к (й1, g2), равны 0.
Как и ожидалось, результаты агрегирования отражают экспертное мнение, сформулированное в зависимостях (1)-(7). Предпочтительная зависимость реализа-
ций отражена в результате агрегирования С2. Полученные значения интегралов Шоке С^ (^,g2, g2) и С^ (^12,^22), приведенные в табл. 2, отражают и рассуждения экспертов о более высокой оценке критерия ^ (содержание) презентации ВГУЭС
и более высокой оценке критерия ^ (оформление) презентации БРО.
Заключение
Рассмотренный в статье подход к формализации экспертной оценки качества презентаций основан на построении иерархии из операторов агрегирования критериев, которые представляют собой то или иное свойство презентации. Значения этих критериев определены на соответствующих шкалах и могут задаваться экспертным путем с помощью анкетирования. Для агрегирования зависимых критериев применяется интеграл Шоке, который позволяет отражать подобные зависимости в результатах агрегирования.
В случае, если построение описанной иерархии выполняется несколькими экспертами, точки зрения которых на рассматриваемую предметную область различаются, применяя рассмотренный аппарат, эксперты способны прийти к компромиссному решению. Это достигается благодаря тому, что все рассмотренные виды экспертных предпочтений могут быть однозначно представлены в виде соответствующего оператора, входящего в иерархию.
Процесс формализации оценки качества презентации может быть итеративным, что предполагает постепенное уточнение предпочтений экспертов.
На примере двух презентаций, посвященных разным темам, показана практическая применимость предложенного подхода. Для реализации строго обоснованной и всесторонней формальной оценки образовательных мультимедиа-ресурсов необходимо привлечение в качестве экспертов специалистов из соответствующих прикладных областей как от образовательного сообщества, так и со стороны органов управления образованием.
В качестве продолжения исследований в данном направлении предполагается усовершенствование методов работы с экспертами по формализации их предпочтений.
Работа выполнена при поддержке гранта Госзадание Минобрнауки РФ № 2.5048.2017/8.9.
Библиографический список
1. Cosgun Ogeyik M. The effectiveness of PowerPoint presentation and conventional lecture on pedagogical content knowledge attainment . Innovations in Education and Teaching International, 2016, pp. 1-8.
2. Apperson J.M., Laws E.L., Scepansky J.A. An assessment of student preferences for PowerPoint presentation structure in undergraduate courses. Computers & Education, 2008, vol. 50, no. 1, pp. 148-153.
3. Simpson C.L. [et al.]. An analysis of certain factors related to the use of PowerPoint. Communications of the IIMA, 2014, vol. 3, no. 2, p. 4.
4. Bridges T.M., Luks A.M. How to Give a Great PowerPoint Presentation. Handbook of Clinical Teaching. Springer International Publishing, 2016, pp. 63-75.
5. Basturk R. Applying the many-facet Rasch model to evaluate PowerPoint presentation performance in higher education . Assessment & Evaluation in Higher Education, 2008, vol. 33, no. 4, pp. 431 -444.
6. Базилевич С.В., Брылова Т.Б., Глухих В.Р., Лев-кин Г.Г. Использование инновационных и интерактивных методов обучения при проведении лекционных и семинарских занятий // Наука Красноярья. 2012. № 4. С. 103-113.
7. Авраменко С.А., Ядровская М.В. Влияние информационных технологий на формирование и развитие коммуникативной культуры студентов // Образовательные технологии и общество. 2017. Т. 20. № 2. С. 404-412.
8. Малошонок Н.Г. Взаимосвязь использования Интернета и мультимедийных технологий в образовательном процессе со студенческой вовлеченностью // Вопросы образования. 2016. № 4. С. 59-83.
9. Малошонок Н.Г. Студенческая вовлеченность в учебный процесс: методология исследования и процедура измерения // Социологические исследования. 2014. № 3 (359). С. 141-147.
10. Ершова О.В. Использование потенциала мультимедийной презентации в педагогическом взаимодействии // Образование и наука. 2016. № 5 (134). С. 176-193.
11. Beliakov G., Sola H.B., Sánchez T.C. A Practical Guide to Averaging Functions. Springer International Publishing, 2016. 234 p.
12. Special regulations & Technical rules single & pair skating and ice dance, ISU. 2016, 414 p.
13. Белоус В.В., Бобровский А.В., Добряков А.А., Карпенко А.П., Смирнова Е.В. Интегральная оценка
многокритериальных альтернатив в ментально-структурированном походе к обучению // Наука и образование. 2012. № 07 / URL: http://technomag.edu.ru/doc/423252.html (13.06.2017).
14. Сакулин С.А., Анисимова О.В. Формирование интегральных оценок успеваемости учащихся с помощью операторов агрегирования // Наука и образование. 2015. № 3. С. 256-268. DOI: 10.7463/0315.0759904
15. Alfimtsev A., Sakulin S., Levanov A. Formalization of Expert Knowledge About the Usability of Web Pages Based on User Criteria Aggregation . International Journal of Software Innovation (IJSI), 2016, vol. 4, no. 3, pp. 38-50.
16. Сакулин С.А., Девятков В.В. Анализ состояния технологических процессов на основе нечётких экспертных знаний. Moscow, LAMBERT Academic Publishing, 2012, 248 с.
17. Anderson M.F., Anderson D.T., Wescott D.J. Estimation of adult skeletal age-at-death using the Sugeno fuzzy integral. American journal of physical anthropology, 2010, vol. 142, no. 1, pp. 30-41.
18. Grabisch M. The application of fuzzy integrals in multicriteria decision making. European Journal of Operation Research, 1996, по. 89, pp. 445-456.
19. Grabisch M., Kojadinovic I., Meyer P. A review of methods for capacity identification in Choquet integral based multi-attribute utility theory: Applications of the Kappalab R package. European Journal of Operational Research, 2008, vol. 186, no. 2, pp. 766-785. DOI: 10.1016/j.ejor.2007.02.025
20. Kojadinovic I. Minimum variance capacity identification. European Journal of Operational Research, 2007, vol. 1, no. 177, pp. 498-514.
21. Научные теории Powerpoint-3-VBC [Электронный ресурс]. URL: http:// www. sciencepro-fonline.com/vbc/vbc-ppts/Matter-Energy-Lecture-Powerpoint-3-VBC.pptx (13.06.2017).
22. Презентации специальных дисциплин [Электронный ресурс]. URL: http://old.vvsu. ru/distance/specializ/disciplines/presentation/idp/21393/ prezentacii_k_kursu_lekciy (13.06.2017).
23. Сакулин С.А., Алфимцев А.Н. К вопросу о практическом применении нечетких мер и интеграла Шоке // Вестник МГТУ им. Н.Э. Баумана. Серия «Приборостроение». 2012. № 1. С. 55-63.
References
1. Cosgun Ogeyik M. The effectiveness of PowerPoint presentation and conventional lecture on pedagogical content knowledge attainment. Innovations in education and teaching international, 2016, pp. 1-8.
2. Apperson J.M., Laws E.L., Scepansky J.A. An assessment of student preferences for PowerPoint presentation structure in undergraduate courses. Computers & Education, 2008, vol. 50, no. 1, pp. 148-153.
3. Simpson C.L. [et al.]. An analysis of certain factors related to the use of PowerPoint. Communications of the IIMA, 2014, vol. 3, no. 2, p. 4.
4. Bridges T.M., Luks A.M. How to Give a Great PowerPoint Presentation. Handbook of Clinical Teaching. Springer International Publishing, 2016, pp. 63-75.
5. Basturk R. Applying the many-facet Rasch model to evaluate PowerPoint presentation performance in high-
er education. Assessment & Evaluation in Higher Education, 2008, vol. 33, no. 4, pp. 431-444.
6. Bazilevich S.V., Brylova T.B., Glukhikh V.R., Levkin G.G. Use of innovative and interactive teaching in conducting lectures and seminars. Nauka Krasnoyar'ya [Krasnoyarsk Science]. 2012, no. 4, pp. 103-113. (In Russian).
7. Avramenko S.A., Yadrovskaya M.V. Influence of information technologies on formation and development of students'communicative culture. Obrazovatel'nye tekhnologii i obshchestvo [Educational technologies and society]. 2017, vol. 20, no. 2, pp. 404-412. (In Russian).
8. Maloshonok N.G. Interrelation of use of the Internet and multimedia technologies in educational process with the student's involvement. Voprosy obrazovaniya [Educational Studies]. 2016, no. 4, pp. 59-83. (In Russian).
9. Maloshonok N.G. Students' involvement into educational process: research methodology and measurement procedure. Sotsiologicheskie issledovaniya [Sociological studies]. 2014, vol. 359, no. 3, pp. 141-147. (In Russian).
10. Ershova O.V. Presentation potential using in pedagogical interaction process. Obrazovanie i nauka [Science and education]. 2016, vol. 134, no. 5, pp. 176193. (In Russian).
11. Beliakov G., Sola H.B., Sánchez T.C. A practical guide to averaging functions. Springer International Publishing, 2016. 234 p.
12. Special regulations & Technical rules single & pair skating and ice dance, ISU. 2016, 440 p.
13. Belous V.V., Bobrovskii A.V., Dobryakov A.A., Karpenko A.P., Smirnova E.V. Integral estimation of multi-criterion alternatives in mental-structured approach to education. Nauka i obrazovanie [Science and Education]. 2012, no. 7. Available at: http://technomag.edu.ru/ doc/423252.html (accessed 13 June 2017).
14. Sakulin S.A., Anisimova O.V. Forming of students' academic achievement integral indicator based on aggregation indicators. Nauka i obrazovanie [Science and education]. 2015, no. 3. pp. 256-268. (In Russian). DOI: 10.7463/0315.0759904
Критерии авторства
Сакулин С.А., Соколов Д.А., Выхованец В.С. заявляют о равном участии в получении и оформлении научных результатов и в равной мере несут ответственность за плагиат.
Конфликт интересов
Авторы заявляют об отсутствии конфликта интересов.
Статья поступила 25.08.2017 г.
15. Alfimtsev A., Sakulin S., Levanov A. Formalization of expert knowledge about the usability of web pages based on user criteria aggregation . International Journal of Software Innovation (IJSI), 2016, vol. 4, no. 3, pp. 38-50.
16. Sakulin S.A., Devyatkov V.V. Analiz sostoyaniya tekhnologicheskikh protsessov na os-nove nechetkikh ekspertnykh znanii [Analysis of technological process state on the basis of fuzzy expert knowledge]. Moscow: LAMBERT Academic Publ., 2012, 248 p. (In Russian).
17. Anderson M.F., Anderson D.T., Wescott D.J. Estimation of adult skeletal age-at-death using the Sugeno fuzzy integral. American journal of physical anthropology, 2010, vol. 142, no. 1, pp. 30-41.
18. Grabisch M. The application of fuzzy integrals in multicriteria decision making. European Journal of Operation Research, 1996, no. 89, pp. 445-456.
19. Grabisch M., Kojadinovic I., Meyer P. A review of methods for capacity identification in Choquet integral based multi-attribute utility theory: Applications of the Kappalab R package. European Journal of Operational Research, 2008, vol. 186, no. 2, pp. 766-785. DOI: 10.1016/j.ejor.2007.02.025
20. Kojadinovic I. Minimum variance capacity identification. European Journal of Operational Research, 2007, vol. 1, no. 177, pp. 498-514.
21. Nauchnye teorii Powerpoint-3-VBC [Scientific theories of Powerpoint-3-VBC]. Available at: http:// www. sci-enceprofonline.com/vbc/vbc-ppts/Matter-Energy-Lecture-Powerpoint-3-VBC.pptx (accessed 13 June 2017).
22. Prezentatsii spetsial'nykh distsiplin [Presentations of special disciplines]. Available at: http://old.vvsu. ru/distance/specializ/disciplines/presentation/idp/21393/ prezentacii_k_kursu_lekciy (accessed 13 June 2017).
23. Sakulin S.A., Alfimtsev A.N. To the problem on practical application of fuzzy measures and Choquet integral. Vestnik MGTU im. N.E. Baumana. Seriya «Phborostroenie» [Herald of the Bauman Moscow State Technical University. Series Instrument Engineering]. 2012, no. 1, pp. 55-63. (In Russian).
Authorship criteria
Sakulin S.A., Sokolov D.A., Vykhovanets V.S. declare equal participation in obtaining and formalization of scientific results and bear equal responsibility for plagiarism.
Conflict of interests
The authors declare that there is no conflict of interests regarding the publication of this article.
The article was received 25 August 2017
