CC BY
114
Компьютерная реализация нечеткой модели объективного оценивания диссертационной работы
Коляда Михаил Георгиевич доктор педагогических наук, доцент,
заведующий кафедрой информационной защиты и гражданской безопасности, Институт последипломного образования инженерно-педагогических работников Университета менеджмента образования НАПН Украины, ул. Куйбышева, 31а, г. Донецк, Украина, 83101,
+380 99 488 97 61, kolyada [email protected]
Аннотация
Описана компьютационная реализация объективного оценивания
диссертационной работы соискателя научной степени на идеях теории нечетких множеств. Показана технология оценивания на основе
информационной системы нечеткой логики Fuzzy Logic Toolbox.
Realization objective estimation dissertational work of the competitor of scientific degree on ideas of model of indistinct sets is described computational. The technology estimation on the basis of information system of indistinct logic Fuzzy Logic Toolbox is shown.
Ключевые слова
Нечеткие множества, теория нечеткой логики, оценивание диссертационных работ, наукометрия, модуль Fuzzy Logic Toolbox.
Indistinct sets, the theory of indistinct logic, estimation dissertational works, scientometrics, module Fuzzy Logic Toolbox.
Введение
Педагогика - это одна из областей знаний, где человек имеет дело с нечеткими высказываниями, размытыми словесными суждениями, «размытыми»
представлениями о воспитательных и дидактических явлениях. Именно здесь используют такие слова, как «почти», «немного», «приблизительно», «мало-мальски», «вроде» и т.д. Поэтому, для оценивания педагогических процессов, где используют такие выражения, приходится формализовать человеческие
высказывания таким способом, который будет пригоден для компьютерной обработки, т. е. в виде схем, графиков, формул (с помощью математических символов и знаков операций) [1]. Но обрабатывать такие массивы вербальных высказываний очень непросто, необходимо придумать специальный математический аппарат, который мог бы делать выводы именно по человеческим суждениям. Здесь и приходит на помощь теория нечеткой логики и теория нечетких множеств.
В исследованиях украинских ученых рассматривались вопросы образовательного оценивания учебных достижений [2-8]; исследованию наукометрических измерений уделяли внимание российские исследователи [9-12]; решению проблем математической реализации психолого-педагогических закономерностей посвящены научные работы В. П. Беспалько [13], А. М. Дахина [14], И. П. Подласого [15]. Развитие идет по пути интеграции педагогических исследований и открытий в области точных наук. Математика имеет серьезные
426
наработки в плане формализации социально-образовательных закономерностей, которые воплощены в компьютерных системах анализа и принятия решений. Однако проблема реализации модели объективного оценивания диссертационных работ еще недостаточно исследована как в теоретическом, так и в практическом аспектах. Без внимания исследователей остались такие важные вопросы как компьютерная (то есть вычислительная средствами компьютерной техники) реализация нечеткой модели объективного оценивания диссертационной работы.
Вместе с тем, учитывая практическую значимость объективного оценивания диссертационных работ для обеспечения их высокого качества, отсутствие теоретического обоснования и практического внедрения такой системы в высших учебных заведениях, была избрана тема статьи: «Компьютерная реализация нечеткой модели объективного оценивания диссертационной работы».
Для ВАК Украины, специализированных ученых советов высших учебных заведений и научных учреждений эта тема исследования является очень актуальной, и ее раскрытие станет теоретико-практической основой не только для научных работников [16], которые связаны с проблемами образовательных измерений и наукометрии, но и педагогам-практикам, которые занимаются поиском объективных подходов в оценке различных типов итоговых и выпускных работ: рефератов, курсовых, дипломных.
Цель статьи - наглядно показать компьютерный способ реализации теории нечетких множеств и теории нечеткой логики для объективного оценивания диссертационной работы соискателя научной степени.
Среди задач, которые возникают при этом, была выделена лишь одна: реализация педагогического моделирования на основе самой мощной на сегодняшний день информационной системы нечеткой логики - Fuzzy Logic Toolbox (через модуль компьютерной программы матричной лаборатории Mat Lab, релиз R2013a).
Оценивание диссертационной работы с помощью программы нечеткой логики Fuzzy Logic Toolbox
На основе понятий, представленных нечеткими множествами, можно интерпретировать человеческие суждения, которые в дальнейшем можно использовать для процесса моделирования и прогнозирования педагогических процессов.
В педагогике преподавателю или учащемуся (студенту), как правило, легче всего очертить какие-то процессы или явления учебно-воспитательной
действительности на уровне словесных описаний, т. е. - в неформализованном виде [17]. Человеку удобнее использовать качественные нечеткие оценки типа «много», «мало», «довольно высокий», «далеко», «очень близко», «быстро», «очень медленно», «средняя» (например, подготовка), «слишком слабая» и т. д.
Допустим, что X = {«Кембриджский университет», «Стэндфордский университет», «Московский государственный университет», «Киевский национальный университет»} - есть множество престижных университетов мира. Тогда нечеткое множество А = «Отличный университет» может быть определено следующим образом:
А = {(Кембридж/1), (Стэнфорд/0,8), (МГУ/0,3), (КНУ/0,1},
где цифры, стоящие возле названий, выражают степень отражения (приближения) понятия «Отличный университет».
427
Ясно, что функция принадлежности для каждого нечеткого множества определяется, вообще говоря, субъективно. Для нашего примера, вид функции принадлежности нечеткого множества отражает точку зрения оценки независимого справочника «F1 Study, 2010», с которой, возможно, будут согласны не все.
Несмотря на размытость границ нечеткого множества А, оно может быть точно определено сопоставлением каждому элементу х числа, лежащего между 0 и 1, которое представляет его принадлежность к А.
Например, функция принадлежности понятия «внешний конфликт» (речь идет о конфликте вне себя) на языке теории нечетких множеств будет записана таким способом:
Внешний конфликт = {20/0,01 + 20/0,9 + 20/0,5 + 10/0,5 + 10/0,2 + 10/0,1}.
Здесь знак «+» не является обозначением операции сложения, а имеет смысл объединения.
Число 20 означает показатель уровня конфликтности лиц с выраженной экстраверсией, а число 10 - показатель конфликтности лиц с выраженной интроверсией. Любому из этих значений Экстравертов-Интровертов соответствует мера близости, например, с учетом стиля поведения этих индивидов во внешнем конфликте (по классификации американского психолога Р. Томаса). Для сотрудничества эта величина составляет 0,01, для соперничества - 0,9, для компромисса - 0,5, для приспособления - 0,2 и для избегания конфликта - 0,1. Из перечисленных стилей только один - сотрудничество, является активным и эффективным в смысле определения результата конфликтной ситуации. Наиболее конфликтным считается второй активный стиль - соперничество (коэффициент близости - 0,9); избежание и приспособление характеризуются пассивной формой поведения, поэтому им мера близости отводится меньшая (0,1 и 0,2). Компромисс занимает как бы промежуточное положение, соединяя в себе и активную, и пассивную формы реагирования (ему отводится коэффициент 0,5).
Если рассматривать новые суждения относительно базового понятия «конфликт», то в теории расплывчатых множеств их можно представить таким способом:
Инцидент = конфликт2 (конфликт в квадрате);
Вызов = конфликт3 (конфликт в кубе);
Эскалация = конфликт4 (конфликт в четвертой степени).
В теории нечетких множеств функция принадлежности играет ключевую роль, так как это основная характеристика нечеткого объекта, а все действия с нечеткими объектами производятся через операции с их функциями принадлежности. Определение функции принадлежности - это первая и очень важная стадия моделирования, позволяющая затем оперировать с нечеткими объектами.
Не существует строгих правил, которые могли бы быть использованы для выбора соответствующей функции принадлежности, как и не существует методов оценки правильности и корректности функций принадлежности, выдвигаемых различными
428
способами. Методы, используемые для построения функции принадлежности, должны быть достаточно гибкими, чтобы они могли легко перестраиваться для оптимизации действия алгоритмов, использующих эти функции принадлежности. Проблема выбора функции принадлежности важна и потому, что эффективность многих алгоритмов зависит от формы используемой функции принадлежности.
Учитывая то, что резкой границы между элементами, которые входят и не входят в какое-нибудь множество, может и не быть, поэтому мы часто и не можем дать четкий ответ на вопрос о значении функции принадлежности в границах традиционной формальной логики. Профессор Калифорнийского университета Лотфулла Заде (Lotfi A. Zadeh) еще в 1965 году разработал основы теории нечетких множеств; им же и был предложен выход из этой непростой ситуации.
Лингвистическая переменная - это переменная, которая принимает значение из множества слов или словосочетаний некоторого естественного или искусственного языка. Лингвистическую переменную можно определить как переменную, значениями которой являются не числа, а слова или предложения естественного языка, используемого в вербальных человеческих общениях. Например, лингвистическая переменная «обученность» может принимать следующие значения: «очень слабая», «слабая», «выше среднего», «средняя», «ниже среднего», «высокая», «очень высокая» и др. Эти значения, которые отображают степень выраженности переменной, в теории множеств называют термами (терм от англ. term - называть). Ясно, что переменная «обученность» будет обычной переменной, если ее значения - точные числа, лингвистической она становится, когда используется в нечетких рассуждениях человека. Каждому значению лингвистической переменной соответствует определенное нечеткое множество со своей функцией принадлежности. Так, лингвистическому значению «Отличный университет» может соответствовать функция принадлежности какой-то математической зависимости, а термами лингвистической переменной могут быть высказывания такого типа, например: очень отличный университет, отличный университет, отличный университет среднего типа, не совсем отличный университет и т. д.
Для уменьшения субъективизма экспертов, оппонентов, а также членов специализированного ученого совета предлагаем стройную модель нечеткой логики объективного оценивания качества выполненной и публично защищенной диссертационной работы.
Источниками информации о качестве деятельности соискателя научной степени являются: 1) эксперты от специализированного ученого совета, которые рассматривают выполненную диссертационную работу и дают разрешение на ее публичную защиту; 2) оппоненты, которые оценивают представленную диссертацию к защите как конечный продукт; 3) члены специализированного ученого совета, которые принимают окончательное решение о выполненной работе с учетом ее публичной защиты.
Если обозначить итоговую оценку (назовем ее - Результат), показывающую качество диссертации буквой R (она же будет выходной переменной), то в качестве входных переменных будут использованы три основных компонента: X -аргументированные выводы эксперта (дальше - Эксперт), который предварительно оценивает качество представленной в специализированный совет диссертационной работы; Y - обоснованные положения Оппонента, который оценивает качество
429
диссертации как конечного продукта; Z - член спецсовета, который оценивает качество публичной защиты и дает обобщающие заключения относительно выполненного диссертационного исследования (рис. 1).
входная переменная (Эксперт), Y- вторая (Оппонент), Z- третья (Член спецсовета), R -выходная переменная (Результат)
В свою очередь, каждая входная переменная имеет отдельную вложенность. Иными словами, она сама становится выходной переменной (output), и для нее существуют свои входные переменные (input), а именно: для группы X (Эксперт) -пять входных переменных (x1, x2, x3, x4, x5); для группы Y (Оппонент) - десять входных переменных (y1, y2, y3, y4, y5, y6, y7, y8, y9, y10); для группы Z (Член спецсовета) - четыре входные переменные (z1, z2, z3, z4) (рис. 2).
430
Рис. 2. Внутренняя вложенность переменных X, Y и Z, которые стали выходными переменными
Распишем теперь уже внутренние переменные (для нашего случая - они становятся входными) для выходных переменных X, Y и Z. Для этого воспользуемся содержательным материалом, взятым из работы И. В. Вешневой [18].
Выходная переменная X (Эксперт) имеет входные меняющиеся значения (входные переменные). Она оценивает представленную на рассмотрение в специализированный совет диссертационную работу соискателя научной степени по следующим показателями: х1 - добросовестность соискателя; х2 - умение самостоятельно работать с литературой; x3 - достижение цели, сформулированной как темы диссертационного исследования; х4 - умение обобщать и систематизировать результаты разработанной темы и строить заключения; х5 - объем и качество самостоятельно полученных результатов.
Выходная переменная Y. Оппонент оценивает работу по таким показателям: у1 - обоснование актуальности темы исследования; у2 - новизна научной работы; у3 - объем и качество обзора литературы; у4 - соблюдение стандартов (качество оформления работы и графических материалов); у5 - научный язык и стиль изложения; у6 - использование компьютерной техники и современных методик; у7 -возможность практического использования; у8 - степень обоснованности решений; у9 - степень достоверности полученных результатов; y10 - качество полученных результатов.
Выходная переменная Z. Член специализированного ученого совета оценивает
431
диссертационную работу по следующим показателям: z1 - качество доклада; z2 -наличие и качество иллюстративного материала; z3 - степень самостоятельности и качество ответов на вопросы; z4 - обобщенная оценка диссертационной работы.
Было бы правильно, если бы каждому компоненту (Эксперт, Оппонент и Член спецсовета) поставили в соответствие определенный вес (значимость) его интегральной оценки. На наш взгляд, Эксперт должен иметь немного ниже показатель значимости, чем другие компоненты, так как он только дает допуск к рассмотрению выполненной диссертационной работы. Оценивая диссертацию соискателя, в некоторой степени оценивают и степень квалификации ее предварительного рассмотрения, поэтому было бы целесообразно установить вес такой оценки, который равнялся бы 1 (условной единице).
Оппонент - одна из ключевых фигур, которая наиболее полно и всесторонне изучает диссертационную работу, хотя это же может сделать и любой член спецсовета (но у него на это практически не хватает времени). С другой стороны, член спецсовета, кроме оценивания самой работы, может еще убедиться, насколько самостоятельно она выполнена, проверить на защите, насколько умеет соискатель научной степени отстаивать (защищать) положения, которые вынесены им на защиту, насколько он владеет профессиональными и коммуникативными компетенциями и мастерством публичного выступления (умением представить перед общественностью главные идеи научного исследования). Нельзя забывать и о том, что каждый оппонент и член спецсовета несет персональную ответственность перед обществом за объективность оценивания результатов диссертационного исследования.
Исходя из этих соображений, и оппоненты, и члены спецсовета имеют одинаковые «весовые» показатели, которые измеряются в виде ранга равного - 2. Необходимо к сказанному добавить, что председатель специализированного ученого совета имеет преимущество перед другими ее членами, и, как правило, имеет два голоса, поэтому его «вес» измеряют в виде ранга равного - 4.
Было бы логично установить и весовые коэффициенты для внутренних (в данном случае - входных) переменных. Проделаем и эту операцию, соответственно для каждого блока:
для блока X: переменной х4 (умение обобщать и систематизировать) повысим весовой показатель до 2, а х5 (объем и качество самостоятельно полученных результатов) - до 3;
для блока Y: переменной у7 (возможность практического использования), у8 (степень обоснованности решений) и у9 (степень достоверности полученных результатов) повысим вес до 2, а у10 (качество полученных результатов) - до 3;
для блока Z: переменной z3 (степень самостоятельности и качество ответов на вопросы) и z4 (обобщенная оценка диссертационной работы) - повысим вес до 3.
Всем остальным переменным по умолчанию устанавливается весовой коэффициент, равный 1.
Для каждой переменной без исключения было бы разумно ввести единую 7-ми уровневую шкалу степени выраженности этих показателей (с учетом их оттенков или градаций). Этим показателям-термам нужно было бы поставить в соответствие оценки по шкале в международной (ECTS) и национальной системе оценивания, так как это показано ниже:
очень высокий - PB (positive big) высокий - PM (positive medium) выше среднего - PS (positive small) средний - ZE (zero) ниже среднего - NS (negative small) низкий - NM (negative medium) правом пересдачи);
очень низкий - NB (negative big)
А (отлично);
В (очень хорошо);
С (хорошо);
D (удовлетворительно);
Е (достаточно);
FX (неудовлетворительно, с
F (неудовлетворительно, без права
432
пересдачи).
Но, в связи с тем, что при таком подходе резко увеличивается количество правил вывода (особенно для перебора всех вариантов второго блока Y Оппонент: 10 входных переменных по 7 термов), мы несколько упростим задачу. Для этого используем 3-х уровневую семибальную систему термов:
высокий - PB отлично (6 - 7 баллов);
средний - ZE хорошо (4 - 5 баллов);
низкий - NM удовлетворительно (2 - 3 балла);
очень низкий неудовлетворительно (1 балл).
(для оценивания диссертации не рассматривается)
От этой системы легко перейти к международной общепринятой системе оценивания (ECTS):
очень высокий - PB А (отлично) высокий (отлично 6 - 7 баллов);
высокий - PM В (очень хорошо) средний (хорошо - 5 баллов);
выше среднего - PS С (хорошо) средний (хорошо - 4 балла);
средний - ZE D (удовлетворительно) низкий (удов. - 3 балла);
ниже среднего - NS Е (достаточно) низкий (удов - 2 балла);
низкий - NM FX (неудов.) очень низкий (неудов. - 1 балл);
очень низкий - NB F (неудов.) очень низкий (неудов. - 0 баллов).
Прежде чем приступить к составлению базы правил для нечеткого логического моделирования, расшифруем каждую переменную (показатель качества) в соответствии с каждым из предложенных уровней их значимости (по каждому терму) [18]. Эти описания термов, по сути, являются своеобразными рекомендациями для экспертов соответствующих категорий. Они дают возможность словесно более точно оценить уровень каждого показателя, тем самым в целом повысить объективность оценивания качества выполненной диссертационной работы. Начнем с описания термов для лингвистических переменных первого блока X (Эксперт) (табл. 1).
Таблица 1
Рекомендации эксперту для оценивания показателей в соответствии с уровнем __________________________их выраженности__________________________
Уровни оценки показателей (термы)
Показатель Низкий Ниже среднего Средний Выше среднего Высокий
х1 Добросовест ность соискателя Нуждается в жестком контроле Не полностью понимает и выполняет задания Своевременн о выполняет задания Предупрежда ет получаемые задания Квалифициров анно выполняет работу
х2 Умение самостоятел ьно работать с литературой Недостаточн ый анализ заданной литературы Работает с заданной отечественной литературой Работает с заданной отечественно й и зарубежной литературой Активно находит и изучает отечественну ю литературу Активно находит и изучает отечественную и зарубежную литературу
433
х3 Достижение цели, сформулиров анной в качестве темы диссертацио нной работы Не полностью раскрыты задачи и цели диссертацион ной работы В основном цель достигнута Цель достигнута Цель достигнута, логически открывает следующий круг задач Цель достигнута, раскрыты логически вытекающие задачи
Умение Нуждается в Частично Проводит Проводит Четко и
обобщать и пояснениях и проводит обобщение обобщение грамотно
систематизи активной обобщение, полученных полученных структурирует
ровать помощи нуждается в результатов с результатов и результаты,
х4 результаты руководителя помощи корректировк систематизац логически
выполненной при руководителя ой ию с раскрывая
работы и проведении руководителя корректировк системность
делать систематизац ой исследования
выводы ии руководителя
Объем и Использует Использует Использует Использует Результаты
качество чужие результаты свои свои получены
х5 самостоятел результаты руководителя и результаты, результаты и полностью
ьно группы руководителя группы самостоятельн
полученных и группы о
результатов
Описание термов для лингвистических переменных второго блока Y (Оппонент) представлено в табл. 2.
Таблица 2
Рекомендации оппоненту для оценки показателей в соответствии с уровнем их
выраженности
Показатель Уровни оценки показателей (термы)
Низкий Ниже среднего Средний Выше среднего Высокий
yi Обоснование актуальности темы научного исследования Тематика устарела, результаты исследования получены ранее Результаты исследования получены ранее, актуальность не раскрыта Работа актуальна, однако ее актуальность не вполне обоснована Работа актуальна и ее актуальность обоснована Работа соответствует передовым научным исследованиям и ее актуальность четко обоснована
У2 Научная новизна Отсутствует Дублирует уровень мало перспективных образцов Дублирует уровень средних образцов Перспективные образцы Оригинальные идеи
У3 Объем и качество обзора литературы Недостаточный анализ Отечественная литература Современная отечественна я литература Отечественная т зарубежная литература Новая отечественная и зарубежная литература
у4 Соблюдение стандартов (качество оформления работы и графических материалов) Установленные требования не выполнены Установленные требования выполнены, иллюстрации не раскрывают смысл проекта Не полностью раскрывают смысл, есть погрешность в оформлении Установленные требования выполнены с мелкими ошибками Полностью соответствует установленным стандартам
434
У5 Научный язык и стиль изложения Много стилистических и грамматических ошибок Есть отдельные стилистические и грамматические ошибки Есть отдельные грамматические ошибки Текст читается легко, есть отдельные ошибки Текст читается легко, ошибки отсутствуют
у6 Использование компьютерной техники и современных методик Использование компьютерной техники отсутствует или носит второстепенный характер, устаревшие методики Использование компьютерной техники, устаревшие методики Современные пакеты программ в основной части, известные методики Современные пакеты программ в основной части, современные методики Оригинальные программнотехнические средства и методики в основной части работы
У7 Возможность практи ческого использования Нет конкретных практических рекоменда- ций Возможно приведение рекомендаций Результаты имеют рекомендаци онный характер Результаты имеют рекомендационный характер, частично возможно использование Возможно непосредствен- ное использование
У8 Степень обоснованности решений Вариантные расчеты отсутствуют Есть результаты только одного варианта Обоснован выбор оптимального варианта Обоснован и доказан выбор оптимального варианта Обоснован выбор оптимального варианта и практически применен
У9 Степень достоверности полученных результатов Результаты не подтверждаются Результаты частично не подтверждаются Результаты обсуждаются на уровне построения аналогий Результаты подтверждаются подобными исследованиями Результаты подтверждены экспериментально и на практике
y10 Качество полученных результатов Результаты сомнительны Ординарные результаты Неординарные результаты
Описание термов для лингвистических переменных третьего блока Z (Члены спецсовета) представлено в табл. 3.
Таблица 3
Рекомендации членам спецсовета для оценки показателей в соответствии с
уровнем их выраженности
Показатель Уровни оценки показателей (термы)
Низкий Ниже среднего Средний Выше среднего Высокий
z1 Качество доклада Не соблюден регламент, недостаточно раскрыта тема проекта Не раскрывает тему проекта Есть ошибки в регламенте и использовании иллюстраций Соблюдение времени, раскрытие актуальности, новизны, метода с использованием иллюстраций Свободное владение представленным материалом и вниманием аудитории
435
z2 Наличие и качество иллюстративного материала Наглядный материал отсутствует Не отвечают докладу, выполнены на низком уровне Не полностью отвечают содержанию доклада, есть ошибки в оформлении и отклонение от стандартов Есть незначительные погрешности в оформлении Полностью отвечают содержанию доклада, дополняют его, отвечают требованиям стандартов
z3 Степень самостоятельности и качество ответов на вопросы Не может ответить на дополнительные вопросы В основном Знание основного материала Высокая эрудиция, нет существенных ошибок Ответы точные, высокий уровень эрудиции
z4 Обобщенная оценка диссертационной работы Низкий Ниже среднего Средний Выше среднего Высокий
Приступим к созданию базы правил. Начнем эту процедуру в обратной последовательности, т. е. с переменных внутренней вложенности. Для первого блока правил X (Эксперт) переберем все возможные варианты (их количество насчитывает 85 шт.).
Приведем несколько примеров:
Правило 28:
ЕСЛИ Добросовестность соискателя - Средняя, И Умение самостоятельно работать с литературой - Высокое, И Достижение цели, сформулированной в качестве темы диссертации - Низкое, И Умение обобщить и систематизировать результаты проделанной работы и сделать выводы - Высокое, И Объем и качество самостоятельно полученных результатов - Высокие, ТО Результат X - Высокий.
Правило 70:
ЕСЛИ Добросовестность соискателя - Низкая, И Умение самостоятельно работать с литературой - Среднее, И Достижение цели, сформулированной в качестве темы диссертации и делать выводы - Высокое, И Умение обобщить и систематизировать результаты проделанной работы и сделать выводы - Среднее, И Объем и качество самостоятельно полученных результатов - Средние, ТО Результат X - Средний.
Правило 114:
ЕСЛИ Добросовестность соискателя - Высокая, И Умение самостоятельно работать с литературой - Низкое, И Достижение цели, сформулированной в качестве темы диссертации - Низкое, И Умение обобщить и систематизировать результаты проделанной работы и сделать выводы - Средние, И Объем и качество самостоятельно полученных результатов - Низкие, ТО Результат X - Низкий.
Эти же правила, записанные в виде условных обозначений:
Правило 28:
IF x1=ZE AND x2=PB AND x3=NM AND x4=PB AND x5=PB TO X=PB
Правило 70:
IF x1=NM AND x2=ZE AND x3=PB AND x4=ZE AND x5=ZE TO X=ZE
Правило 114:
IF x1=PB AND x2=NM AND x3=NM AND x4=ZE AND x5=NM TO X=NM.
То же проделаем для второго блока правил Y (Оппонент). Их количество составляет уже 604 вариантов.
Примеры для второго блока Y:
Правило 156:
ЕСЛИ Обоснование актуальности темы исследования - Высокое, И Научная новизна работы - Высокая, И Объем и качество обзора литературы - Высокие, И
436
Соблюдение стандартов (качество оформления работы и графических материалов)
- Низкое, И Научный язык и стиль изложения - Высокие, И Использование компьютерной техники и современных методик - Высокое, И Возможность практического использования - Средняя, И Степень обоснованности решений -Высокая, И Степень достоверности полученных результатов - Высокая, И Качество полученных результатов - Высокое, ТО Результат Y - Высокий.
Правило 371:
ЕСЛИ Обоснование актуальности темы исследования - Среднее, И Научная новизна работы - Средняя, И Объем и качество обзора литературы - Средние, И Соблюдение стандартов (качество оформления работы и графических материалов)
- Среднее, И Научный язык и стиль изложения - Низкие, И Использование компьютерной техники и современных методик - Среднее, И Возможность практического использования - Средняя, И Степень обоснованности решений -Высокая, И Степень достоверности полученных результатов - Высокая, И Качество полученных результатов - Среднее, ТО Результат Y - Средний.
Правило 591:
ЕСЛИ Обоснование актуальности темы исследования - Низкое, И Научная новизна работы - Низкая, И Объем и качество обзора литературы - Низкие, И Соблюдение стандартов (качество оформления работы и графических материалов)
- Высокое, И Научный язык и стиль изложения - Низкие, И Использование компьютерной техники и современных методик - Низкие, И Возможность практического использования - Низкая, И Степень обоснованности решений -Низкая, И Степень достоверности полученных результатов - Низкая, И Качество полученных результатов - Среднее, ТО Результат Y - Низкий.
Эти же правила, представленные в виде условных обозначений:
Правило 156:
IF y1=PB AND y2=PB AND y3=PB AND y4=NM AND y5=PB AND y6=PB AND y7=ZE AND y8=PB AND y9=PB AND y10=PB TO Y=PB
Правило 371:
IF y1=ZE AND y2= ZE AND y3= ZE AND y4= ZE AND y5=NM AND y6= ZE AND y7= ZE AND y8= ZE AND y9=PB AND y10= ZE TO Y= ZE
Правило 591:
IF y1=NM AND y2= NM AND y3=NM AND y4=PB AND y5= NM AND y6= NM AND y7= NM AND y8= NM AND y9= NM AND y10=ZE TO Y= NM
И, наконец, для блока правил Z (Члены спецсовета, их количество равняется 81 шт.):
Правило 16:
ЕСЛИ Качество доклада - Среднее, И Наличие и качество иллюстративного материала - Высокое, И Степень самостоятельности и качество ответов на вопросы - Средняя, И Общая оценка диссертационной работы - Высокая, ТО Результат Z - Высокий.
Правило 53:
ЕСЛИ Качество доклада - Высокое, И Наличие и качество иллюстративного материала - Среднее, И Степень самостоятельности и качество ответов на вопросы - Среднее, И Общая оценка диссертационной работы - Низкая, ТО Результат Z - Средний.
Правило 67:
ЕСЛИ Качество доклада - Высокое, И Наличие и качество иллюстративного материала - Высокое, И Степень самостоятельности и качество ответов на вопросы - Низкая, И Общая оценка диссертационной работы - Низкая, ТО Результат Z - Низкий.
Эти же правила, записанные в виде условных обозначений:
Правило 16:
437
IF z1=ZE AND z2=PB AND z3=ZE AND z4=PB TO Z=PB
Правило 53:
IF z1=PB AND z2=ZE AND z3=ZE AND z4=NM TO Z=ZE
Правило 67:
IF z1=PB AND z2=PB AND z3=NM AND x4=NM TO Z=NM.
Создадим три файла (Zminna_X.fis, Zminna_Y.fis, Zminna_Z.fis), предварительно введя для каждого блока необходимое количество входных переменных, их имена, интервалы их действия (области определения), соответствующие термы. Запустив механизм редактора правил (Edit Rules) в соответствии с полным перебором, введем
записи этих правил в базу знаний (рис. 3).
Рис. 3. Окно ввода правил для переменной X
Теперь посмотрим окно визуализации нечеткой логики для каждого набора перечисленных правил, и соответственно, для каждой входной переменной (рис. 4).
438
Рис. 4. Графический интерфейс системы работы правил для переменной X
Этим и заканчивается создание общей системы нечеткой модели оценивания выполненного диссертационного исследования. С ее помощью можно достаточно объективно оценивать качество выполненной диссертационной работы (экспертом и оппонентом) и оценивать публичное ее представление при защите (членом спецсовета).
Покажем, как работает предложенная модель на практике.
Пусть эксперт диссертационного исследования представил следующий набор оценивающих данных (табл. 4).
Таблица 4
Пример оценивания Экспертом уровня выполненной диссертационной работы
(блок X )
Показатель Название терма Расшифровка показателя
х1 Добросовестность со-искателя Низкий (NM - 3 баллов) Нуждается в жестком контроле
х2 Умение самостоятельно работать с литературой Средний (ZE - 5 баллов) Работает с заданной отечественной и зарубежной литературой
х3 Достижение цели, сформулированной как темы научного исследования Высокий (PB - 7 баллов) Цель достигнута, раскрыты логически вытекающие задачи
х4 Умение обобщать и систематизировать результаты проделанной работы, сделать выводы Средний (ZE - 5 баллов) Проводит обобщение полученных результатов с корректировкой эксперта
х5 Объем и качество самостоятельно полученных результатов Высокий (PB - 7 баллов) Результаты получены полностью самостоятельно
В первом блоке программы Эксперт (X) в файле Zminna_X.fis откроем программу просмотра правил системы нечеткой логики (View ^ Rules) и установим соответствующие баллы для термов (в окне Input): 3; 5; 7; 5; 7. Нажмем клавишу
439
Enter и увидим общую оценку для переменной X (рис. 5). Эксперт оценивает работу соискателя в 4,41 балла (по 7-ми балльной шкале).
Рис. 5. Общая оценка работы соискателя, выданная Экспертом
Оппонент представил свое видение качества выполненной диссертационной работы (табл. 5).
Таблица 5
Пример оценивания Оппонентом уровня выполненной диссертационной работы ________________________________(блок Y)________________________________
Показатель Название терма Расшифровка показателя
yi Обоснование актуальности научного исследования Средний (ZE - 5 баллов) Работа актуальна, однако ее актуальность не вполне обоснована
У2 Научная новизна работы Низкий (NM - 3 баллов) Отсутствует
У3 Объем и качество обзора литературы Средний (ZE - 5 баллов) Современная отечественная литература
У4 Соблюдение стандартов (качество оформления работы и графических материалов) Высокий (PB - 7 баллов) Полностью соответствует установленным стандартам
У5 Научный язык и стиль изложения Высокий (PB - 7 баллов) Текст читается легко, ошибки отсутствуют
У6 Использование компьютерной техники и современных методик Низкий (NM - 3 баллов) Использование компьютерной техники отсутствует или носит второстепенный характер, устаревшие методики
440
J7 Возможность практического использования Низкий (NM - 3 баллов) Нет конкретных практических рекомендаций
У8 Степень обоснованности решений Средний (ZE - 5 баллов) Обоснован выбор оптимального варианта
У9 Степень достоверности полученных результатов Низкий (NM - 3 баллов) Результаты не подтверждаются
y10 Качество полученных результатов Средний (ZE - 5 баллов) Ординарные результаты
Соответственно, во втором блоке программы Оппонент (Y) в файле Zminna_Y.fis откроем такую же программу просмотра правил системы нечеткой логики и установим соответствующие баллы для термов переменной Y: 5; 3; 5; 7; 7; 3; 3; 5; 3; 5. Нажмем клавишу Enter и увидим общую оценку для переменной Y (рис. 6). Оппонент оценивает диссертационную работу соискателя в 4,00 балла.
Рис. 6. Общая оценка работы соискателя, выданная Оппонентом
Рядовой член спецсовета тоже оценил публичное выступление (защиту) диссертационной работы и дал обобщенную оценку качества самой работы (табл. 6).
Таблица 6
Пример оценивания уровня выполненной диссертационной работы рядовым
Членом спецсовета (блок Z)
Показатель Название терма Расшифровка показателя
z1 Качество доклада Средний (ZE - 5 баллов) Есть ошибки в регламенте и использовании иллюстраций
z2 Наличие и качество иллюстративного материала Высокий (PB - 7 баллов) Полностью отвечают содержанию доклада, дополняют его, отвечают требованиям стандартов
z3 Степень самостоятельности и качество ответов на вопросы Низкий (NM - 3 баллов) Не может ответить на дополнительные вопросы
441
Низкий
z4
Обобщенная оценка диссертационной работы
(NM - 3 баллов)
Низкий
Подобным образом в третьем блоке программы Член спецсовета (Z) в файле Zminna_Z.fis снова откроем программу просмотра правил системы нечеткой логики и установим соответствующие баллы для термов переменной Z: 5; 7; 3; 3. После нажатия клавиши Enter в последней колонке результатов увидим общую оценку для переменной Z (рис. 7). Рядовой член спецсовета оценивает работу соискателя в 3,83 балла.
Рис. 7. Общая оценка работы соискателя, выданная Членом спецсовета
Анализируя полученный материал из трех представленных источников, можно достаточно объективно оценить работу соискателя научной степени. Для этого необходимо объединить эти данные вместе.
Снова создадим систему нечеткой логики, но уже по схеме рис. 1 (файл Yakist.fis). В качестве входных переменных будут фигурировать уже проработанные нами значения X, Y и Z. База правил содержит 57 вариантов перебора.
Приведем несколько примеров:
Правило 5:
ЕСЛИ Эксперт - Низкая, И Оппонент - Высокая, И Член спецсовета -Высокая, ТО Результат R - Высокий.
Правило 36:
ЕСЛИ Эксперт - Средняя, И Оппонент - Низкая, И Член спецсовета -Высокая, ТО Результат R - Средний.
Правило 44:
ЕСЛИ Эксперт - Низкая, И Оппонент - Высокая, И Член спецсовета -Низкая, ТО Результат R - Низкий.
Эти же правила, записанные в виде условных обозначений:
Правило 5:
IF X=NM AND Y=PB AND Z=PB TO R=PB
Правило 36:
IF X=ZE AND Y=NM AND Z=PB TO R=ZE
442
Правило 44:
IF X=NM AND Y=PB AND Z=NM TO R=NM.
В окне программы просмотра правил системы нечеткой логики (View — Rules) в поле Input введем полученные значения переменных X, Y и Z: 4.41; 4.00; 3.83 (рис. 8). Программа нечеткой логики даст окончательный объективный ответ: выставить соискателю научной степени 3.99 и 4 балла (по 7-ми бальной шкале), что в пересчете по международной (ЕСК) и национальной системе оценивания будет звучать так: оценка С (хорошо) или выше среднего (PS - positive small).
Рис. 8. Окно просмотра правил системы нечеткой логики с окончательной оценкой диссертационной работы
Будет интересна и визуализация поверхности нечеткого вывода для системы оценивания диссертационной работы соискателя. Для этого вызовем соответствующее окно (рис. 9).
Рис. 9. Окно визуализации поверхности параметров нечеткой логики
Проведем небольшой эксперимент. Возьмем крайние значения параметров входных переменных, сначала минимальные (1; 1; 1), а затем максимальные (7; 7; 7).
443
Система нечеткого логического вывода дает вполне разумные ответы. При крайне плохой оценке всеми тремя участниками этого процесса программа Fuzzy Logic Toolbox оценивает диссертационную работу в 1.98 и 2 балла, что в переводе означает ниже среднего (negative small) (рис. 10), а в системе оценивания (ECTS) -Е (достаточно); при завышенной положительной оценке всех участников программа дает ответ - 6.02 и 6 баллов, то есть оценка очень высокая (positive big) - А (отлично). Это говорит о том, что, как и в реальной жизни, система отдает предпочтение в пользу соискателя научной степени. На наш взгляд, это достаточно объективный подход неодушевленной компьютерной системы.
Рис. 10. Оценка системы нечеткой логики при крайне отрицательных
показателях
Напомним, что общий результат получен лишь по отношению к одному члену спецсовета. Подобные расчеты необходимо выполнить для каждого участника этого процесса, при этом необходимо учесть их весовые показатели: Эксперт - 1, Оппонент -2, Рядовой член спецсовета - 2 и Председатель спецсовета - 4. Чаще всего специализированный ученый совет назначает трех экспертов, два оппонента (для кандидатской) или три (для докторской диссертации) и 15-25 членов спецсовета. Обработав все их обобщения, можно действительно получить объективную оценку выполненной и публично защищенной диссертационной работы.
Анализ и оценка разработки
Создав такую систему оценивания, специализированный ученый совет и высшая аттестационная комиссия (ВАК) получат автоматизированный и, что очень важно, объективный банк данных, который будет содержать информацию о личностных и профессиональных особенностях соискателей научной степени, а также, используя его, эффективно корректировать и прогнозировать качество подготовки диссертаций. Информация этой базы может быть использована и для написания объективной характеристики на соискателя научной степени, а также может быть применена для обобщающего анализа эффективности и качества диссертационных
444
исследований по разным категориям лиц, участвующих в их оценке.
Заключение
Завершая описание компьютерного оценивания диссертационных работ соискателей научной степени, на основании полученных результатов делаем вывод, что на основе теории нечеткой логики и нечетких множеств можно достаточно объективно выполнять этот процесс. Оценивание является одним из условий повышения эффективности научно-исследовательских работ, роста уровня научных достижений специалистов высшей квалификации и совершенствования количественных методов изучения развития науки как информационного процесса, а это, в свою очередь, является составной частью новой ветви человеческих знаний -наукометрии. Модель, основанная на компьютерной системе нечеткой логики, позволяет человеческие достижения, оформленные в виде диссертаций, как наиболее интеллектуально емких и сложных работ человеческой деятельности, оценивать с помощью количественных характеристик научной информации. Это дает возможность избежать субъективизма в оценке продуктивности и качества научной мысли.
Интеграция образовательных и информационных технологий является велением времени и сейчас невозможно провести четкую грань, с одной стороны, между достижениями в сфере непрерывного образования и, с другой - успехами в области математики и компьютерных технологий в принятии эффективных педагогических решений.
Литература
1. Манако А. Ф. Подход к построению формализованного описания информационных систем для образования и обучения // Международный электронный журнал «Образовательные технологии и общество (Educational Technology & Society)» - 2013. - V. 16. - № 1. - C. 536-547. - ISSN 14364522. URL: http://ifets.ieee.org/russian/periodical/journal.html.
2. Авраменко О. В. Статистичш методи в освгтшх вимiрюваннях / О. В. Авраменко, Г. Ю. Павличенко, С. Д. Паращук. Частина I. Класична теорiя тестування : Навч.-метод. поаб. - Кгровоград : Лисенко В. Ф., 2012. -120 с.
3. Андронатш П.1. Комп’ютерш технологи в освгтшх вишрюваннях : Навч.-метод. поаб. / П. I. Андронатш, В. В. Котяк. - Юровоград : Лисенко В. Ф., 2011. - 144 с.
4. Дьяконов Г. В. 1нтерсуб’ектш методи ощнювання психологи особистосп : Навч. поаб. для вищо! шк. - Юровоград : Лисенко В. Ф., 2012. - 36 с. оаб. / Т. М. К
5. Кашвець Т. М. Основи педагопчного ощнювання: Навч.-метод. п ашвець. -Н1жин : Вид авець ПП Лисенко М. М., 2012. - 102 с.
6. Зовтшне незалежне ощнювання в освт Украши. Курс лекцш : Навч. поаб. / Упорядники. : Кашина Ганна Сергивна, Серпенко Володимир Петрович. -Луцьк, 2010. - 115 с.
7. Ковальчук Ю. О. Теорiя освишх вимiрювань. - Шжин : Видавець ПП Лисенко М. М., 2012. - 200 с.
8. Лутченко Л.1. Основи педагопчного ощнювання : Навч.-метод. поаб. / Л. I. Лутченко, Н. О. Паачник. - Юровоград : Лисенко В. Ф, 2012. - 72 с.
9. Гохберг Л. М. Системных развернутых исследований по наукометрии в России не ведется / Леонид Маркович Гохберг, д.э.н., проректор ГУ ВШЭ, директор Института статистических исследований и экономики знаний //
445
Электронное издание «Наука и технологии России». - 2013. - C. 1024. URL: http://www.informetrics.ru/pedia.
10. 10. Грановский Ю. В. Можно ли измерять науку? // Электронный журнал «Informetrics.ru». - 2013. - C. 2706. URL: http://www.informetrics.ru/index.php.
11. 11. Куракова Н. Г. Наукометрия в оценке диссоветов / Куракова Наталия
Глебовна, д.б.н., директор Центра научно-технологической экспертизы РАНХиГС при Президенте РФ // Электронное издание «Наука и технологии России». - 2013. URL :
http://www.strf.m/material.aspx?CatalogId=222&d_no=54402.
12. Трущелёв С. А. Методические подходы к анализу результатов научноисследовательской деятельности / С. А. Трущелёв, Р. Г. Оганов // Рациональная фармакотерапия в кардиологии. - 2010. - Т. 6, № 5. - С. 623630.
13. Беспалько В. П. Слагаемые педагогической технологии / В. П. Беспалько. -М.: Педагогика, 1989. - 192с.
14. Дахин А. Н. Педагогика для математиков: учебное пособие для студентов НГПУ. / Дахин Александр Николаевич. - Новосибирск, 2006. - 147с.
15. Шдласий I. П. Дiагностика та експертиза педагопчних проекпв. - К.: «Украша», 1998. - 343 с.
16. Задорожная Н.М. Информационная система менеджмента научных исследований в НАПН Украины / Наталия Тимофеевна Задорожная, Алексей Александрович Каплун. // Международный электронный журнал «Образовательные технологии и общество (Educational Technology & Society)» - 2013. - V. 16. - № 1. - C. 679-698. - ISSN 1436-4522. URL : http://ifets.ieee.org/russian/periodical/journal.html.
17. Морзе Н. В. Создание информационного образовательного пространства региона как катализатор формирования ИК-компетенций учителей / Наталия Викторовна Морзе, Галина Александровна Проценко // Международный электронный журнал «Образовательные технологии и общество (Educational Technology & Society)» - 2013. - V. 16. - № 1. - C. 787-799. - ISSN 14364522. URL : http://ifets.ieee.org/russian/periodical/journal.html.
18. Вешнева И. В. Математические модели в системе управления качеством высшего образования с использованием методов нечеткой логики: Монография. - Саратов: Изд-во «Саратовский источник», 2010. - 187 с.
446
