CC BY
28
УДК 004.89
DOI 10.25205/1818-7900-2018-16-2-113-121
Г. Э. Яхъяева, А. Р. Абсайдульева
Новосибирский государственный университет ул. Пирогова, 1, Новосибирск, 630090, Россия
[email protected], [email protected]
СЕМАНТИЧЕСКИЙ ПОДХОД К МОДЕЛИРОВАНИЮ ФОНДА ОЦЕНОЧНЫХ СРЕДСТВ
Фонд оценочных средств является составной частью нормативно-методического обеспечения системы оценки качества освоения студентом учебного материала. Онтологический подход к моделированию фонда оценочных средств позволяет формировать актуальные оценочные документы, которые учитывают не только всевозможные пожелания экзаменатора, но и степень усвоения различных компетенций и степень овладения различными профессиональными функциями.
В статье приведено описание онтологии, семантической и нечеткой моделей фонда оценочных средств. Описан алгоритм порождения шаблона оценочного документа, состоящий из трех этапов: сужение, ограничение и определение. На каждом этапе генерируется соответствующая нечеткая модель, в рамках которой проверяется непротиворечивость заданного шаблона и выполнимость данного шаблона на имеющейся базе оценочных средств. Для формирования комплекта оценочных документов используется алгоритм СЬОРЕ, позволяющий кластеризовать категорийные данные.
Ключевые слова: оценочный документ, комплект оценочных документов, фонд оценочных документов, онтология, семантическая модель, нечеткая модель.
Введение
Каждое учебное заведение планирует, какими способами и средствами будут оцениваться результаты обучения и как будут достигнуты цели образовательной программы. Высшее учебное заведение обязано обеспечить разработку объективных процедур оценки уровня знаний и умений обучающихся.
Первым этапом формирования фонда оценочных документов (далее ФОС) факультета является разработка ФОС по отдельным дисциплинам [1]. ФОС по дисциплине представляет собой совокупность контролирующих материалов, предназначенных для измерения уровня достижения студентом установленных результатов обучения данной учебной дисциплины. К таким материалам традиционно относятся экзаменационные билеты, варианты контрольных работ, тесты и т. п.
Особенностью образовательных стандартов нового поколения является применение ком-петентностного подхода при формировании учебного процесса. Понятие «компетенция» сложное и интегрированное, оно характеризует способность обучающегося применить все приобретенные навыки, умения и знания для решения задач в профессиональной и социальной областях [2]. В связи с этим возникает необходимость формировать оценочные документы, позволяющие оценивать уровень освоения обучаемым различных компетенций. К таким материалам можно отнести рефераты, эссе, курсовые работы и т. п. Эти оценочные средства могут разрабатываться в рамках отдельных дисциплин и быть междисциплинарными.
Яхъяева Г. Э., Абсайдульева А. Р. Семантический подход к моделированию фонда оценочных средств // Вестн. НГУ. Серия: Информационные технологии. 2018. Т. 16, № 2. С. 113-121.
ISSN 1818-7900. Вестник НГУ. Серия: Информационные технологии. 2018. Том 16, № 2 © Г. Э. Яхъяева, А. Р. Абсайдульева, 2018
При планировании учебного процесса, необходимо учесть актуальные потребности рынка студентов с целью подготовки выпускника, способного успешно работать в профессиональной сфере. Исходя из этого в некоторых учебных заведениях темы выпускных квалификационных работ и дипломных проектов согласовываются с работодателями [3], а некоторые университеты заключают соглашения с различными компаниями для поддержания обратной связи [4].
Таким образом, возникает необходимость в формировании оценочных документов, отвечающих требованиям различных профессиональных стандартов, а также требованиям потенциальных работодателей (см, например, [5]). Такой оценочный документ может формироваться из оценочных материалов отдельных модулей учебной дисциплины или нескольких дисциплин.
В связи с постоянным развитием науки и техники структура и содержание учебных дисциплин, а также требования работодателей постоянно меняются. Следовательно, существует потребность в создании программной системы, работающей с постоянно пополняемой базой оценочных материалов. Данная программная система должна обладать возможностью автоматизированного порождения актуальных документов оценки, которые будут отвечать различным запросам экзаменаторов. Семантический подход к моделированию ФОС позволяет успешно справляться с этой задачей.
Семантический подход используется в различных сферах и системах обучения, например для моделирования и управления учебной программой [6]. Моделирование облегчает доступ к учебной программе и позволяет ее составителям просматривать общий учебный план и обеспечивать соответствие основным целям учебного учреждения. Учебная программа представляет собой структуру, где учебные единицы связаны с результатами и задачами обучения. Кроме того, семантическое моделирование учебной программы облегчает периодическую оценку и анализ соответствия стандартам и потребностям рынка, его можно использовать для обзора, оценки и улучшения программы путем определения ее основных элементов, связывания учебных единиц с задачами и результатами, а также между собой (для определения последовательностей и предпосылок).
Онтологии предметных областей (история, география, программирование и др.) и онтологии различных элементов обучения (урок, способы оценивания, упражнения) [7] позволяют более полно описать сферы учебной деятельности и извлечь необходимую информацию. Описание данных учащихся полезно для оценивания и персонализации. Персонализация в соответствии с профилем учащегося может включать в себя упорядочивание учебного материала и отслеживание его эффективности (данные об оценках и пройденный материал) [8].
Семантическое моделирование также активно используется в оценивании качества освоения учебного материала учащимся. Система [9] представляет собой концептуальную карту, основанную на оценках, полученных студентами в процессе обучения. Эта карта используется в качестве инструмента для определения знаний студентов по пройденным темам. Он-лайн-система оценивания OeLe [10] основана на онтологии, которая автоматически маркирует текстовые ответы учащихся на вопросы концептуального характера. Это делается путем сопоставления ответа ученика в форме карты понятий и онтологии предметной области. Помимо оценивания работы студентов, система OeLe также предоставляет информацию об эффективности освоения знаний учащимся, а также содержит отзывы преподавателей о студентах.
Онтология и семантическая модель
Формализация предметной области А = «Фонд оценочных средств факультета» производилась на языке логики описаний [11] с применением методов семантического моделирования [12] и теории нечетких моделей [13; 14]. Центральным понятием в данной предметной области является понятие «задание». Под Заданием мы понимаем минимальную составляющую единицу оценочного документа. Все задания делятся на Теоретические Задания и Практические Задания. Теоретические задания направлены на оценивание знаний студента. Практические задания направлены на оценивание умений и навыков студента.
По своей конструкции Задание делится на следующие виды: Вопрос, Задача, Тестовое Задание, Списочное Задание и Шаблонное Задание. Вопрос формализуется в виде предложения (или нескольких предложений) естественного языка, которые хранятся в системе в виде строковой величины и являются единым неделимым объектом. Задача хранится в системе в виде двух строковых величин: текст вопроса и текст решения / ответа. Текст решения / ответа не доступен студентам и может быть использован только экзаменатором. Тестовое задание может содержать от 3 до 10 строковых величин: вопрос, правильный ответ, неправильные ответы. Списочное Задание по своей структуре похоже на Вопрос, однако, в отличие от него, здесь оценка сложности (см. ниже) не является обязательной. Пример Списочного Задания: тема реферата, тема эссе и т. п. Шаблонное Задание подразумевает набор инструкций, следуя которым нужно выполнить задание (например, отчет о производственной практике).
Задания также можно разделить по уровню сложности. На сегодняшний день в системе реализовано три уровня сложности: Легкое Задание, Задание Средней Сложности, Сложное Задание. В дальнейшем возможна настройка системы на более мелкую градацию сложности заданий.
Задание должно быть привязано к учебному плану факультета: к отдельному модулю учебного плана, модулю дисциплин, отдельной дисциплине или к отдельной теме дисциплины. Также задание может быть привязано к профессиональному стандарту или к отдельным его профессиональным функциям. Эта привязка не является обязательной (например, если задание относится к общеобразовательной дисциплине). Задание должно быть привязано к некоторой компетенции или группе компетенций. Эту привязку можно производить либо непосредственно, либо автоматически через привязку к учебному плану.
Таким образом, строится множество CONa атомарных понятий предметной области А, которое делится на следующие шесть классов:
• Р1 = {Теоретическое, Практическое};
• Р2 = {Вопрос, Задача, Тестовое, Списочное, Шаблонное};
• Р3 = {Легкое, Среднее, Сложное};
• Р4 - множество понятий, отражающих взаимосвязь с учебным планом;
• Р5 - множество понятий, отражающих взаимосвязь с множеством компетенций;
• Р6 - множество понятий, отражающих взаимосвязь с трудовыми стандартами.
Каждое атомарное понятие мы воспринимаем как одноместный предикат, т. е.
P (x) е CONa. Множество всех понятий CON данной предметной области строится согласно стандартному синтаксису, т. е. каждое понятие фе CON является булевой комбинацией атомарных понятий.
В частности, нас будут интересовать формулы вида
Q(x,y) = (^P (x) v ^P (y)) &...& (x) v ^Pn (y)),
где P,...,Pn е (Р4 UР5 UР6). Семантически эти формулы означают, что два задания относятся,
например, к разным темам в рамках одной дисциплины или к разным дисциплинам в рамках одного модуля, или направлены на проверку разных компетенций и т. д.
Для полного описания онтологии предметной области А задается конечное множество аксиом AxA с CON. Мы рассматриваем аксиомы трех видов: аксиомы общего-частного, аксиомы исключения и аксиомы полноты. Поясним более подробно смысл этих аксиом.
Аксиомы общего-частного. Классы понятий Р4, Р5 и Р6 иерархически упорядочены, например: если Задание относится к теме «Логика высказываний», то оно относится к дисциплине «Математическая логика», а значит, относится к модулю «Базовых дисциплин».
Аксиомы исключения. Каждый из классов понятий Р1, Р2 и Р3 является взаимоисключающим, например: если задание является легким, то оно не может быть сложным.
Аксиомы полноты. Мы предполагаем, что работаем в полностью определенной предметной области. Следовательно, мы считаем, что каждое рассматриваемое Задание должно об-
ладать хотя бы одним признаком из классов Pj, Р2, Р4 и Р5. Заметим, что задание может не обладать уровнем сложности (класс Р3), а также может не быть привязано к трудовому стандарту (класс Р6).
Заметим, что множество CONa с ЛхА образует онтологию предметной области А (которую, согласно традициям Логики Описаний, будем называть TBox) и является первой компонентой Базы Знаний предметной области А. Второй компонентой Базы Знаний (будем обозначать через ABox) является описанием конкретных Заданий. Рассмотрим конечное множество Заданий Т = {^,t2,...,tm}. Каждое задание ti характеризуется наличием / отсутствием тех или иных понятий из CONa. Тогда
ABox = {p(t)| понятие P(x)e CONa истинно на задании t е T}.
Средствами Логики Описаний мы проверяем непротиворечивость ABox и TBox . Далее пару (TB ox, ABox) и будем называть Базой Знаний предметной области А. По мере появления в данной предметной области новых понятий (например, новых профессиональных стандартов) или новых заданий База Знаний будет расширяться. Однако общая структура Базы Знаний будет оставаться неизменной.
Для проверки непротиворечивости запросов экзаменатора и для определения мощности множества всех оценочных документов, соответствующих запросу экзаменатора, мы используем нечеткую модель [15] предметной области А . Эта модель строится на основе семантической модели предметной области.
Определение 1. Алгебраическую систему АТ = (Т,CONa) будем называть семантической
моделью предметной области А, если АТ N (^xA U ABox).
Определение 2. Упорядоченную тройку Fuz(АТ ) ^ ^{t}, CONa, ц^ назовем нечеткой моделью предметной области А, порожденной моделью АТ, если для любого понятия 9(x) е CON имеем
( ()) ||{t е ТАТ N 9(t)}|| Цт ((p(t)) -щ-.
Значениями истинности предложений (понятий) в нечеткой модели являются числа из интервала [0,1], которые отражают статистику Базы Знаний. Более подробное описание свойств нечетких моделей можно найти в работах [16; 17].
Шаблоны оценочных документов
Оценочный документ - это набор заданий, который предоставляется студенту с целью проверки его знаний, умений или навыков. Традиционными оценочными документами являются экзаменационный билет, вариант контрольной работы, тест и т. п. В разрабатываемой системе реализована возможность формирования различных оценочных документов. Оценочный документ может быть сформирован для оценки внутри одной дисциплины или быть междисциплинарным, может быть направлен на проверку овладения той или иной компетентностью или трудовой функцией. Вид оценочного документа формирует экзаменатор, составляя шаблон оценочного документа.
Формирование шаблона оценочного документа происходит в три этапа: сужение, ограничение и определение.
Этап сужения направлен на формализацию цели проверки. На этом этапе экзаменатор определяет набор дисциплин или набор компетенций, или набор трудовых функций, на проверку которых направлен оценочный документ. В системе данный запрос формализуется в виде формулы:
FJ ( x )v... V Pk ( x),
где p,...,Pk е (Р4 UР5 UРб).
Далее производится проверка формулы Г (х) на выполнимость на модели Гиг (Ат).
Описание алгоритма нахождения значения истинности бескванторного приложения на нечеткой модели можно найти в работе [18].
Если оказывается, что цт (Г (х))< к1 (к1 е[0,1)), то делается вывод о неполноте базы
знаний. В этом случае экзаменатору нужно либо пополнить базу знаний новыми заданиями, либо пересмотреть цель проверки.
На втором этапе экзаменатор задает количество заданий в оценочном документе и накладывает ограничения на совместимость заданий. По умолчанию ставится следующее ограничение совместимости заданий:
Г2 О^... х„ ) = ( Л ( * х3 )),
где п - количество заданий в одном документе.
Это ограничение позволяет отслеживать, чтобы в одном оценочном документе не было повторяющихся заданий. По желанию экзаменатор может наложить более сильные ограничения. Например: никакие два задания в оценочном документе не должны принадлежать одной дисциплине, и никакие два задания в оценочном документе не должны быть направлены на проверку одной и той же компетенции. Общий вид формулы, задающей ограничения следующий:
Г (,..., Хп) Л (01 (, х} )&...&а (, х}))).
Для проверки этого ограничения строится модель Ат„ = ^Тп, с( Е1 и соответствующая ей нечеткая модель Гиг (Ат ) . Так же, как на предыдущем этапе, требуется, чтобы значение истинности формулы Г2(х1,...,хп) на модели Гиг(&р ) превышало некоторый заданный порог,
т. е. (((Х1,...,хп)))>к2, где к2 е[0,1).
На третьем, последнем этапе формирования шаблона оценочного документа определяется структура этого документа. На этом этапе экзаменатор имеет возможность задать тип, сложность заданий в оценочном документе и т. п. Например: Первое и второе задания являются Теоретическими, третье задание является Практическим. Хотя бы одно задание должно быть Сложным. Если задание Направлено на освоение общеобразовательной компетенции, то оно должно быть Средней сложности.
Такое определение задается некоторой бескванторной формулой Г3 (х1,..., хп) в сигнатуре
с = Р1 и Р2 и Р3 и с (Г1 ). Для проверки корректности определения структуры оценочного документа строится расширение модели &р на сигнатуру с*, т. е. модель &т„ = ^тп,с
Значение истинности формулы Г2 (х1,..., хп) & Г3 (х1,..., хп) на нечеткой модели Гиг (&р ) показывает, сколько различных оценочных документов, соответствующих построенному шаблону, можно сгенерировать в рамках данной базы заданий.
Заметим, что если ц^ (Г (х1,...,хп) & Г3 (х1,...,хп)) = 0, то необходимо проверить данную
формулу на логическую выполнимость. Если формула Г2(х1,...,хп)&Г3(х1,...,хп) невыполнима, то система делает вывод, что запрос экзаменатора некорректен и просит пересмотреть запрос.
Комплекты оценочных документов
Часто нам приходится экзаменовать не одного студента, а группу студентов, поэтому есть необходимость формирования комплекта оценочных документов, соответствующих данному запросу. При этом необходимо, чтобы оценочные документы, входящие в один комплект, были уникальны, т. е. имели как можно меньше одинаковых заданий.
Пусть В - множество всех оценочных документов, соответствующих заданному шаблону. Очевидно, что В с Т".
Для формирования комплекта оценочных документов был выбран алгоритм кластеризации CLOPE [19], работающий на множестве документов В. Его основным преимуществом является относительно высокая скорость для категорийных данных. Суть алгоритма заключается в разбиении на кластеры, при котором максимизируется специальная функция Profit, высчитываемая для каждого кластера C. Эта функция зависит от количества уникальных заданий кластера и некоторого коэффициента r - чем больше этот коэффициент, тем ниже уровень сходства и тем больше кластеров будет сгенерировано.
В результате работы алгоритма необходимо приблизиться к числу, равному количеству документов в комплекте. Для этого выполняется итеративная процедура.
1. На первой фазе происходит инициализация, формирующая начальное разбиение. Затем осуществляется повторный обход по документам (от одного, до трех раз), и если изменений не произошло, то алгоритм прекращает свою работу.
Оценочные документы для удобства хранятся в таблице. Происходит процедура считывания оценочных документов из таблицы, которые кладутся в соответствующий или новый кластер с максимальным значением Profit (C, r). В результате в таблицу записывается пара <ОД, номер кластера>.
2. Вторая фаза алгоритма аналогична первой. Для каждого оценочного документа происходит поиск подходящего кластера путем максимизации опорной функции Profit (C, r). При этом если номер нового кластера не совпадает с записью в таблице, то старое значение перезаписывается на новое.
Эта фаза повторяется, пока есть какие-то изменения.
В конце все пустые кластеры удаляются. Если полученное число кластеров равно или совсем немного отличается от требуемого (не более чем на два), то считается, что требуемый результат был достигнут. Тем самым формируется итоговый комплект документов путем случайного выбора любого представителя из каждого класса (одного или двух). В случае если отличие более чем на два, необходимо увеличить или уменьшить коэффициент r, в зависимости от разницы и повторить процедуру снова.
Заключение
Данная работа посвящена семантическому моделированию фонда оценочных средств факультета, который является одним из компонентов образовательного процесса университета. В статье дается описание онтологии ФОС, основных (атомных) понятий предметной области, а также набора терминологических аксиом. Семантический подход позволяет создавать различные оценочные документы: в рамках одной дисциплины, междисциплинарные, документы для проверки соответствия требованиям работодателя и т. д.
Средства логики описаний и теории нечетких моделей используется для проверки согласованности запросов экзаменатора и базы знаний. Они также применяются в вычисления мощности набора всех оценочных документов, соответствующих запросу преподавателя. Реализованный алгоритм кластеризации CLOPE позволяет генерировать уникальные наборы, отвечающие одному запросу.
Список литературы
1. Zindinova N. S. Creation of the funds of assessment means in the framework of the discipline with consideration for introduction of the federal educational state standards of higher vocational education // Вестн. Омского университета. 2014. № 2 (72). С. 182-184.
2. Профессиональные стандарты в области информационных технологий. М.: АП КИТ, 2008. 616 с.
3. Титаренко С. А. Контрольно-оценочные средства как мера форсированности профессиональных и общих компетенций // Проблемы и перспективы развития образования (IV): Материалы Междунар. науч. конф. Пермь: Меркурий, 2013. С. 133.
4. Perez-Jimenez A., Reyes-Zurit F. (Eds.). Feedback between universities and companies // 7th International Technology, Education and Development Conference (INTED). Valencia, Spain, 2013. Р.2916-2923.
5. Sofjina V. N., Gribanova D. Y., Melenevskaja O. Y. Monitoring of Students' Professional Merits at the University // International Scientific Conference on Society, Integration, Education. Rezekne, Latvia, 2015. Р. 215-223.
6. Бахвалов С. В., Берестнева О. Г., Марухина О. В. Применение онтологического моделирования в задачах организации учебного процесса ВУЗа // Онтология проектирования. 2015. Т. 5, № 4 (18). С. 387-398.
7. Смирнов С. В. Онтологический анализ предметных областей моделирования // Изв. Самар. НЦ РАН. 2001. Т. 3, № 1. С. 62-70.
8. Пронина В. А., Шипилина Л. Б. Использование отношений между атрибутами для построения онтологии предметной области // Проблемы управления. 2009. № 1. С. 27-32.
9. Mouromtsev D., Kozlov F., Kovriguina L., Parkhimovich O. ECOLE: Student Knowledge Assessment in the Education Process // WWW 2015 Companion - Proceedings of the 24th International Conference on World Wide Web. 2015. Р. 695-700.
10. Litherland K., Carmichael P., Martínez-García A. Ontology-based e-assessment for accounting: Outcomes of a pilot study and future prospects // J. Account. Educ. 2013. Vol. 31, no. 2. Р.162-176.
11. Baader F., McGuinness D., Nardi D., Patel-Schneider P. The description logic handbook: Theory, implementation, and applications. Cambridge: Cambridge University Press, 2007.
12. Пальчунов Д. Е. Моделирование мышления и формализация рефлексии. II. Онтологии и формализация понятий // Философия науки. 2008. № 2 (37). С. 62-99.
13. Пальчунов Д. Е., Яхъяева Г. Э. Нечеткие алгебраические системы // Вестн. НГУ. Серия: Математика, механика, информатика. 2010. Т. 10, вып. 3. С. 75-92.
14. Пальчунов Д. Е., Яхъяева Г. Э. Нечеткие логики и теория нечетких моделей // Алгебра и логика. 2015. Т. 54, № 1. С. 109-118.
15. Yakhyaeva G. Fuzzy model truth values // APLIMAT. 2007. № 6. С. 423-431.
16. Пальчунов Д. Е., Яхъяева Г. Э., Ясинская О. В. Применение методологии онтологического моделирования для задач диагностирования заболеваний позвоночника // Вестн. НГУ. Серия: Информационные технологии. 2015. Т. 13, № 3. С. 42-51.
17. Яхъяева Г. Э., Карманова А. А., Ершов А. А., Савин Н. П. Вопросно-ответная система для управления информационными рисками на основе теоретико-модельной формализации предметных областей // Информационные технологии. 2017. Т. 23, № 2. С. 97-106.
18. Яхъяева Г. Э., Ясинская О. В. Методы согласования знаний по компьютерной безопасности, извлеченных из различных документов // Вестн. НГУ. Серия: Информационные технологии. 2013. Т. 11, вып. 3. С. 63-73.
19. Yang Y., Guan H., You J. CLOPE: A fast and Effective Clustering Algorithm for Transactional Data // Proc. of SIGKDD'02. Edmonton, Alberta, Canada, 2002.
Материал поступил в редколлегию 04.04.2018
G. E. Yakhyaeva, A. R. Absayduleva
Novosibirsk State University 1 Pirogov Str., Novosibirsk, 630090, Russian Federation
[email protected], [email protected]
SEMANTIC APPROACH TO MODELING OF THE FUND OF ASSESSMENT MEANS
The fund of assessment means (FAM) is an integral part of the normative and methodological support of the system for assessing the quality of the student's learning. The ontological approach to
FAM modeling makes it possible to form current evaluation documents that take into account all the wishes of the examiner.
The article describes the ontology, semantic and fuzzy models of the FAM. An algorithm for generating a template for an assessment document is consisting of three steps: narrowing, restriction, and definition. At each stage, a corresponding fuzzy model is generated, within which the consistency of the given template is checked and the feasibility of this template on the available basis of valuation tools is checked. The CLOPE algorithm is used for generating a set of evaluation documents, which allows clustering the category data.
Keywords: assessment document, set of assessment documents, fund of assessment means, ontology, semantic model, fuzzy model.
References
1. Zindinova N. S. Creation of the funds of assessment means in the framework of the discipline with consideration for introduction of the federal educational state standards of higher vocational education. Vestnik Omskogo universiteta, 2014, no. 2 (72), p. 182-184. (in Russ.)
2. Professional standards in the field of information technology. Moscow, AP KIT, 2008, 616 p. (in Russ.)
3. Titarenko S. A. Control and evaluation tools as a measure of the forcing of professional and general competences. Problemy i perspektivy razvitiya obrazovania (IV): materialy medgdunarod-noi konferentsii. Perm, Merkuriy, 2013, p. 133. (in Russ.)
4. Perez-Jimenez A., Reyes-Zurit F. (Eds.). Feedback between universities and companies. 7th
International Technology, Education and Development Conference (INTED). Valencia, Spain, 2013,p.2916-2923.
5. Sofjina V. N., Gribanova D. Y., Melenevskaja O. Y. Monitoring of Students' Professional Merits at the University. International Scientific Conference on Society, Integration, Education. Rezekne, Latvia, 2015, p. 215-223.
6. Bahvalov S. V., Berestneva O. G., Maruhina O. V. Application of ontological modeling in the problems of organization of the educational process of the university. Ontologiya proiekti-rovaniya, 2015, vol. 5, no. 4 (18), p. 387-398. (in Russ.)
7. Smirnov S. V. Ontological analysis of modeling object areas. Izvestia Samarskogo nsuchnogo centra RAN, 2001, vol. 3, no. 1, p. 62-70. (in Russ.)
8. Pronina V. A., Shipilina L. B. Using Attribute Relationships to Construct a Domain Ontology. Problemi upravleniya, 2009, № 1, p. 27-32. (in Russ.)
9. Mouromtsev D., Kozlov F., Kovriguina L., Parkhimovich O. ECOLE: Student Knowledge Assessment in the Education Process. WWW 2015 Companion - Proceedings of the 24th International Conference on World Wide Web, 2015, p. 695-700.
10. Litherland K., Carmichael P., Martínez-García A. Ontology-based e-assessment for accounting: Outcomes of a pilot study and future prospects. J. Account. Educ., 2013, vol. 31, no. 2, p.162-176.
11. Baader F., McGuinness D., Nardi D., Patel-Schneider P. The description logic handbook: Theory, implementation, and applications. Cambridge, Cambridge University Press, 2007.
12. Palchunov D. E. Modeling of intellection and formalization of reflection. II. Ontologies and formalization of concepts. Filosofiya nauki, 2008, no. 2 (37), p. 62-99. (in Russ.)
13. Palchunov D. E., Yakhyaeva G. E. Fuzzy Algebraic Systems. Vestnik NSU. Series: Mathematics, mechanics, informatics, 2010, vol. 10, no. 3, p. 75-92. (in Russ.)
14. Palchunov D. E., Yakhyaeva G. E. Fuzzy logics and theory of the fuzzy models. Algebra i logika, 2015, vol. 54, № 1, p. 109-118. (in Russ.)
15. Yakhyaeva G. Fuzzy model truth values. APLIMAT, 2007, no. 6, p. 423-431.
16. Palchunov D. E., Yakhyaeva G. E., Yasinskaya O. V. Application of model-theoretic methods and ontological modeling to automate the diagnosis of diseases. Vestnik NSU. Series: Information Technologies, 2015, vol. 13, no. 3, p. 42-51. (in Russ.)
17. Yakhyaeva G. E., Karmanova A. A., Ershov A. A., Savin N. P. Question-answering system for managing of the information risks based on model-theoretic formalization of the object domains. Informatsionnie tekhnologii, 2017, vol. 23, no. 2, p. 97-106. (in Russ.)
18. Yakhyaeva G. E., Yasinskaya O. V. Metody soglasovaniya znaniy po kompjuternoi bezopasnosti, izvlechennykh iz razlichnykh dokumentov. Vestnik NSU. Series: Information Technologies, 2013, vol. 11, no. 3, p. 63-73. (in Russ.)
19. Yang Y., Guan H., You J. CLOPE: A fast and Effective Clustering Algorithm for Transactional Data // Proc. of SIGKDD'02. Edmonton, Alberta, Canada, 2002.
For citation:
Yakhyaeva G. E., Absayduleva A. R. Semantic Approach to Modeling of the Fund of Assessment Means. Vestnik NSU. Series: Information Technologies, 2018, vol. 16, no. 2, p. 113-121. (in Russ.)
DOI 10.25205/1818-7900-2018-16-2-113-121
