CC BY
28
ПРОБЛЕМЫ ВЫСШЕЙ ШКОЛЫ
УДК 378.091
АКТУАЛЬНОСТЬ И ПРИНЦИПЫ ПОСТРОЕНИЯ ИНТЕЛЛЕКТУАЛЬНОМ ИНФОРМАЦИОННОЙ СИСТЕМЫ ФОРМИРОВАНИЯ МЕТОДИЧЕСКОГО ОБЕСПЕЧЕНИЯ УЧЕБНЫХ ДИСЦИПЛИН НА ОСНОВЕ РЕСУРСОВ СЕТИ ИНТЕРНЕТ
© 2014 г. Д.В. Гринченков, Д.Н. Кущий
Гринченков Дмитрий Валерьевич - канд. техн. наук, доцент, зав. кафедрой «Программное обеспечение вычислительной техники», Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова. E-mail: [email protected]
Кущий Дарья Николаевна - доцент, кафедра «Программное обеспечение вычислительной техники», Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова. E-mail: [email protected]
Grinchenkov Dmitriy Valerievich - Candidate of Technical Sciences, assistant professor, head of department «Software computer engineering», Platov South-Russian State Polytechnic University (NPI). E-mail: [email protected]
Kushchiy Daria Nikolaevna - assistant professor, department «Software computer engineering», Platov South-Russian State Polytechnic University (NPI). E-mail: [email protected]
Обосновывается актуальность создания программного продукта оценки электронных образовательных ресурсов с целью их дальнейшей интеграции в учебный процесс. Определяются основные принципы процедуры их поиска и экспертизы. Рассматривается общая функциональная структура интеллектуальной системы.
Ключевые слова: электронные образовательные ресурсы; методы принятия решений; нечеткий поиск; релевантность; расстояние Дамерау - Левенштейна; оценка компетентности; метод парных сравнений.
Topicality of creating software of evaluation e-learning resources for the purpose of their further integration into the educational process was justified in this article. Main principles of their search and examination were defined. General functional structure of the intellectual system was considered.
Keywords: e-learning resources; methods of decision-making; fuzzy search; relevance; Damerau-Levenshtein distance; competency assessment; method of pairwise comparisons.
Тенденция активного использования электронных образовательных ресурсов (ЭОР) обусловлена их широкой доступностью, мобильностью, способностью интенсифицировать образовательный процесс за счет увеличения скорости восприятия информации, возможностью увеличения практической составляющей с помощью систем моделирования и рядом других факторов [1]. Кроме того, их статус и место в образовательном процессе четко определены в Федеральном законе «Об образовании в Российской Федерации» [2].
Создание эффективных образовательных программ связано с интеграцией ЭОР и традиционных педагогических технологий, а также решением качественной задачи формирования методического обеспечения учебных дисциплин за счет ЭОР.
В настоящее время в сети Интернет доступно огромное количество ЭОР, которые существенно различаются как по качеству представляемого материала, так и в плане правовых аспектов их использования. Решение проблемы их эффективного и правомерного использования может быть обеспечено путем проектирования и реализации специализированного программного продукта (ММ), позволяющего осуществ-
лять поиск ЭОР по учебным направлениям в сети Интернет, проведения их формального первичного анализа с последующей экспертизой их качества с помощью привлечения экспертов. Результаты интегрированной экспертной оценки позволят формировать список актуальных ресурсов либо их печатных аналогов, рекомендуемых для обновления книжного фонда библиотеки и учебно-методических комплексов дисциплин. Рассмотрим принципы формирования данного ММ.
Пусть IR = {ir,.
щ,..., ir
,} - множество ресурсов
сети Интернет, ЯЯ = {щ,гг2,...,ггт} - множество
релевантных запросу ресурсов, ЕЯ = {ег1,ег2,...,ег п} -
множество ресурсов, одобренных экспертами. Взаимосвязь указанных множеств можно представить с помощью диаграммы на рис. 1.
Одной из ключевых задач анализа исходного множества 1Я является определение способа формирования его подмножеств ЯЯ и ЕЯ. Общая идея построения множества ЕЯ заключается в комбинировании формальных методов поиска и обработки информации и статистических методов формирования ин-
тегрированнои оценки на основе эвристических знаний экспертов. Для реализации такого подхода целесообразно разработать интеллектуальную информационную систему (ИИС), которая будет осуществлять требуемый поиск в соответствии со схемой, приведенной на рис. 2.
следующим образом. Пусть В = {ё1, d2,..., dn } - множество учебных дисциплин. Каждая дисциплина имеет множество разделов Р, связанных, в свою очередь, с множеством ключевых слов К. Таким образом, полнота запроса на поиск материалов по дисциплине ё
(i = 1, п ) обеспечивается за счет определения множества:
РКёг = {р 1 = {^11, ^12 ,..., }, р2 ={^21, ^22,..., ^212 },—,
pm |kml' km2'...' kmlm
Рис. 1. Взаимосвязь анализируемых множеств ресурсов
База данных ИИС является хранилищем ожидающих экспертной оценки ресурсов. Она формируется посредством относительно независимой работы поисковой подсистемы. В силу необходимости поиска по заранее неизвестному тексту (совпадение с текстом web-страницы) предварительная индексация не используется, что позволяет работать с непрерывным потоком данных.
Процедура поиска новых ресурсов происходит с помощью матрицы запроса, которая определяется
Следует отметить, что l1, l2, lm е N определяют число элементов каждого подмножества pj ( j = 1, m ) множества разделов P дисциплины di.
Пересечение элементов множества PKdi (наборов ключевых слов разделов дисциплины) определит ядро поиска, необходимое для нахождения стартовой страницы и формирования дальнейших путей поиска по базовым ключевым словам. Элементы, не попавшие в ядро, необходимы для определения общей релевантности страницы (при обработке мета-тегов description, keywords и тега заголовка - title) на основе внутренних критериев и ссылочной релевантности с целью последующего добавления соответствующей записи в список первичного поиска.
Первичный поиск по матрице запроса
Отсеивание материалов с учетом релевантности
Внесение в базу результатов экспертизы Формирование базы Составление списка
данных приоритета
Список ресурсов для оценки (RR)
Результат экспертизы (ER)
Проведение
экспертизы
Определение экспертной комиссии
Рис. 2. Общая структура системы формирования методического обеспечения учебных дисциплин
Страница обладает высокой релевантностью, если вхождения поисковой фразы в текст составляют, в среднем, 5 % [3]. Меньшее количество поисковых фраз обычно игнорируется, большее - свидетельствует о спаме.
Ссылочная релевантность ЬК представляет собой добавочный весовой параметр, равный отношению количества ключевых слов в анкорах ссылок Ка с учетом коэффициента соответствия к общему количеству ключевых слов К:
LR = Ka.s-.
K
1 п L
s = — z — •
n i=o Lwi
где
Dj = min (X B, X x з + Сзамен^1 • X т + С
транспозиции
);
С.
_Jl, Si [i]* S2 [ j]; 0, иначе
С
транспозиции
_Jl,Si [i] = S2 [ j -1], Si [i -1] = S2 [ j] 0, иначе
Таким образом, весь процесс сравнения можно наглядно представить с помощью следующего примера:
A B F A B F
0 1 2 3 0 1 2 3
A 1 ? ? ? A 1 0 1 2
B 2 ? ? ? B 2 ? ? ?
С 3 ? ? ? С 3 ? ? ?
где п - общее число ключевых слов на странице; Ьг -число совпавших букв в 1-м слове; Ь^^ - общее число букв в г-м слове.
Уровень текстовой релевантности ТК определяется частотой ключевых слов на странице за исключением анкоров:
(Кр - Ка )
ТК = ^-5 ,
К
где Кр - общее число ключевых слов на странице.
Коэффициент 5 - число, лежащее в пределах от нуля до единицы, где ноль соответствует полному несовпадению двух строк, а единица - полной идентичности. Следует также отметить, что данный коэффициент рассчитывается для ключевых слов, найденный с помощью метрики расстояния Дамерау - Ле-венштейна [4] - минимального количества операций вставки, удаления, замены или транспозиции одного символа на другой, необходимых для превращения одной строки в другую, используемого для анализа страниц при нечетком поиске. При этом порог максимально допустимого расстояния между словами устанавливаем пропорциональным длине слова запроса.
Расстояние Дамерау - Левенштейна для двух строк 5 и 52 длиной т и п соответственно равно [5]:
т,п
d(5!,52) = D(т,п)= £ D1] ,
1=0, ]=0
A B F A BF
0 1 2 3 0 1 23
A 1 0 1 2 A 1 0 1 2
B 2 1 0 1 B 2 1 0 1
С 3 ? ? ? С 3 2 1 1
Здесь Бу - метрика для символов ^[г] и 52[/']; Хв -цена вставки символа 52[/']; Ху - цена удаления символа 5а [1]; Хз - цена замены символа ^[г] на символ 52[/]; Хт - цена перестановки символа [1] на символ 52[/'-1] или 51 [1-1] на символ 52[/'].
Поскольку задача состоит в нахождении не более k различий, в матрице нужно вычислять лишь диагональную полосу шириной 2k+1 (отсечение Укконена [5]), что сводит временную сложность к О^ тш(т, п)).
Список приоритета составляется на основе релевантности страницы по убыванию данного параметра. Процедуру поиска можно представить с помощью блок-схемы алгоритма, представленной на рис. 3.
При реализации поисковой подсистемы необходимо решить следующие задачи:
1. Определить периодичность поиска обновлений;
2. Разработать механизм проверки временной актуальности хранимых данных;
3. Выделить группу факторов для нахождения внутренней авторитетности рассматриваемого ресурса.
Поскольку в качестве запроса указывается дисциплина, для которой осуществляется поиск учебно-методических ресурсов, то для нее по базе с результатами первичного поиска строится список с краткой аннотацией для дальнейшей оценки экспертами.
Дальнейший процесс оценки ресурсов осуществляется за счет работы подсистемы формирования интегрированной экспертной оценки. Данная процедура представляет собой комбинацию метода Дельфи [6] и статистической обработки данных.
Экспертный анализ данных представляет собой процедуру принятия решения, результатом которой должен стать рекомендованный список ЭОР. Решающим фактором при оценке имеющихся вариантов является степень согласованности мнений, что позволяет говорить о необходимости увеличения данного фактора в рабочей группе экспертов.
Целесообразным решением данной задачи является предварительный расчет с последующим использованием весовых коэффициентов оценок экспертов при обработке и ранжировании результатов экспертного опроса.
Начало
Список начальных 1ЖЬ Ключевые слова Критерий остановки
Критерий остановки — максимальное число переходов по ссылкам
Пока список иКЬ не пуст
Пока не сработает критерий остановки
Провести анализ страницы по полному списку ключевых слов
I
Определить текстовую релевантность
Определить ссылочную релевантность
г
Извлечь все связи
1 г
Сохранить результат -
Определить список приоритета
Добавить результат в базу данных
I
Конец
Рис. 3. Алгоритм поиска Интернет-ресурсов
Предложенный подход базируется на следующих принципах:
1. Уровень компетентности эксперта отражает совокупность его профессиональных и личных качеств;
2. Общий уровень компетентности рабочей группы зависит от уровней компетентности отдельных экспертов;
3. Уровень согласованности мнений экспертов рабочей группы зависит от уровня компетентности экспертов, входящих в состав одной научной школы.
Следующим этапом поставленной задачи является разработка комплексного подхода к определению критериев компетентности. Предлагается использовать сле-
дующие укрупненные показатели компетентности K1i и Къ (г = 1, 2, ..., п - номер эксперта рабочей группы):
1. К1г - профессиональная компетентность, определяемая на основе требований Регистра системы сертификации персонала [7], учитывающая опыт иерархической модели оценки экспертов [8] (табл. 1).
Критерии и шкалы
же дисциплинированность и организованность. Результатом расчета является значение, обратно пропорциональное полученному коэффициенту по используемой методике.
Следует отметить, что критерий независимости суждений не учитывается в силу анонимного проведения процедуры оценивания Интернет-ресурсов.
Таблица 1
енивания экспертов
Критерий Шкала, баллы
1 2 3 4 5
Образование Среднее Среднее специальное Высшее Кандидат наук Доктор наук
Опыт работы в предметной области 1 - 3 года 3 -5 лет 5 - 10 10 - 20 лет свыше 20 лет
Опыт участия в экспертном оценивании Нет Низкая Средняя Выше среднего Высокая
Для расчета профессиональной компетентности целесообразно использовать упрощенную модификацию анализа иерархий Саати - метод парных сравнений [9] - посредством осреднения критериев оценки компетентности экспертов на уровне собственных векторов матриц парных сравнений А.
Пусть А1, А2,..., Ап - основные критерии компетентности. Для определения структуры объекта заполняется матрица парных сравнений. Если обозначить долю фактора Ai через vi и Vj (оценки, выставляемые экспертом в шкале компетентности), то элемент мат-
рицы (табл. 2) равен: aij =— .
Таблица 2
Общее представление матрицы парных сравнений
Критерии компетентности A1 A2 An
A1 1 «12 a1n
A2 «21 1 a2n
An an1 an2 1
AKU = 1
K
max 1i
(2)
С учетом коэффициента компетентности значимость у-го решения определяется по формуле [11]:
_ т _
hj = ^ Ну х ^ , где hj - среднее значение оценки зна-
г=1
чимостиу-го решения (у = 1, 2, ..., п) рассматриваемой ситуации; Ну - оценка г-м экспертом у-го решения
рассматриваемой проблемы; кг - нормированный к единице коэффициент средней компетентности кг г-го эксперта, к1 = 0,6К1г + 0,4К2г.
Для установления степени согласованности мнений экспертов вычисляют коэффициент конкордации. Для этого эксперты ранжируют решения самостоятельно, затем получают обобщенное мнение экспертов. Определяется средний ранг ¿у-го решения [11]:
Sj =
mk
2 aß
i =1
m
kjj
Таким образом, в предлагаемом варианте применения метода парных сравнений определяются не величины разностей значений факторов, а их отношение. При этом очевидно:
1
агу = — .
У ауг
Вычисление значений вектора компетентности критерия К1 г проводится на основании формулы [9]:
где тку - количество экспертов, оценивающих у-е решение (тк< т); г - номер эксперта (г = 1, ..., т); у - номер решения (у = 1, 2, ..., п); ау - порядок предпочтения данного признака перед другими.
Коэффициент конкордации м> определяется по формуле [10]:
w = ■
12 2 d
j=1
m
( n3 - n )!
где Хтах - максимальное собственное значение матрицы А .
2. К2г - аутентичность эксперта на основе методики С.А. Будасси [10]. Данный критерий позволяет определить творческую составляющую на основе учета таких факторов, как стремление к профессиональному росту, умение работать в коллективе, а так-
где ёу - отклонение среднего ранга у-го решения от среднего ранга совокупности; т - число экспертов; п - общее число решений.
Если его значение больше 33 % (для распределений, близких к нормальному), то оценки экспертов не согласованы, и тогда экспертам нужно пересмотреть свои оценки [12].
По завершению обработки и анализа статистических данных производится обоснование выводов и формулировка предложений (формирование списка ресурсов).
v
Рис. 4. Функции ИИС формирования методического обеспечения учебных дисциплин
Стоит также отметить тот факт, что результаты обработки анкеты компетентности экспертов сохраняются в базе данных, поэтому экспертам, принимающим участие в дальнейших оценках ЭОР, не требуется проходить данную процедуру повторно. Однако экспертам предоставляется возможность коррекции исходных данных для поддержания уровня их актуальности.
Основываясь на представленной информации, можно определить основные функции системы. Функциональная структура представлена на рис. 4.
Относительно независимый поиск обновлений электронных образовательных ресурсов позволит формировать базу, к которой будет обращаться пользователь. Благодаря этому индексация имеющихся данных сократит время формирования списка ресурсов для экспертизы.
Результаты работы получены при поддержке проекта № 2833 «Теоретические основы моделирования, диагностики и информационного обеспечения сложных технических систем», выполняемого в рамках базовой части государственного задания № 2014/143.
Литература
1. Гринченков Д.В., Кущий Д.Н. Методологические, технологические и правовые аспекты использования элек-
тронных образовательных ресурсов // Изв. вузов. Сев.-Кавк. регион. Техн. науки. 2013. № 2. С. 118 - 123.
2. Федеральный закон Российской Федерации от 29 декабря 2012 г. № 273-ФЗ «Об образовании в Российской Федерации». URL: Ы1р://минобрнауки.рф/документы/2974 (дата обращения: 18.04.2013).
3. Ашманов И., Иванов А. Оптимизация и продвижение сайтов в поисковых системах. М., 2010. 304 с.
4. Расстояние Дамерау - Левенштейна. URL: http://en. wikipedia. org/wiki/Damerau-Levenshtein_distance (дата обращения: 14.04.2013).
5. Нечёткий поиск в тексте и словаре. URL: http://habrahabr. ru/post/114997/ (дата обращения: 14.04.2013).
6. Гринченков Д.В., Кущий Д.Н. Принципы построения программного продукта для поддержки процесса принятия решений на основе интегрированных экспертных оценок // Изв. вузов. Электромеханика. 2012. №5. С. 69 - 73.
7. Регистр системы сертификации персонала. Общие критерии компетентности экспертов. URL: http://rssp. gost.ru/sert-exp.html (дата обращения: 20.04.2013).
8. Чернышёва А.Ю. Иерархическая модель оценки и отбора экспертов // Докл. ТУСУРа. № 1 (19), ч. 1. 2009. URL: http://www.tusur.rU/filearchive/reports-magazine/2009-1-1/168-173.pdf (дата обращения: 20.04.2013).
9. Учет мнений нескольких экспертов. URL: http://ecosyn. ru/page0013.html (дата обращения: 20.04.2013).
10. Будасси С.А. Защитные механизмы личности: программма спецкурса. М., 1998. 206 с.
11. Мартемьянов Ю.Ф., Лазарева Т.Я. Экспертные методы принятия решений: учеб. пособие. Тамбов, 2010. 80 с.
12. Литвак Б.Г. Экспертные оценки и принятие решений. М., 1996. 298 с.
Поступила в редакцию
11 марта 2014 г.
