CC BY
36
Литература
1. Бова В. В., Курейчик В. В., Нужнов Е. В., Родзин С. И. О содержании университетской подготовки в области перспективных информационных и образовательных технологий. Часть 1 // Труды конгресса по интеллектуальным системам и информационным технологиям (Л18-1Т'09). Т. 2. - М.: Физмат-лит, 2009. С. 331-338.
2. Бова В. В., Курейчик В. В., Нужнов Е. В., Родзин С. И. Концепции организации интегрированной инструментальной среды поддержки инновационного асинхронного образования // Известия ЮФУ. Технические науки. Тематический вып. Интеллектуальные САПР. - Таганрог: ТТИ ЮФУ, 2009. № 12 (101). С. 233-240.
3. Нужнов Е. В. Возможности организации процессов асинхронного обучения в технологическом вузе // Труды Международных научно-технических конференций «Интеллектуальные системы» (Л18'08) и «Интеллектуальные САПР» (СЛБ-2008). Т. 3. - М.: Физматлит, 2008. С. 199-205.
4. Мысин М. Н. Использование информационных технологий в процессе формирования профессиональных компетенций будущего специалиста. - Самара: Самарский ун-т, 2004. - 194 с.
5. Сухомлин В. А. ИТ-образование. Концепция, образовательные стандарты, процесс стандартизации. - М.: Горячая линия - Телеком, 2005. - 176 с.
6. Старых В. А., Башмаков А. И. Принципы построения и описания профилей стандартов и спецификаций информационно-образовательных сред. Метаданные для информационных ресурсов сферы образования. - М.: ФГУ ГНИИ ИТТ «Информика», 2009. - 378 с.
7. Разумовский Д. В. Процесс электронного обучения: факторы качества // Открытое образование, 2009. № 2 [Электронный ресурс]. Режим доступа: http://www.e-joe.ru/sod/pdf/2009_2_79.pdf.
8. Голосов А. О. Информатизация в образовательном процессе: решения, средства и возможности // Интернет-порталы: содержание и технологии. Вып. 4. - М.: Просвещение, 2007. С. 386-409.
9. Бова В. В. Процессно-ориентированный подход к автоматизации деятельности образовательных учреждений // Перспективные информационные технологии и интеллектуальные системы. - Таганрог: ТТИ ЮФУ, 2007. № 1 (29). С. 50-55.
УДК 004.853 ББК 20
КОНФИГУРИРОВАНИЕ СЕРВИС-ОРИЕНТИРОВАННЫХ СЕТЕЙ РЕСУРСОВ ДЛЯ ИНТЕЛЛЕКТУАЛЬНОЙ ПОДДЕРЖКИ ДИСТАНЦИОННОГО ОБРАЗОВАНИЯ
А. В. Смирнов, д. т. н., профессор, зам. директора по научной работе Тел.: (812) 328-20-73, e-mail: smir@iias.spb.su
Т. В. Левашова, к. т. н., с. н. с. Тел.: (812) 328-80-71, e-mail: oleg@iias.spb.su
Н. Г. Шилов, к. т. н., с. н. с. Тел.: (812) 328-80-71, e-mail: nick@iias.spb.su Учреждение Российской академии наук Санкт-Петербургский институт информатики и автоматизации РАН
http://www.spiiras.nw.ru
The paper dwells on the problem of intelligent distance learning support by proposing to the learners a set of learning resources. This set is made up of automatically selected resources which represent knowledge to reach the current learning goals. The resources are configured in a resource network according to individual learner characteristics and preferences. Two kinds of resources are considered: computer-based resources (e-books, tutorials, etc.) and human resources (teachers, instructors, lecturers). The resources are modeled by means of Web-services. In the paper a conceptual model of intelligent distance
learning support and a scenario model for configuring an efficient Web-service network are described.
В статье в рамках проблемы интеллектуальной поддержки дистанционного образования рассматривается вопрос обеспечения учащихся образовательными ресурсами. Предложен подход, позволяющий автоматически выбирать и конфигурировать образовательные ресурсы в соответствии с текущей целью обучения и индивидуальными особенностями и предпочтениями учащихся.
Ключевые слова: дистанционное образование; контекст обучения; образовательные ресурсы; веб-сервисы.
Key words: distance learning, learning context, learning resources, Web-services
Введение. Современное состояние информационных сетевых технологий открывает возможности для дистанционного использования образовательных ресурсов в целях обучения. Примерами образовательных ресурсов являются электронные учебные курсы, электронные справочники, обучающие программы, системы тестирования и т. п. Образовательные ресурсы помещаются в специальные хранилища [1] (электронные библиотеки, репозитории, каталоги и т. п. [2]), и для учащихся к этим ресурсам организовывается доступ в соответствии с текущими целями обучения [3]. Хранилища могут быть как централизованными, так и распределенными. В последнее время появились системы, позволяющие собирать образовательные ресурсы из несколысих хранилищ.
Из-за большого количества зачастую не связанных ресурсов, учащийся много времени тратит на поиск и анализ ресурсов, которые представляют для него интерес на текущий момент. Требуется перенаправить учащегося с процесса поиска ресурсов на процесс обучения, то есть разработать средства, которые бы автоматически выбирали и предлагали учащемуся ресурсы в соответствии с его текущими потребностями [4]. C точки зрения работы с образовательными ресурсами целесообразно также предусмотреть последующее использование найденных и соответствующим образом организованных ресурсов другими учащимися в других контекстах и для других целей [5].
Разработка средств, позволяющих реализовать перечисленные задачи, опирается на понятие контекста. Контекстом называется информация, которая может быть использована для того, чтобы охарактеризовать ситуацию, в которую вовлечен некоторый объект и которая является релевантной для взаимодействия между пользователем и прикладной программой [6]. Говоря об использовании ресурсов в образовательных целях, в качестве объекта мы можем подразумевать учащегося, систему поддержки учащегося, а также образовательный ресурс, который является релевантным для взаимодействия между данным учащимся и системой поддержки.
В данной работе предлагается подход к построению системы интеллектуальной поддержки дистанционного образования, которая позволяет автоматически конфигурировать сети образовательных ресурсов в соответствии с контекстом учащегося. Использование контекста в системе поддержки дистанционного образования позволяет выявлять ресурсы, релевантные текущей цели обучения, а также учитывать предпочтения и индивидуальные особенности учащегося. Модели, разработанные в рамках предлагаемого подхода, направлены на решение комплексной проблемы формирования информационного обеспечения для поддержки учеников и преподавателей в процессе образования.
1. Базовые принципы системы интеллектуальной поддержки дистанционного образования. Основными принципами, положенными в основу системы интеллектуальной поддержки дистанционного образования, являются: 1) использование онтологической модели для описания знаний учебных дисциплин; 2) моделирование образовательных ресурсов при помощи веб-сервисов; 3) онтолого-зависимое индексирование образовательных ресурсов; 4) использование онтологической модели контекста для представления текущей цели обучения и характеристик учащегося.
Для повышения качества учебного процесса представляется необходимым интегрировать разработку множества учебных курсов как на уровне отдельных кафедр, так и на межкафедральном уровне. Такая интеграция возможна за счет использования онтологий, которые служат универсальным механизмом описания знаний. Онтология задает множество представляющих примитивов, при помощи которых моделируется область знаний. Как правило, представляющими примитивами являются классы объектов, атрибуты (свойства) классов и отношения между классами объектов [7].
Онтологии делают знания общепонятными и, таким образом, интегрируемыми. За счет иерархической структуры, которая является основой онтологического представления знаний, в онтологиях, полученных в процессе интеграции, существует возможность выделения учебных курсов и их компонентов [8].
В рассматриваемом здесь подходе разделы, которые являются компонентами различных учебных курсов, представляются в виде классов онтологий. Эти классы организованны в классификацию, показывающую связь между учебными дисциплинами и их разделами (например, химия ^ неорганическая химия ^ металлы). Для того чтобы обеспечить применимость системы интеллектуальной поддержки дистанционного образования к различным учебным дисциплинам, разделы определенной учебной дисциплины представлены классами соответствующей онтологии предметной области. Над онтологиями предметных областей определена общая онтология более высокого уровня. Общая онтология показывает зависимость между классами, представляющими разделы различных областей [9] (рис. 1).
Для повышения эффективности обу-
0 SWOOP »2.3 beta 3 {Jen 200й)
№ v¡e» BooMnats ResArcíHDtíír Wvanwd a&XJC
t
i Ortí+sjj Ljft АетрОнОипя*
JVMlj]
add I
justen Impúflt
0
ClaiíTr™ »счгц ft« lüt J) DwJ:TT"i¡nij
Геоне 10к»:Угпо»4и_коо11Ди>1ата* S @ Гвомв трич:Угол"
§ Астрономия :Арг>мент_гчрш"еяия4 А£т ренанид;Вымт ¿_кебескеге_! вла_над_га])и5витвм' ГвлграфияТепграфическнЕ^копрдинаты* с география:двпгчта' ■ (£) Гепграфкл: Ширита*
§Аягрснання:далг0та_5осмодящепо_уэпэ*' Астиомоиня^Напбалвшач.элсмгзиня'' (с) Аеюономия; Элонгация*
А£т ремания-рад^к е_Айепд* Асгрсноиия: Эшингация* © ГвОИ91рН»:УГОЛ_ЛОВ(>рСТЛ*
Ontciogf
OWL О
Annotai OHfcHI
r#s:lal
Import?
Total N Total N Total N Total N Total N
Ad vanl
Gífiífa
DLbfJ
Ш No. of Na. of iJo_o£
чающих и поисковых систем в таких системах производится индексирование ресурсов [10, 11, 12]. Стратегия индексирования позволяет обработать большое количество автономных (не связанных и независимых) ресурсов с целью их построения в некоторую организацию. Организованные ресурсы становятся более удобными для использования. В системах, работающих с организованными ресурсами, сокращается время, затрачиваемое на поиск и анализ ресурсов.
В современных подходах предлагается при индексировании использовать метаданные о ресурсах. К настоящему времени разработано несколько стандартов и подходов к описанию метаданных образовательных ресурсов, например SCORM [13] (спецификация объектов совместно используемого контента), IEEE LOM [14] (метаданные обучающих объектов), MELT [15] (экология метаданных для преподавателей и учащихся), ALE [16]
Рис. 1. Зависимость между дисциплинами
(адаптивная учебная среда).
В предлагаемом подходе образовательные ресурсы моделируются при помощи веб-сервисов. Такое моделирование позволяет заменить действия над реальными ресурсами действиями над их моделями, т. е. веб-сервисами [17].
Веб-сервисы проиндексированы относительно классов онтологий предметных областей. Используется следующая структура индекса: <C_R, R_ID, Sim>,
где C_R - класс онтологии, семантически близкий содержимому ресурса; R_ID - URI ресурса;
Sim - степень семантической близости ресурса классу онтологии C_R, Sim = [0, 1].
В индексе используются следующие метаданные образовательных ресурсов:
— R_ID - глобальная уникальная метка, однозначно идентифицирующая ресурс;
— заголовок (название) ресурса;
— учебная дисциплина, для обучения которой предназначен ресурс;
— текстовое описание содержимого ресурса или компетенция ресурса.
Последние три элемента метаданных используются при определении семантической близости между образовательным ресурсом и классом онтологии предметной области [18]. Понятие компетенции ресурса введено для учета преподавателей во множестве образовательных ресурсов. Компетенция представляет область знаний преподавателя.
Помимо метаданных образовательных ресурсов, в предлагаемом в данной работе подходе используются метаданные, описывающиеся учащегося. Они включают в себя знания, которые известны учащемуся на данный момент времени, информацию об индивидуальных особенностях учащегося (способности, внимательность, тип памяти и т. п.), а также предпочтения учащегося (язык образовательного ресурса, способ представления материала, степень интерактивности и т. п.). Метаданные представлены в виде атрибутов класса «учащийся». Совокупность значений метаданных (атрибутов) учащегося формирует контекст этого учащегося.
Текущая цель обучения представлена множеством классов онтологий предметных областей. Это множество состоит из классов, которые представляют разделы, релевантные текущей цели обучения. Совокупность этих классов вместе с контекстом учащегося формируют контекст обучения.
2. Модель интеллектуальной поддержки дистанционного образования. В основе предлагаемой модели интеллектуальной поддержки дистанционного образования лежит контекст обучения. Используется двухуровневая модель контекста. На первом уровне контекст обучения представлен идеальным контекстом. Данный контекст строится в процессе взаимодействия
Этот контекст определяет текущую цель обучения на основании результатов тестирования, которые включают в себя информацию о знаниях учащегося на текущий момент. Цель обучения меняется в зависимости от оценки учащегося в ходе выполнения предложенных ему заданий. Например, если учащийся не может выполнить задание, то ему предлагается изучить связанные разделы, которые и становятся текущей целью обучения. Соответственно идеальный контекст дополняется множеством классов онтологии, представляющих подлежащие изучению разделы. В ходе тестирования полученный опыт и знания учащегося фиксируются в метаданных этого учащегося.
Контекст учащегося в идеальном контексте представлен спецификацией атрибутов класса «учащийся». Эта спецификация содержит имена атрибутов и области их допустимых значений. В качестве примера могут быть приведены атрибуты текстового типа «имя», «фамилия», «тип памяти».
На основании классов онтологий, включенных в идеальный контекст, и индексов веб-сервисов определяются образовательные ресурсы, которые являются релевантными текущей цели обучения. Релевантными считаются ресурсы, в индексах веб-сервисов которых содержатся имена классов, входящих в идеальный контекст. Веб-сервисы, моделирующие эти ресурсы, образуют множество контекстно-зависимых веб-сервисов.
На втором уровне контекст обучения представлен реальным контекстом. Этот контекст содержит множество классов онтологий предметных областей, которые представляют текущую
учащегося с системой электронного тестирования [ IVJ.
Общая Идеальный Реальный
онтология
Обозначения
Отношение
Соответствие
Ссылка
Информационный поток
Рис. 2. Модель интеллектуальной поддержки дистанционного образования
цель обучения, и атрибуты класса «учащийся», конкретизированные значениями для данного учащегося. В предложенном выше примере атрибутам «имя», «фамилия» и «тип памяти» приписываются их значения (например, Сергей, Петров, слуховой). На втором уровне из множества контекстно-зависимых веб-сервисов конфигурируется эффективная сеть веб-сервисов. Веб-сервисы, образующие эту сеть, определяют эффективное использование образовательных ресурсов в реальном контексте.
Веб-сервисы, составляющие сеть веб-сервисов, упорядочиваются в соответствии с реальным контекстом учащегося. Более высоким приоритетом обладают веб-сервисы, которые наиболее соответствуют индивидуальным особенностям и предпочтениям учащегося.
3. Сценарная модель конфигурирования эффективной сети веб-сервисов. Сеть веб-сервисов формируется на основании реального контекста. Реальный контекст задает множество тех разделов дисциплин, для которых должны быть найдены образовательные ресурсы. Исходным набором, на основании которого формируется сеть, является множество контекстно-зависимых веб-сервисов Сценарная модель включает в себя три последовательно вызываемых сценария (рис. 3).
Первый сценарий в модели описывает процесс выбора веб-сервисов из набора WSС, знания ресурсов которых покрывают множество разделов, указанных в реальном контексте. Результатом работы данного сценария является набор WSf веб-сервисов, обеспечивающих требуемое покрытие. В этот набор входят веб-сервисы, моделируемые ресурсы которых содержат знания по указанным в реальном контексте разделам. При этом подразумевается, что в любом ресурсе могут содержаться как все требуемые знания, так и частичные знания, например знания только по одному или нескольким заданным разделам. Что касается преподавателей, то в набор WSf включаются преподаватели, компетентность которых полностью или частично соответствует областям знаний, указанным в реальном контексте.
Рис. 3. иМЬ-диаграмма сценарной модели формирования сети веб-сервисов на основании реального контекста
Второй сценарий описывает процесс определения доступности для учащегося веб-сервисов, которые вошли в набор WSf, на интервале [О Т], где t0 - момент начала взаимодействия учащегося с веб-сервисами, Т - прогнозируемый момент окончания взаимодействия учащегося с веб-сервисами. Интервал [0, Т] введен с целью выбора электронных ресурсов, которые
будут доступны учащемуся в течение некоторого интервала обучения (например, одного часа). Если учащегося интересует время работы преподавателей, то момент Т может быть рассчитан на неделю, месяц и т. д. Соответственно будут выбраны веб-сервисы, моделирующие тех преподавателей, часы работы которых входят в требуемый интервал. Результатом работы второго сценария является набор веб-сервисов WSa, ресурсы которых покрывают множество разделов, указанных в реальном контексте, и доступны на требуемом временном промежутке.
Третий сценарий описывает процесс конфигурирования эффективной сети из ресурсов, включенных в набор WSa. Эффективная сеть создается на основании следующих принципов эффективного выбора веб-сервисов.
Принцип 1. Наибольший объем знаний. Для ресурсов, которые содержат знания, относящиеся к нескольким разделам реального контекста, более эффективным считается использовать один ресурс, покрывающий знания несколько разделов, чем несколько ресурсов, описывающих отдельные разделы знаний. Этот принцип выражается в виде составного критерия К, который учитывает степень покрытия разделов реального контекста на основании степени семантической близости образовательных ресурсов разделам реального контекста:
К = ак1 + вк2, где а, в - относительная важность критериев к1, к2 соответственно;
где S - разделы реального контекста; к1 = ^, к1 ^ тах SR = у SR , SRn - разделы, знания по которым содержатся в п-м ресурсе;
п
к2 = П max(S^mR), к2 ^ тах где SimR - семантическая близость ресурса R разделу &
Результатом работы принципа 1 является множество веб-сервисов WS1.
Принцип 2. Наибольший интервал доступности. Если на интервале [0, Т] есть несколько ресурсов, доступных в разные временные интервалы {Л^, то более эффективным считается использование меньшего числа ресурсов, интервал доступности которых наиболее полно покрывает интервал Т]. При этом должно обеспечиваться полное покрытие интервала Т] интервалами Д^:
где Д^ - интервал времени, в течение которого доступен п-й ресурс, Д^ £ {Д^, [[0, Т] С! ММ Д,^ , п- число интервалов Д" на интервале Т], п=1 i=1 ^ = | WS1 | - число веб-сервисов в наборе WS1.
Результатом работы принципа 2 является множество веб-сервисов WS2.
Принцип 3. Наименьший вес. Данный критерий используется для эффективного выбора ресурса из множества альтернативных ресурсов, содержащихся в наборе WS2. Вес ресурса является функцией от характеристик веб-сервиса, моделирующего данный ресурс. В качестве характеристик веб-сервиса используются следующие метаданные образовательного ресурса: надежность ресурса, стоимость ресурса, время доступа к ресурсу. Вес веб-сервиса вычисляется как
где N - надежность веб-сервиса, N = (0, 1);
Тср - динамически вычисленное среднее время доступа к веб-сервису по отношению к времени доступа, которое является максимальным из всех времен доступа к альтернативным веб-сервисам; W = у(1 - N + 8Тср + еР, Р - стоимость доступа к веб-сервису по отношению к стоимости доступа,
которая является максимальной из всех стоимостей доступа к альтернативным веб-сервисам;
у, 8, е - весовые коэффициенты, задающие значимость соответствующего параметра для данного веб-сервиса (у + 8 + е = 1).
Более эффективным считается использование ресурса, для которого вес веб-сервиса, моделирующего данный ресурс, меньше.
Результатом работы третьего сценария является набор веб-сервисов (WSp). Этот набор состоит из веб-сервисов, которые моделируют эффективную для использования в реальном контексте сеть ресурсов.
Заключение. В работе предложен подход к организации интеллектуальной поддержки учащихся при дистанционном образовании. В рамках подхода разработана концептуальная модель интеллектуальной поддержки дистанционного образования и модель конфигурирования сети образовательных ресурсов. Модель интеллектуальной поддержки дистанционного образования позволяет обрабатывать большие объемы информации (большое число ресурсов) за счет использования системы индексирования ресурсов и сокращать число предлагаемых учащемуся
ресурсов за счет выявления ресурсов, релевантных контексту обучения. Модель конфигурирования сети образовательных ресурсов обеспечивает эффективный выбор ресурсов в соответствии с текущей целью обучения и индивидуальными особенностями и характеристиками учащегося.
Предложенные модели ориентированы на использование в системах дистанционного образования для организации эффективного обеспечения учеников и преподавателей информацией и знаниями, отвечающими их текущим целям и задачам. Эти модели могут быть также использованы в системах поиска документов и в электронных справочных системах поддержки пользователей.
Работа выполнена при финансовой поддержке РФФИ (проекты 09-07-00436, 08-07-00264) и программы Президиума РАН «Интеллектуальные информационные технологии, математическое моделирование, системный анализ и автоматизация» (проект 213).
Литература
1. NMC Learning Initiative // NMC Learning Object Repositories, 2007 [Электронный ресурс]. Режим доступа: http://archive.nmc.org/projects/lo/repositories.shtml (дата обращения: 21.12.2009).
2. Исаев А. Е. Компьютерные обучающие программы: проблемы организации учебного процесса // Открытое образование, 2009. Вып. 1, № 33. С. 29-35.
3. Рыльцева Е. В. Повышение квалификации учителей с применением дистанционных образовательных технологий // Открытое образование, 2008. Вып. 2. № 30. С. 12-14.
4. WolpersM. Contextualized Attention Metadata in Learning Environments. Upgrade // The European Journal for the Informatics Professional. Special Issue «Next Generation Technology-Enhanced Learning»,
2008. Vol. 9. No. 3. P. 57-61.
5. Подгорное А., Синица К. Object Orchestrator - приложение для создания и поддержки учебного материала // Образовательные технологии и общество, 2005. Т. 8. № 3. С. 319-324.
6. DeyA. K. Understanding and Using Context // Personal Ubiquitous Computing, 2001. Vol. 5. No. 1. P. 4-7.
7. Gruber T. Ontology // Encyclopedia of Database Systems / Eds. by L. Liu and M. T. Ozsu. - Springer,
2009. P. 1963-1965.
8. Мальков М. В. Онтологии в учебном процессе // Образовательные технологии, 2007. № 3 [Электронный ресурс]. Режим доступа: http://www.naukapro.ru/ot2007/3_003.htm (дата обращения: 21.10.2008).
9. IVOAO ontology. - University of Maryland, USA, 2008 [Электронный ресурс]. Режим доступа: http://archive.astro.umd.edu/ivoa-onto/src/main/resources/IVOAO.owl (дата обращения: 23.10.2008).
10. Brin S., Page L. The Anatomy of a Large-Scale Hypertextual Web Search Engine // Comput. Netw. ISDN Syst. - Amsterdam: Elsevier Science Publishers B. V., 1998. Vol. 30. No. 1-7. P. 107-117.
11. Dodds P. V. W., Jesukiewicz P., Fletcher J. D. An ADL Framework for Learning Content Contextuali-zation, Discovery, and Resolution: Tech. report // Advanced Distributed Learning, 2004 [Электронный ресурс - an official website of the U. S. Government]. Режим доступа: http://www.adlnet.gov/Technologies /Evaluation/Library/Document%20Homepages/Technical%20Reports.aspx (дата обращения: 23.12.2009).
12. Stefaner M., Spigai V., Vecchia E. D., Condotta M., Ternier S., Wolpers M., Apelt S., SpechtM., Nagel T., Duval E. MACE - Enriching Architectural Learning Objects for Experience Multiplication // Creating New Learning Experiences on a Global Scale. - Berlin/Heidelberg: Springer, 2007. Lecture Notes in Computer Science. Vol. 4753. P. 322-336.
13. ADL Guidelines for Creating Reusable Content with SCORM 2004 // Advanced Distributed Learning, 2008 [Электронный ресурс - an official website of the U. S. Government]. Режим доступа: http://www.adlnet.gov/Technologies/scorm/SCORMSDocuments/SCORM%20Resources/ADLGuidelines_V1P ublicComment.zip (дата обращения: 25.12.2009).
14. IEEE 1484.12.1-2002. Standard for Learning Object Metadata. Draft. - Learning Technology Standards Committee of the IEEE, 2002.
15. Assche F. V., et al. MELT: Tech. report (final) // European Project eContentPlus (ECP-2005-EDU-038103), 2009. Deliverable D-1.3. - 56 p. [Электронный ресурс]. Режим доступа: http://info.melt-project.eu/shared/data/melt/MELT_1_3_Final_Project_Report.pdf (дата обращения: 23.12.2009).
16. Песин Л., Шпехт М. Гибкая поддержка метаданных учебных объектов, опыт системы ALE // Образовательные технологии и общество, 2003. Т. 6. № 4. С. 186-193.
17. Web Services Activity // W3C, 2002-2007 [Электронный ресурс]. Режим доступа: http://www.w3.org/2002/ws (дата обращения: 28.12.2009).
18. Smirnov A. V., Levashova T. V., Pashkin M. P., et al. Context-Sensitive Access to e-Document Corpus // Корпусная лингвистика-2006: Труды международной конференции. - СПб.: СПбГУ, 2006. C. 360-364.
19. Пашкин М. П., Левашова Т. В. Использование контекста при определении уровня знаний учащихся в многоагентных интеллектуальных системах дистанционного обучения // Труды СПИИРАН / Под ред. Р. М. Юсупова. - СПб.: Наука, 2008. Вып. 6. С. 140-149.
