CC BY
9
Разработка среды автоматизированного проектирования рейтинга научных сотрудников КНИТУ-КАИ
Румянцев Алексей Александрович студент группы 4292 института компьютерных технологий и защиты информации, Казанский Национальный Исследовательский Технический Университет имени А.Н.
Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, (937)6201546 rumyantsev-2013 @listm
Хабибулин Ринат Рахимович студент группы 4293 института компьютерных технологий и защиты информации, Казанский Национальный Исследовательский Технический Университет имени А.Н.
Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, (905)0202384 Rhinock@yandex.ru
Александров Александр Сергеевич студент группы 4293 института компьютерных технологий и защиты информации, Казанский Национальный Исследовательский Технический Университет имени А.Н.
Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, (987)2893322 alex.mirenki@gmail.com
Аннотация
Разработана система автоматизированного проектирования рейтинга публикационной активности научных сотрудников на основе библиометрических показателей авторов, журналов в РИНЦ и Scopus. Реализованная среда обладает различными методами построения рейтинга с использованием экспертных оценок, мягких вычислений и искусственной нейросети, функционалом редактирования таблиц данных, задания весовых коэффициентов, интерпретации и визуализации отдельных параметров, сформированного рейтинга.
We developed a system of automated publication activity rating engineering of science workers based on bibliometric indicators of authors, journals in RINC and Scopus. The developed environment has different methods with usage of expert values, fuzzy calculations and artificial neural network, possibilities of editing data table, setting expert coefficients, interpretation and visualisation of specified parameters, calculated rating.
Ключевые слова
рейтинг публикационной активности, система автоматизированного проектирования, мягкие вычисления, искусственная нейронная сеть, SCIENCE INDEX
publication activity rating, system of automated engineering, fuzzy calculations, artificial neural network, SCIENCE INDEX
Введение
Актуальной задачей в настоящее время является учет публикационной активности авторов, журналов, организаций с помощью различных библиографических баз данных, таких как РИНЦ, Scopus, Web Of Science и др. Данные сервисы предоставляют широкий функционал оценки с точки зрения различных параметров. Информационно-аналитическая система SCIENCE INDEX - это информационно-аналитическая система, созданная на основе базы данных Российского Индекса Научного Цитирования (РИНЦ). Данная система предлагает набор дополнительных сервисов для авторов научных публикаций, организаций и издательств [1, 2]. На сегодняшний день система SCIENCE INDEX предоставляет возможности анализа и оценки эффективности работы отдельных сотрудников с применением широкого набора индикаторов, однако не предоставляет интегрированной оценки [3]. Учет показателей публикационной активности научных работников является важной задачей для оценки вклада каждого автора и организации в развитие "экономики, основанной на знаниях" [4, 5]. Вычисление интегрированной оценки для научных сотрудников позволяет справедливо оценить эффективность работы каждого отдельного автора, способствует мотивации в дальнейшей результативной работе [6].
Интегрированная оценка публикационной активности автора учитывает различные параметры с применением математического аппарата и различных методов вычисления [7]. Эффективный анализ разработанной математической модели и формируемых рейтинговых оценок также требует специальных средств интерпретации и визуализации данных. Основу алгоритмов расчета составляют:
• Анализ показателей авторов, выявление наиболее значимых;
• Обработка выбранных показателей в соответствии с математической моделью;
• Определение интегрированной оценки, нормирование;
• Интерпретация сформированного рейтинга сортировкой по убыванию или визуализацией.
Построение рейтинга публикационной активности начинается с анализа данных для исследования, оценки показателей на значимость, объективность, степень учета личного вклада автора. На основе выбранных показателей строится логика оценки эффективности работы автора. В качестве таких параметров могут использоваться разновидности показателей количества цитирований, индекса Хирша, журналов с публикациями и цитированиями автора.
Математическая модель представляет собой заданную процедуру обработки входных данных и вывода интегрированной оценки с применением математических методов расчета и дополнительных данных в некотором алгоритме. В качестве такой модели могут использоваться различные расчеты по формулам, экспертные оценки, искусственные нейронные сети.
Нормирование вычисленных значений осуществляется линейной трансформацией по всему множеству выходных данных. Интерпретация рейтинга представляет собой сортировку в списке с указанием позиции или визуализацию в виде гистограмм по значению рейтинга или позиции.
Анализ показателей публикационной активности
В качестве показателей публикационной активности автора в РИНЦ (рис. 1) и Scopus были выбраны следующие параметры:
• Индекс Хирша в Scopus - индекс Хирша, учитывающий при расчете ссылки на все публикации автора в Scopus из публикаций, входящих в Scopus;
• Индекс Хирша в ядре РИНЦ - индекс Хирша, учитывающий при расчете ссылки на все публикации автора в ядре РИНЦ из публикаций, входящих в ядро РИНЦ;
• Индекс Хирша без учета самоцитирований - рассчитывается аналогично индексу Хирша, но при этом не учитываются цитирования, сделанные из работ этого же автора;
• Индекс Хирша в РИНЦ - индекс Хирша, учитывающий при расчете ссылки на все публикации автора в РИНЦ из публикаций, входящих в РИНЦ.
• Индекс Хирша с учетом только статей в журналах - рассчитывается аналогично индексу Хирша, но при этом учитываются цитирования [8] только статей в журналах и только из статей в журналах;
• Позиция в рейтинге журналов SCIENCE INDEX для журналов, цитирующих публикации автора. Ранжирование журналов осуществляется на основе показателя, рассчитываемого по специальной методике, учитывающей тематическое направление журнала, уровень самоцитирования и другие факторы [9]. Интегральный показатель журнала в системе Science Index используется при построении рейтинга российских научных журналов и рассчитывается по следующей методике:
о На первом этапе журнал приписывается к определенному
тематическому направлению. о Затем для каждого направления рассчитывается:
- среднее число ссылок в списках цитируемой литературы на статьи в
журналах РИНЦ;
- средняя доля ссылок из публикаций текущего года на статьи в журнале
за последние 5 лет по отношению ко всем ссылкам на данный журнал (за все годы). о За основу расчетов показателя берется пятилетний импакт-фактор журнала в РИНЦ [10] с учетом цитирования переводной версии журнала (при ее наличии) и с учетом самоцитирования. о Рассчитанные значения нормируются.
о Полученное скорректированное значение импакт-фактора журнала затем делится на индекс Херфиндаля по цитирующим журналам.
Таким образом, учитывается значимость работ автора, опубликованных в журналах [11]. Более подробная информация доступна по электронному адресу: https://elibrary.ru/help_title_rating.asp
Не учитываются цитирования из реферативных и научно-популярных журналов, словарей, справочников, методических указаний, авторефератов диссертаций, ненаучных публикаций в журналах (аннотации, персоналии, разное и т.д.), а также из журналов и сборников, исключенных из РИНЦ.
Не учитываются ссылки на публикации, где данный ученый является редактором, составителем, переводчиком и т.д., но не является автором.
Рис. 1. Параметры автора в РИНЦ
Выбор математической модели
В рамках данной работы были выбраны следующие математические методы построения рейтинга:
1) Суммирование всех выбранных параметров автора с единичными коэффициентами и степенями. Простой метод обработки для практического сравнения с более сложными методами;
п
Ri=^ Pik, k=l
где: Ri - интегрированный рейтинг /-го автора, pik - к-ый параметр /-го автора,
п - количество выбранных библиометрических параметров.
2) Суммирование с весовыми коэффициентами, определяемыми на основе экспертных оценок. Метод учитывает опыт компетентных специалистов соответствующей предметной области. Для работы метода необходима работа инженера по знаниям для формирования оценок значимости параметров на основе различных методов опроса экспертов;
Ri=^ wkVik,
к=1
где: - интегрированный рейтинг ьго автора,
р1к - к-ый параметр ьго автора,
- экспертная оценка к-го параметра, п - количество библиометрических параметров.
3) Мягкие вычисления. Метод, использующий суммирование параметров,
преобразованных по алгоритмам нечеткой математики с использованием функций
принадлежности, также определяемых на основе опыта эксперта;
п
Ri = ^fk(Pik),
к=1 1
, если pik < ск
tr Л , 1 + e-ak(Vik-ck)
fk(Pik) = { 1 , --г, иначе
,1 + e-ak(pik-ck)
где: Ri - интегрированный рейтинг i-го автора, pik - fc-ый параметр i-го автора, fk - функция принадлежности от k-го параметра, ск - параметр центральной точки сигмоиды, ак - параметр формы сигмоиды слева от центральной точки, Ьк - параметр формы сигмоиды справа от центральной точки, п - количество библиометрических параметров.
4) Искусственная нейронная сеть. Метод применения полносвязной нейронной сети [12], предварительно обученной каскадным методом на тестовом множестве из 1000 авторов с итоговой интегрированной экспертной оценкой.
Входные данные для математической модели представляют собой целочисленные параметры, кроме модифицированного параметра индекса Хирша с учетом только журналов. Данный параметр, в случае учета рейтинга журналов SCIENCE INDEX, умножается на коэффициент интегрированной оценки данного рейтинга.
Интегрированная оценка рейтинга авторов с учетом показателей журналов определяется по следующей формуле:
т
Rsi,i=^Clk(l-S(Rjik-i)),
к=1
где: RSiti - интегрированный рейтинг -го автора с учетом показателей журналов,
Cik - количество цитирований l-го автора из k-го журнала, RJ k - позиция k-го журнала в рейтинге SCIENCE INDEX, S - константа, 0.000283. Общая интегрированная рейтинговая оценка автора нормализуется линейной трансформацией по максимальному значению среди всех исходных оценок авторов в текущем рейтинге.
Разработка модели базы данных
В рамках разработанной системы автоматизированного проектирования рейтинга публикационной активности авторов была создана база данных (рис. 2) со следующими сущностями:
• Authors - содержит информацию об индексе Хирша в SCOPUS, РИНЦ, ядре РИНЦ, индекс Хирша без учета самоцитирований и с учетом только статей в журналах авторов;
• Journal - данные рейтинга журналов SCIENCE INDEX;
• Author_Journal_Citation - связывающая информация для таблиц Authors, Journal в виде идентификаторов авторов, публикаций и журналов с количеством цитирований.
Рис. 2. Инфологическая модель базы данных
Программная реализация
Для реализации системы автоматизированного проектирования рейтинга публикационной активности был выбран язык программирования C# с использованием библиотек для работы с нейронными сетями FANN и СУБД SQLite. Для реализации интерфейса программы использовалась технология Windows Forms, работа с базой данных осуществлялась с помощью СУБД SQLite. Разработанное приложения представляет собой модули:
• Редактирования таблиц входных данных. Позволяет быстро редактировать данные авторов, журналов в памяти программы с возможностью сохранения таблицы в базу данных файла;
• Установки параметров алгоритмов и расчета. Реализует возможность быстрой и удобной настройки весовых коэффициентов для метода суммирования с экспертными оценками в виде установки значения или перемещения по интервалу, выбора метода из списка и настройки учета журналов в расчетах.
• Интерпретации в отсортированном списке с указанием ФИО, нормализованного значения рейтинга и позиции;
• Визуализации в виде гистограмм по отдельным параметрам и сформированному рейтингу;
• Работы с файлами базы данных, нейронной сети и настройками редактирования и управления расчетом рейтинга.
Структура программы
Модуль редактирования (рис. 3-5) таблиц входных данных реализует функционал работы с таблицами данных: отображение таблицы, загруженной из файла, добавление, изменение данных, обновление содержимого базы данных.
Кед автора ФИО Индекс 3 Scopus Индекс Хирша в РИНЦ Индекс /афша в ядре РИНЦ Индекс Хирша без самоцитмрований Индекс Хирша только журналы Интегральный рейтинг автора с учетом журналов
Галеев Ильдар Хамит... 2 18 3 13 9 6.354
325092 Зарайский Сергей Ал... D 1 и 1 1 0.444
449014 Тахавова Эльза Габд... D 2 и 1 и О.ОМ
475213 Шарнин Леонид Миха... 1 Б и 5 5 1.335
490313 Яхина Зухра Талгатов... D 3 и 3 2 0.526
603113 Барков Игорь Апекса... D 2 и 1 1 0.352
697909 Ризаев Ильдус Султа... D 4 и 3 3 1.242
699433 Медведев Михаил Ви... 2 3 1 3 3 1.244
700796 Шлеймович Михаил П... 2 6 1 3 5 1.326
706627 Мокшин Владимир Ва... 0 16 1 14 15 4.006
722165 Эминов Фарид Ибраг 0 6 0 5 1 0.377
745736 Якимов Игорь Макси... 0 13 1 11 12 3.354
749257 Сытник Анатолий Сер... 0 1 0 1 1 0.146
759697 Валов Олег Павлович 0 1 0 1 0 0.000 -
' С ггг J 1-
Рис. 3. Интерфейс редактирования таблицы Authors
Идентификатор журнала Позиция в общем рейтинге SCIENCE INDEX -
1 646 0
4332 1 333
£ 162 376
6163 437
7302 2S33
761Э 1 D65
7647 1 333
B41S 329
S446 1 271
3433 2506
В 454 1 445
В504 1 937
В 529 453
В60В 394
3657 2159
3679 1 233 -
Рис. 4. Интерфейс редактирования таблицы Journals
Идентификатор автора Идентификатор публикации Идентификатор журнала Количество цитирований LI
2 5DD 25 535 542 26 234 1
2500 25 555 542 32 059 1
2500 25 555 542 35 070 3
2500 25 555 542 11 955 1
2500 25 555 542 51 557 1
2500 25 555 542 5 725 1
2500 25 555 542 6163 25
2500 25 555 542 54 673 1
2500 25 555 542 33 925 1
2500 25 555 542 61 950 1
2500 9505 469 55 454 1
2500 9505 469 5 725 1
2500 9505 469 6163 34
2500 9505 469 54 673 2
2500 22 673 565 37 229 1
2500 22 673 565 9 321 1
Рис. 5. Интерфейс редактирования таблицы Author_Journal_Citation
Модуль установки параметров алгоритмов и расчета (рис. 6) реализует функционал выбора метода расчета рейтинга, настройки параметров алгоритма суммирования с весовыми коэффициентами указанием значения или перемещением по интервалу допустимых значений (0; 1) и учета показателей журналов. Также содержит окно вывода сообщений программы.
Индекс Хирша в Scopus
Индекс Хирша в ядре РИНЦ
Индекс Хирша в РИНЦ
ИНдекс Хнрша без учета самоцитирований
J J J A J J JJ J
JJ J
Метод
[Экспертное суммиро! ^ |
И ндекс Хнрша с i I I ^ I Г учетом только Л
статей в журналах
Место в общем I
рейтинге I I _11
SCIENCE INDEX |г-
за 2017 год 1 Science Index
Рис. 6. Интерфейс установки параметров расчета рейтинга
Модуль интерпретации в отсортированном списке (рис. 7) реализует просмотр сформированного рейтинга авторов с отображением позиции и нормализованной интегрированной оценки автора в данном рейтинге. Содержит элементы управления в виде кнопок для расчета рейтинга и обновления данных в файле.
Баллы
1 Галеев И л ад ар Хамигович 100.0
2 Мокшин Владимир Васильевич 80.5
3 Якимов Игорь Максимович 65.3
4 Шлеймович Михаил Петрович 40.7
5 Медведев Микаил Викторович 33.8
6 Шарнин Леонид Михайлович 32.2
7 Эминов Фарнд Ибрагимович 23.7
8 Ризаев И пьдчс Сулганович 16.8
9 .Захарова Земфира Хамаговна 16.9
10 Сузаальцев Владимир Антонович 16.1
11 Хохлов Дмитрий Григорьевич 15.3
12 Яхта Зухра Талгаговна 14.4
13 ОсиповаАлла Леонвдовна 10.2
14 Зайнуллина Гульсина РаФкаговна 9.3
15 Ризаев Ильгизар Сулганович 8.3
16 Барков Игорь Александрович 6.8
17 Тахавова Элвза Гагщулбаровна 5.3
18 Зарайский Сергей Александрович 5.1
13 Сьггник Анатолий Сергеевич 5.1
-1П П----п---п --------- Л -1
Рис. 7. Интерфейс показателей рейтинга в отсортированном списке
Модуль визуализации (рис. 8) реализует возможность графической интерпретации нормализованных значений сформированного рейтинга и отдельных параметров в виде гистограмм. Позволяет сформировать сравнительную оценку метода и параметров для заданных входных данных. Также содержит элементы управления.
Рис. 8. Интерфейс визуализации
Модуль настроек программы (рис. 9) реализует возможность работы с файлами и таблицами базы данных, нейросетью; управления расчетом рейтинга авторов с учетом журналов.
Файл Визуализация Интерпертация Моделирование Нейронная сеть Рис. 9. Интерфейс модуля настроек программы
Общий интерфейс программы
Все модули интерфейса расположены в главном окне программы. Общий интерфейс программы и примеры использования представлены на рисунках 10-12.
Рис. 10. Общий интерфейс программы
Рис. 11. Интерактивное изменение экспертных оценок с визуализацией
Рис. 12. Сравнительное изменение нескольких экспертных оценок
Моделирование рейтинга
Для оценки эффективности алгоритма, экспертных оценок и модели нейронной сети реализован функционал составления рейтинга для заданных входных данных, объединенных с базой статистических данных из 1307 научных сотрудников КНИТУ-КАИ.
Данный функционал (рис. 13-14) позволяет проанализировать позицию автора среди научных сотрудников всей организации в отсортированном списке и графической интерпретации.
Место ,_ * ФИО Баллы , в Щ Место „„ ,_ ФИО Баллы в
1 Нигматуллин Равмль Рашидович 100.0 1313 Мусави Сафави Сейед Мохаммад 0.6
2 Паймушин Виталий Николаевич 97.5 1314 Изибаев Александр Владимирович 0.6
3 Моисеев Сергей Андреевич 96.4 1315 Мирхайдаров Айрат Фирнадович 0.6
4 Гильмутдинов Альберт Харисович 94.3 1313 Давлетшин Тимур Айратович 0.6
5 Морозов Олег Геннадьевич 93.3 1317 Арсланов Артем Альбертович 0.6
Б Лунев Александр Николаевич 87.6 1313 Ерахмадов Сиёвуш Наимджонович 0.6
7 Макаров Максим Викторович 86.1 1319 Гусев Александр Леонидович 0.6
8 Афанасьев Вадим Владимирович 77.6 1320 Крылосова Арина Алексеевна 0.6
9 Попов Игорь Александрович 74.9 1321 Гильфанов Артур Фаридович 0.6
10 Гортышов Юрий Федорович 74.0 1322 Цой Илья Станиславович 0.6
11 Талипов Анвар Айратович 72.3 1323 Михайлов Константин Сергеевич 0.6
12 На гул и н Константин Юрьевич 71.6 1324 Хайруллин Нияз Дхаудатович 0.6
13 Герасимов Константин Игоревич 71.5 1325 Крюков Александр Игоревич 0.6
14 Морозов Геннадий Александрович 68.7 1323 Деушев Алексей Андреевич 0.6
15 Петровский Владимир Ильич 66.6 1327 Пашин Николай Павлович 0.6
15 Юнусов Ринат Файзрахманович 63.8 1323 Хабибулин Ринат Рахимович 0.6 =
1 п < 1 III СЭ 1 I г 'I ИГ ►
Рис. 13. Начало и конец списка авторов статистической базы
н
■I ги
ГЦ
II РТ1
Рис. 14. Визуализация позиции в рейтинге
Тестирование программы
В качестве входных данных для тестирования использовалась актуальная информация о научных сотрудниках кафедры автоматизированных систем обработки информации и управления (АСОИУ) Казанского национального
исследовательского технического университета им. А.Н. Туполева-КАИ в РИНЦ и SCOPUS, а также информация о рейтингах журналов. Входные данные представляют собой файлы формата sqlite с предварительно сформированными в соответствии с моделью базами данных. Примеры тестовых данных для 21 научного сотрудника кафедры АСОИУ изображены на рисунках 3-5. Для тестирования используются 4 метода и файл искусственной нейронной сети, описанные ранее при выборе математической модели.
Сравнительный анализ результатов
В качестве простейшего метода для сравнения используется метод суммирования. Данный метод использует только количественную оценку выбранных параметров автора без учета значимости отдельных показателей. Лидером рейтинга при таком методе оказывается Мокшин В.В., хотя индекс Хирша в ядре РИНЦ и общий в РИНЦ у Галеева И.Х. на 2 выше.
Метод экспертной оценки параметров при значимости индекса Хирша в Scopus, ядре РИНЦ и общий в РИНЦ значительно улучшает показатели Галеева И.Х., а индекс Хирша без самоцитирований и с учетом только журналов улучшает позиции Мокшина В.В. и Якимова И.М.
Метод использования мягких вычислений формирует значительное лидерство Галеева И.Х. за счет очень высокого показателя индекса Хирша в ядре РИНЦ и высоких остальных показателей. Позиции Мокшина В.В. и Якимова И.М. относительно высоки и приблизительно равны.
Метод применения искусственной нейронной сети формирует аномально низкие результаты для всех авторов, кроме Мокшина В.В. со значительно превосходящим значением рейтинга, Галеева И.Х. и Якимова И.М., что может объясняться некоторыми статистическими зависимостями в обучающей выборке данных.
Учет показателей журналов при расчете интегрированной оценки автора значительно повышает показатели Галеева И.Х. (превосходство минимум в 1.5 раза среди научных сотрудников кафедры АСОИУ), несмотря на меньший индекс Хирша с учетом только журналов, что говорит об авторитетности цитирующих публикации автора журналов, о значимости личного вклада автора.
Заключение
В процессе разработки системы автоматизированного проектирования рейтинга научных сотрудников КНИТУ-КАИ была создана среда с поддержкой различных математических методов расчета и возможностью быстрой и удобной визуализации полученных результатов для аналитического сравнения эффективности методов и параметров.
Работа выполнена под научным руководством доцента кафедры АСОИУ КНИТУ-КАИ Галеева Ильдара Хамитовича.
Литература
1. Каленов Н.Е., Селюцкая О.В. О Российском индексе цитирования // Новые технологии в информационно-библиотечном обеспечении научных исследований. Сб. науч. тр./ отв. ред. П.П. Трескова; сост. О.А. Оганова. Екатеринбург, 2010. - С. 200-217.
2. Каленов Н.Е., Селюцкая О.В. Некоторые оценки качества Российского индекса научного цитирования на примере журнала «Информационные ресурсы России» // Информационные ресурсы России. - 2010. - № 6. - С. 2-13.
3. Галеев И.Х. Оценка полноты и интеллектуальности РИНЦ // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" - 2014. - V.17. - №3. - C. 583-602. - ISSN 1436-4522.
4. Галеев И.Х. Практика применения баз данных научного цитирования при оценке публикационной активности КНИТУ // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" -2013. - V.16. - №4. - C. 387-402. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html
5. Галеев И.Х., Иванов В.Г., Абуталипова Л.Н. Электронные журналы и библиотеки в образовании при формировании информационного общества // Труды V научно-практической конференции АРБИКОН "Корпоративные библиотечные системы: технологии и инновации" 1-7 июля 2007 года, Санкт-Петербург (Россия), Лаппеенранта (Финляндия), Санкт-Петербург, 2007. - С. 178-184.
6. Galeev I., Ivanov V., Kolosov O., Filyaev A. "IFETS East-Euro - realization of «lifewide learning» principle in computer science", in Petar Biljanovic: Proceedings of
the 28th International Conference MIPRO (MIPRO 2005), Opatija, Croatia, May 30 -June 03, 2005, p. 159-163.
7. Галеев И.Х., Галеева Н.Х. Опыт анализа публикационной и издательской активности с использование РИНЦ // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" -2012. - V.15. - №1. - C.594-608. - ISSN 1436-4522.
8. Писляков В.В. Методы оценки научного знания по показателям цитирования // Социологический журнал. 2007. № 1. С. 134.
9. Галеев И.Х. Информационно-образовательное пространство России и «перечень» журналов // Высшее образование в России. - 2009. - № 10. - С. 15 - 23.
10. Галеев И.Х. Научный журнал в информационном пространстве // Высшее образование в России. - 2009. - № 3. - С. 92 - 95.
11. Галеев И.Х. Динамика развития международного электронного журнала «Образовательные технологии и общество» // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" - 2007. - V.10. - №1. - C. 315-328. - ISSN 1436-4522.
12. Galeev I., Chepegin V., Sosnovsky S. The East European Sub-group of International Forum of Educational Technology and Society: Problems and the Ways to Solve Them, In Proceedings of 9th International Conference on Human-Computer Interaction (Poster Session: Abridged Proceedings), New Orleans, Louisiana, USA, August 5-10, 2001, p. 260-262.
