CC BY
159
УДК 004.89
DOI: 10.25559/SITITO.14.201802.436-445
ТАБЛИЧНАЯ РЕАЛИЗАЦИЯ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ РАДИАЛЬНЫХ БАЗИСНЫХ ФУНКЦИЙ ДЛЯ КЛАССИФИКАЦИИ ОБРАЗЦОВ
О.В. Аникина, О.М. Гущина, Е.В. Панюкова, Н.Н. Рогова Тольяттинский государственный университет, г. Тольятти, Россия
TABULAR ARTIFICIAL NEURAL NETWORK IMPLEMENTATION OF RADIAL BASIS FUNCTIONS FOR THE SAMPLES CLASSIFICATION
Oksana V. Anikina, Oksana M. Gushchina, Ekaterina V. Panukova, Natalia N. Rogova Togliatti State University, Togliatti, Russia
1 Аникина О.В., Гущина О.М., Панюкова Е.В., Рогова Н.Н., 2018
Ключевые слова
Аннотация
Искусственная нейронная сеть; сеть радикальных базисных функций (RBF-сеть); классификация образцов; алгоритм кластеризации; табличное моделирование.
В работе представлена разработка и исследование нового конструктивного алгоритма построения моделей для классификации образцов с использованием искусственной нейронной сети с радиальными базисными функциями в среде табличного процессора Microsoft Excel без программирования на VBA. Предложенный алгоритм может быть рассмотрен как наиболее эффективный способ решения задач классификации с использованием искусственных нейронных сетей, поскольку построенная таким образом модель легко расширяется и модифицируется, что способствует применению ее для решения множества однотипных задач. Создание табличных моделей посредством предложенного алгоритма существенно расширяет возможности электронных таблиц, как простой и эффективной среды моделирования и визуализации данных. Приводятся разработанная табличная модель искусственной нейронной сети с радиальными базисными функциями, а также общие рекомендации по ее расширению, модификации и применению в задачах классификации. Показаны результаты классификации RBF-сетью неизвестных образцов на базе набора учебных вектор-образцов. К достоинствам представленной в статье табличной модели можно отнести ее исключительную наглядность, что может быть эффективно использовано в учебном процессе с целью изучения особенностей алгоритмов работы нейронных сетей. Разработанная технология табличного моделирования алгоритмов классификации образцов представляет наибольший интерес для учебных целей, обеспечивая обучающимся неограниченный доступ к структурам данных и алгоритмам их обработки, а также наглядно отображая в динамическом режиме промежуточные и выходные результаты моделирования. Предложенный алгоритм построения моделей может быть также интересен специалистам в предметной области, не владеющим языками программирования.
|Об авторах:|
Аникина Оксана Владимировна, кандидат технических наук, доцент, кафедра прикладная математика и информатика, Тольяттинский государственный университет (445020, Россия, Самарская обл., г. Тольятти, ул. Белорусская, д. 14), ORСID: http://orcid.org/0000-0002-0676-0372, [email protected]
Гущина Оксана Михайловна, кандидат педагогических наук, доцент, кафедра прикладная математика и информатика, Тольяттинский государственный университет (445020, Россия, Самарская обл., г. Тольятти, ул. Белорусская, д. 14), ORСID: http://orcid.org/0000-0003-2381-8537, [email protected]
Панюкова Екатерина Владимировна, кандидат педагогических наук, доцент, кафедра прикладная математика и информатика, Тольяттинский государственный университет (445020, Россия, Самарская обл., г. Тольятти, ул. Белорусская, д. 14), ORСID: http://orcid.org/0000-0002-2372-754X, [email protected]
Рогова Наталья Николаевна, старший преподаватель, кафедра прикладная математика и информатика, Тольяттинский государственный университет (445020, Россия, Самарская обл., г. Тольятти, ул. Белорусская, д. 14), ORСID: http://orcid.org/0000-0001-6911-8013, natbuk@ rambler.ru
Современные информационные технологии и ИТ-образование
Том 14 № 2 (2018) ISSN 2411-1473 sitito.cs.msu.ru
Keywords Abstract
Artificial neural network; The development and study of a new constructive algorithm for constructing models for sample classifica-
radical basis functions network tion using an artificial neural network with radial basis functions in a Microsoft Excel spreadsheet envi-(RBF-network); ronment without VBA programming is presented in the subsequent work. The algorithm presented can be
sample classifications; considered the most effective method for solving classification problems using artificial neural networks,
clustering algorithm; since a model constructed in this manner is easily expanded and modified, which facilitates its application
tabular modeling. to solve many similar problems. Creating table models using this algorithm significantly expands the func-
tionality of spreadsheets as a simple and efficient data modeling and visualization tool. The developed table model of an artificial neural network with radial basic functions and the general recommendations about her expansion, modification and application are provided in problems of classification. Results of classification by RBF network of unknown samples based on set educational a vector samples are shown. The tabular model, which is presented in the article, has multiple advantages including its exceptional visibility, which can be effectively used in the educational process for the purpose of studying algorithmic features of neural network operations. Table modeling technology developed for classification algorithms is highly useful for educational purposes, as it provides students with unlimited access to data structures and the algorithms necessary for their processing. Further, it visually displays the intermediate dynamic mode as well as output simulation results. The offered algorithm of creation of models can be also interesting to the experts in subject domain who aren't knowing programming languages.
Введение
С развитием современных информационных технологий все больший интерес у научного сообщества вызывают искусственные нейронные сети (ИНС) в связи с успешным применением их в самых различных областях - экономике, медицине, технике, геологии, физике. Они при «правильной настройке структуры и параметров способны решать сложные задачи, которые могут быть рассмотрены в постановке задач моделирования, прогнозирования и классификации» [1, 2, 3]. ИНС представляют собой вычислительную систему с огромным числом параллельно функционирующих простых процессов с множеством связей; их применяют для решения задач прогнозирования, классификации или управления, т.е. там, где обычные алгоритмические решения оказываются неэффективными и/или вовсе невозможными [4, 5]. Такие свойства нейронных сетей, как способность к самообучению и возможность работы с мало-формализованными данными, позволяют широко использовать данный подход к решению классов задач теории расписаний [6], распознавания речи [7, 8] и других [9]. ИНС находят широкое применение в образовательном процессе и системах электронного обучения [10]. Авторы статей предлагают конструктивно новые подходы к организации обучающей среды, основанные на моделях и методах искусственного интеллекта [11].
Нейронная сеть - это система, состоящая из многих простых вычислительных параллельно работающих элементов, функции которых определяются структурой сети, силой взаимосвязанных связей, а вычисления производятся в элементах/ узлах. Она представляет собой набор нейронов, определенным образом связанных между собой (рис. 1).
Порог
веса
Рис. 1. Модель нейрона Fig. 1. The model of a neuron
Одним из важнейших свойств ИНС является их способность к обучению. В процессе обучения происходит настройка архитектуры сети и весов синаптических связей для эффективного решения задачи, поставленной перед сетью. В связи с этим, повышен интерес авторов к методам обучения ИНС и способам формирования обучающей выборки [12, 13].
Работу искусственного нейрона можно описать следующим алгоритмом:
1. нейрон получает входные сигналы/данные через несколько входных каналов;
2. каждый входной сигнал проходит через узел/соединение, имеющий определенный вес/интенсивность, соответствующий синаптической активности биологического нейрона [14];
Vol. 14, no 2. 2018 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
Исследования и разработки в области О.В. Аникина, О.М. Гущина,
новых информационных технологий и их приложений Е.В. Панюкова, Н.Н. Рогова
3. каждому нейрону присваивается определенное пороговое значение;
4. вычисляется взвешенная сумма входов для получения величины активации нейрона;
5. сигнал активации преобразуется с помощью функции активации и получается выходной сигнал.
Применим рассмотренный алгоритм к описанию искусственных нейронных сетей с радиальными базисными функциями (RBF - Radial Basic Functions), которые находят применение для решения задач классификации, аппроксимации, прогнозирования и управления [15, 16].
Сеть радикальных базисных функций представляет собой нейронную сеть прямого распространения сигнала, содержащую промежуточный (скрытый) слой радиально симметричных нейронов [17]. Любой нейрон в сети преобразовывает расстояние от входного вектора до соответствующего ему «центра» по некоторому линейному закону.
В сетях с радиальными базисными функциями срытые нейроны реализуют функции, радиально изменяющиеся вокруг выбранного центра и принимающие ненулевые значения только в окрестности этого центра [18]. Подобные функции, определяемые в виде:
f (x) = f (I x - c¿| |),
где x - уровень сигнала на входе; с. - координаты центров базисных функций, называются радиальными базисными функциями. В таких сетях роль скрытого нейрона заключается в отображении радиального пространства вокруг одиночной заданной точки либо вокруг группы точек, образующих кластер [19]. Нейронные сети с радиальными базисными функциями отличаются простотой, так как содержат только один скрытый слой (рис.2), поэтому сложный, неформализованный этап подбора структуры сетей может быть исключен [20].
Скрытй слой (Радиальный)
Рис. 2. Трехслойная модель сети радикальных базисных функций Fig. 2. Three-layer network model of radical basis functions
Нейронная сеть радиальных базисных функций содержит в наиболее простой форме три слоя: обычный входной слой, выполняющий функцию распределения данных образца; слой скрытых нейронов с радиально симметричной активационной функцией, каждый j-й из которых предназначен для хранения отдельного эталонного вектора в виде вектора весов w(h) и выходной слой, показывающий полученный резуль- } тат [21].
Информация об образцах передается с входного слоя на скрытый, являющийся шаблонным и содержащий p нейронов. Каждый нейрон скрытого слоя, получая полную информацию о входных сигналах X, вычисляет функцию [22].
f(x) = f((x - ct)TR~\x - ct)), i = 1,..., p,
где x - вектор входных сигналов, c. - вектор центров, R - вестовая матрица.
В скрытом слое анализируется расстояние
(х - c )TR х - c )
между входным вектором и центром, представленным в виде вектора во входном пространстве. Суперпозиция сигналов от скрытых нейронов выполняемая выходным нейроном позволяет получить отображения всей заданной области многомерного пространства. Радиальный нейрон разделяет пространство гиперсферой вокруг центральной точки и осуществляет шаровое разделение пространства.
Сеть с радиальными базисными функциями имеет только один скрытый слой с числом нейронов, существенно превышающим число входов сети. Для активации скрытого слоя RBF могут быть применены следующие функции:
Гауссова функция —
f (X) = exp((X———;
Мульти квадратичная функция
-Ci \ Лх — c) , 2 \1/2 ;
f(x) = (-— + a )
а
функция Коши
f (x) = (1 + x)-r
Выходное значение сети у. определяется как взвешенная
сумм"
yM) = YJWijfi{\ci-x\\,Gi)'
i=l
где y.(x) - j-й выход; x - вес от /-го радиального нейрона к j-му выходному нейрону.
Величина j-го нейрона выходного слоя зависит от того, насколько близок предъявляемый входной сигнал x запомненному этим нейроном центру с. Выходной нейрон осуществляет суммирование сигналов, генерируемых скрытыми нейронами.
В RBF-сетях отсутствует проблема выбора числа слоев нейронов, и большинство алгоритмов обучения RBF-сетей имеют простую реализацию и высокую скорость работы, понятны в исполнении [23]. Они способны смоделировать произвольную нелинейную функцию с помощью всего одного промежуточного
Современные информационные технологии и ИТ-образование
Том 14 № 2 (2018) ISSN 2411-1473 sitito.cs.msu.ru
слоя, тем самым избавляя разработчика от необходимости решать вопрос о числе слоев. Кроме того, в выходном слое можно оптимизировать параметры линейной комбинации при помощи методов линейной оптимизации, имеющих несложный алгоритм реализации, высокую скорость и отсутствие сложностей при работе с локальными минимумами.
Цель исследования
Целью настоящей работы является разработка и исследование нового конструктивного алгоритма классификации образцов с использованием искусственной нейронной сети с радиальными базисными функциями, решающего одновременную проблему достижения наилучших или, по крайней мере, высоких обобщающих результатов и позволяющего учитывать некоторые предпочтения пользователя к визуальному отображению в среде MS Excel. Прежде чем перейти непосредственно к описанию техники моделирования RBF-сетей табличном редакторе, сначала поясним базовые принципы их работы на примере задачи классификации образцов.
1. Постановка задачи классификации образцов
Задача классификации состоит в указании принадлежности входного образца, представленного вектором признаков, к одному из нескольких попарно не пересекающихся множеств. При решении задач классификации необходимо отнести имеющиеся статические образцы к предварительно определенным классам [24]. Класс - классификационная группировка в системе классификации, объединяющая определенную группу объектов по некоторому признаку.
Для построения классификатора необходимо определить, какие параметры оказывают максимальное влияние на принятие решения о выборе класса, к которому принадлежит образец [25]. При этом могут возникнуть следующие проблемы:
1. при небольшом количестве входных параметров, характеризующих образцы, возможно возникновение ситуации, при которой один и тот же набор исходных данных соответствует примерам, находящимся в разных классах, что может привести к некорректной работе модели для обучения нейронной сети;
2. при избыточном количестве входных параметров увеличивается размерность пространства признаков, а это может привести к состоянию, при котором модель просто запоминает примеры из обучающей выборки и не может корректно функционировать;
3. определение неправильного способа представления входных данных для нейронной сети, т.е. способа нормирования, может привести к некорректной работе модели для обучения нейронной сети.
Следовательно, для построения классификатора образцов при определении признаков необходимо найти компромисс с их количеством, а также осуществить нормировку. Она необходима, так как нейронные сети работают с данными, представленными числами в диапазоне 0..1, а исходные данные могут иметь произвольный диапазон или вообще быть нечисловыми данными. При этом можно применять различные способы, начиная от простого линейного преобразования в требуемый диапазон и заканчивая многомерным анализом параметров и нелинейной нормировкой в зависимости от влияния параметров друг на друга.
Отнесение образца к некоторому классу может осуществляться с использованием разных критериев:
• один из методов, позволяющих классифицировать новый образец, базируется на вычислении расстояния от этого образца до центра каждого класса - некоторой усредненной характеристики размещения образцов в классе;
• альтернативный и часто используемый критерий классификации основан на использовании ближайшего соседа: для неклассифицированного образца ищется его ближайший образец с известным классом, и новый образец относится к этому же классу;
• вариацией классификатора на основе ближайшего соседа является классификатор «k ближайших соседей», который работает подобно устройству усреднения по k ближайшим соседям.
Более сложные статистические методы классификации помимо расстояния между образцами учитывают также плотность вероятности распределения соседних образцов.
Отметим, что задачи классификации очень плохо описываются в виде готового алгоритма, поэтому нейронные сети могут быть рассмотрены как наиболее эффективный способ классификации [26], так как способны решать фактически большое число однотипных задач. Нейросеть позволяет обрабатывать огромное количество факторов (до нескольких тысяч), независимо от их наглядности.
При решении задачи классификация образцов «без учителя» отсутствует обучающая выборка с метками классов и используется алгоритм кластеризации. Данный алгоритм кластеризации основан на подобии образцов и размещает близкие образцы в один кластер (компактную область), причем число кластеров заранее неизвестно. Кластеризация позволяет представить неоднородные данные в более наглядном виде и использовать далее для исследования каждого кластера различными методами [27].
Применим данный алгоритм кластеризации для классификации образцов с использованием сети RBF, которая представляет собой параллельную реализацию давно известных статистических методов классификации. В RBF-сети образцы классифицируются на основе оценок их близости к соседним образцам.
Исходная задача классификации с использованием нейронной сети радиальных базисных функций сводится к следующему: «Пусть Y={1,...,M} - множество имен классов, каждый класс y е Y имеет свою плотность распределения py(x) и представлен частью выборки X' = {(X', yi) £ X' | yi = y} . Если функции правдоподобия классов py(x), y е Y представимы в виде смесей ky компонент, то каждая компонента имеет
n-мерную гауссовскую плотность с параметрами:
ky
Hyj = (Hy^---, Hyjn X = Жщ{ОуП\... ^Jl Y, Wyj = 1 Wyj^ 0
j=1
a (x) = arg max IP py (x)
y^Y
Алгоритм, описанный через основную формулу байесовского классификатора [28], в которой плотность каждой компоненты выражена через взвешенное евклидово расстояние от объекта x до центра компоненты ¡-lyj , имеет вид суперпозиции, состоящей из трех уровней (слоев).
Vol. 14, no 2. 2018 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
Исследования и разработки в области О.В. Аникина, О.М. Гущина,
новых информационных технологий и их приложений Е.В. Панюкова, Н.Н. Рогова
Рис. 3. Алгоритм классификации с использованием нейронной сети радиальных базисных функций [28] Fig. 3. Algorithm of classification using a neural network of radial basis functions
[28]
1-ый слой: k1+...+km гауссиан, принимающих описание объекта х и выдающих оценки близости объекта к центрам /Uyj
i (x) = arg max XyPy £ ^^ exp(- 2 (x, Vy ))>
yeT
2
Входной спой
Выхплно^ слой
слоем образцов образуют полносвязную структуру, а веса w этих связей устанавливаются равными значениям признаков соответствующего учебного образца. Активность нейронов слоя образцов задается выражением:
W - Xi )2
ф- = exp( --2-)
J ст2
где x - входной вектор - образец, s параметр гауссовой функции активации нейрона. Видим, что данное представление RBF-сети требует вычисления евклидова расстояния от неизвестного образца до всех учебных образцов. Если все входные и учебные векторы нормированы, т.е. имеют единичную длину, то функция активации нейронов слоя образцов может быть представлена в эквивалентной форме, содержащей более удобную для работы в Excel сумму произведений:
2-ой слой: состоит из М сумматоров, вычисляющих взвешенные средние оценок, полученных на 1-м слое, с весами wvj
. , 1 2 а (х) = ащ тах 1Р > ^Лу,- еМ~-ру (х и, ))
фj =exP(
}wij • xi -1
)
3-ий слой - единственный блок arg max, принимающий окончательное решение об отнесении объекта x одному из клас-
i (х) ^(arg max ÄyPS£ wyjNyj exp(- ]-pyj2 (x, ))
yE У Z
Применяя описанный алгоритм, можно описать пример типовой архитектуры RBF-сети для классификации образцов, представленный на рис.4.
Слии ийраэцое
Рис. 4. Пример типовой архитектуры RBF-сети для классификации образцов Fig. 4. An example of a typical RBF network architecture for classifying samples
Здесь входной слой предназначен для распределения признаков тестируемого образца по нейронам слоя образцов (в примере на рис.4 тестируемый образец имеет четыре признака).
Слой образцов имеет по одному нейрону для каждого образца из набора учебных данных. Связи между входным слоем и
Выходной слой имеет по одному нейрону для каждого класса из учебного набора данных. К любому нейрону этого слоя идут связи только от нейронов слоя учебных образцов, принадлежащих соответствующему классу. Каждый выходной нейрон выполняет простое суммирование значений откликов Щ связанных с ним нейронов слоя образцов, поэтому веса связей между этими двумя слоями задаются равными 1.
Для сети RBF с рассматриваемой архитектурой не требуется обучение в том смысле, какое необходимо для многослойных персептронных сетей, т.к. все ее параметры (число нейронов и значения весов) определяются непосредственно учебными данными.
После того, как сеть построена, неизвестный вектор - образец можно подать на вход сети, и в результате прямого прохода через сеть выходной нейрон с максимальным значением суммарной активности укажет класс, к которому, вероятнее всего, принадлежит тестируемый образец.
2. Табличное моделирование нейронной сети радиальных базисных функций
Идея имитационного табличного моделирования алгоритмов классификации образцов заключается в адекватном отображении действий исполняемого алгоритма на устройство визуальной демонстрации - ячейки электронной таблицы, решающей задачу алгоритма. Электронная таблица (ЭТ) представляет собой, определенным образом, сформированный распределенный вычислитель. В процессе пересчета ЭТ каждая ее ячейка выполняет свою функцию совместной работы по хранению и переработке данных решаемой задачи, используя для вычислений формулу, ассоциированную с этой ячейкой, и саму себя - в качестве хранилища полученного результата. В процессе функционирования алгоритма генерируются промежуточные результаты, отображающиеся в последующих ячейках ЭТ, принимающих полученные другими ячейками результаты вычислений и выполняющих работу по обработке данных. Данная последовательность действий происходит до тех пор, пока совместными усилиями общая задача не будет решена.
Современные информационные технологии и ИТ-образование
Том 14 № 2 (2018) ISSN 2411-1473 sitito.cs.msu.ru
Oksana V. Anikina, Oksana M. Gushchina, Ekaterina V. Panukova, Natalia N. Rogova
Research and development in the field of new IT and their applications
Следовательно, организуя должным образом связи между ячейками ЭТ и применяя в них требуемые формулы можно сымитировать множество различных моделей, в пределах потенциальных возможностей табличного процессора.
Можно выделить следующие достоинства предлагаемой технологии табличного моделирования искусственной нейронной сети радиальных базисных функций для классификации образцов [29]:
• обеспечивается свобода творчества и экспериментирования с моделями нейронных сетей даже для пользователей ЭТ, не обладающих хорошими программистскими навыками;
• предоставляется полная открытость для анализа и модификации структуры, данных и алгоритма классификации образцов;
• создается имитация полного погружения создаваемого классификатора в вычислительную среду табличного процессора, обеспечивающую анализ, эффективную отладку и удобное представление данных в виде таблиц и диаграмм;
• появляется возможность тестирования новых гипотез и идей с использованием инструментальных средств и функциональных возможностей ЭТ;
• обеспечивается высокая наглядность применения табличных моделей искусственной нейронной сети с радиальными базисными функциями для классификации образцов, что является эффективным и полезным для учебных целей.
Для того, чтобы составить табличную модель нейронной сети с радиальными базисными функциями [30] необходимо воспользоваться простым алгоритмом:
1. Составить базу данных из примеров, характерных для данной задачи и включающих основные признаки образцов.
2. Разбить всю совокупность данных на два подмножества: обучающее и тестовое (при необходимости может быть добавлено еще одно подмножество: подтверждающее).
3. Выбрать систему признаков, характерных для данной задачи.
4. Преобразовать данные таким образом, чтобы их можно было представить для подачи на вход сети (для этого используется ряд стандартных методов: нормировка, стандартизация и т.д.).
5. Выбрать систему кодирования выходных значений.
6. Выбрать алгоритм обучения сети.
7. Оценить качество работы сети на основе подтверждающего множества или другому критерию, оптимизировать архитектуру (уменьшение весов, прореживание пространства признаков).
8. Выяснить степень влияния различных факторов на принимаемое решение (эвристический подход).
9. Убедится, что сеть дает требуемую точность классификации.
10. Практически использовать сеть для решения задачи.
На рисунке 5 показан использованный нами набор учебных
вектор-образцов. Здесь учебные вектор-образцы характеризуются двумя признаками и разбиты на три пространственно-разделенных класса; интервалы входных ячеек х1, х2, |х| и Класс содержат признаки, евклидову длину и класс вектор-образцов;
интервалы ш1 и ш2 - их нормированные координаты (признаки); ячейки интервалов ф. и моделируют нейроны слоя образцов и выходного слоя RBF-сети соответственно; в ячейке В7 хранится значение параметра а функции активации нейронов слоя образцов, варьированием которого можно влиять на обобщающую способность сети.
♦ ♦
♦ ♦
♦ ♦ X ■
■ ■
■ ■
2 4 6 8 1
' A
A A А
А
♦ Класс 1 в Класс 2 A linacc 3 : Тег:т
Рис. 5. Двумерные учебные вектор-образцы исследуемой RBF-сети Fig. 5. Two-dimensional training vector-samples of the investigated RBF-network
На рисунке 6 показана табличная модель RBF-сети для классификации неизвестных образцов на базе набора учебных вектор-образцов.
А В С D Е F G Н I
2 Искусственная нейронная сеть RBF
5 Неизвестным образец
6 7 CT х1 «2 1*1 W1 w2 Класс Ор,
0.1 5.2 4.3 6.7476 0,7706 0,6373 1 ! .0243
9 Класс &Р,
1П 1 1.0243
11 2 0.0465
12 3 0.0000
13 14 Обучающие образцы
N Х1 Х2 M W1 ш Класс Vi
15 16 1 3 S 5,8310 0,5145 0,8575 1 0.0033
2 4 4 5,6569 0,7071 0,7071 1 0.6403
17 18 19 20 21 22 23 24 25 26 3 3 4 5,0000 0,6000 0,6000 1 0.0620
4 5 6 7,8102 0,6402 0,7682 1 0,1811
S 4 8 7,2111 0,5547 0,8321 1 0.0146
6 4 5 6,4031 0,6247 0,7809 1 0.1229
7 7 2 7,2801 0,9615 0,2747 2 0.0002
6 7 3 7,6158 0,9191 0,3939 2 0.0172
9 8 2 8,2462 0,9701 0,2425 2 0.0001
10 8 3 8,5440 0,9363 0,3511 2 0.0042
11 9 4 9.8489 0,9138 0,4061 2 0.0248
12 1 -1 1,4142 0,7071 -0,7071 3 0.0000
27 13 1 -2 2,2361 0,4472 -0,8944 3 0,0000
23 29 30 14 2 -2 2,8284 0,7071 -0,7Q71 3 0.0000
16 8 -2 3,6056 0,8321 -0,5547 8 0.0000
16 3 -3 4,2426 0,7071 -0,7071 3 0.0000
Рис. 6. Табличная модель искусственной нейронной сети RBF для классификации образцов
Fig. 6. Table model of an artificial neural network RBF for the classification of samples
В табличной модели используются следующие формулы: [E7] := КОРЕНЬ(СУММПРОИЗВ(С7^7; C7:D7)) [F7] : = C7/$E7 [G7] := D7/$E7
[H7] : = СМЕЩ($Н$9; ПОИСКПОЗ(МАКС($1$Ю:$1$12); $I$10:$I$12; 0); 0)
[17] : = СМЕЩ($1$9; ПОИСКПОЗ(МАКС($1$Ю:$1$12); $I$10:$I$12; 0); 0)
Vol. 14, no 2. 2018 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
Исследования и разработки в области О.В. Аникина, О.М. Гущина,
новых информационных технологий и их приложений Е.В. Панюкова, Н.Н. Рогова
[110] : = СУММЕСЛИ($Н$15:$Н$30; $H10; $I$15:$I$30) (копируется в другие ячейки интервала 110:112)
[E15] : = КОРЕНЬ(СУММПРОИЗВ(С15Ш5; C15:D15)) (копируется в другие ячейки интервала E15:E30)
[F15] : = C15/$E15 (копируется в другие ячейки интервала F15:F30)
[G15] : = D15/$E15 (копируется в другие ячейки интервала G15:G30)
[I15] : = ЕХР((СУММПРОИЗВ^15Ю15; $F$7:$G$7)-1)/$B$7A2) (копируется в другие ячейки интервала I15:I30)
Перед началом работы с табличной моделью в ячейки интервала C15:D30 вводятся координаты (признаки) учебных вектор-образцов, в ячейках интервала H15:H30 указывается их класс, в ячейке B7 задается значение параметра а. Для классификации неизвестного вектор-образца в ячейках C7 и D7 указываются его признаки, и после прямого прохода сети (пересчета электронной таблицы) в ячейке H7 сразу же отображается класс, к которому предположительно принадлежит тестируемый образец.
Табличная модель RBF-сети, представленная на рис. 6, легко модифицируется и расширяется. Например:
1. в модель можно добавить новый учебный образец, для этого необходимо выделить строку 30, выполнить команду меню Excel Вставка/Строки, с помощью маркера заполнения скопировать в добавленную пустую строку формулы из ячеек E29:G29, I29, а в оставшиеся пустые ячейки ввести номер, признаки и класс добавляемого учебного образца;
2. для удаления лишнего учебного образца нужно выделить строку табличной модели с удаляемым образцом и выполнить команду меню Excel Правка/Удалить;
3. для добавления нового признака, характеризующего вектор-образцы, необходимо одновременно выделить столбцы D и G (несмежное выделение), выполнить команду меню Excel Вставка/Столбцы, с помощью маркера заполнения скопировать в добавленный пустой столбец H формулы из ячеек F7, F15:F30, отредактировать значения координат (признаков) всех учебных образцов;
4. для удаления лишнего признака, удерживая клавишу Ctrl, одновременно нужно выделить два ненужных столбца модели и выполнить команду меню Excel Правка/Удалить.
3. Полученные результаты
Результат классификации образцов и обобщающие свойства RBF-сети сильно зависят от значения параметра а при малых апри промежуточных значениях а при а ^0 отклик каждого из выходных нейронов асимптотически определяется наиболее медленно убывающей экспонентой вычисляемой им суммы. Влияние значения а на выбор метода описания сети RBF:
• при малых а нейронная сеть RBF классифицирует образцы методом поиска ближайшего соседа;
• при промежуточных значениях а на результат классификации помимо ближайшего соседа оказывают влияние и более удаленные соседние образцы, т.е. в этом случае сеть работает как классификатор с усреднением по ближайшим соседям;
• при а^от значение отклика каждого выходного нейро-
на стремится к числу учебных образцов соответствующего класса, не зависит от взаимного расположения образцов и, следовательно, сеть RBF вообще теряет способность к обобщению.
Следует обратить внимание на то, что в области промежуточных значениях s результат классификации зависит не только от взаимного расположения учебных образцов, но и от их количества в каждом классе. Чтобы устранить этот недостаток, следует несколько изменить функцию активации выходных нейронов RBF-сети, например, заставить их вместо обычного суммирования входных сигналов выполнять логико-вероятностное суммирование [31].
Заключение
Полученные результаты показывают, что при попытке классификации образцов более высокие результаты демонстрируют модели, основанные на использовании нейронных сетей с радиальными базисными функциями.
В заключение отметим высокую производительность созданного табличного классификатора, обусловленную использованием в модели RBF-сети быстрых встроенных функций Excel EXP и СУММПРОИЗВ. Это позволяет эффективно решать практические задачи классификации образцов, характеризуемых десятками и сотнями признаков, на базе учебного набора из сотен и тысяч образцов. При этом рассмотренную табличную модель можно дополнить несложным программным макросом VBA и с его помощью извлекать учебные векторы-образцы из существующих баз данных, а не вводить значения их признаков вручную.
Продемонстрированная нами возможность создания имитационных табличных моделей искусственной нейронной сети радиальных базисных функций для классификации образцов убедительно доказывает, что электронные таблицы могут успешно использоваться в качестве эффективной среды имитационного моделирования и визуализации разнообразных вычислительных алгоритмов.
Список использованных источников
[1] Haykin S. Neural Networks: A Comprehensive Foundation. 1st ed. Prentice Hall PTR Upper Saddle River, NJ, USA. 1994. 768 p.
[2] Adjemov S.S., Klenov N.V., Tereshonok M.V., Chirov D.S. The use of artificial neural networks for classification of signal sources in cognitive radio systems // Programming and Computer Software. 2016. Vol. 42, issue 3. Pp. 121-128. DOI: 10.1134/ S0361768816030026
[3] Kurbatsky V.G., Sidorov D.N., Spiryaev VA., Tomin N.V. Forecasting Nonstationary Time Series Based on Hilbert-Huang Transform and Machine Learning // Automation and Remote Control. 2014. Vol. 75, issue 5. Pp. 922-934. DOI: 10.1134/ S0005117914050105
[4] Богословский С.Н. Область применения нейронных сетей и перспективы их развития // Научный журнал КубГАУ 2007. № 27(3). С. 1-11.
[5] Schegolev A.E., Klenov N.V., Soloviev ¡.¡., Tereshonok M.V. Adi-abatic superconducting cells for ultra-low-power artificial neural networks // Beilstein Journal of Nanotechnology. 2016. Vol. 7. Pp. 1397-1403. DOI: 10.3762/bjnano.7.130
[6] Игнатенков A.B., Ольшанский A.M. Применение искус-
Современные информационные технологии и ИТ-образование
Том 14 № 2 (2018) ISSN 2411-1473 sitito.cs.msu.ru
Research and development in the field of new IT and their applications
ственнои нейронной сети для построения расписании процессов на примере графика движения поездов // Современные информационные технологии и ИТ-образова- [19] ние. 2015. Том 11, № 2. С. 50-55. URL: https://elibrary.ru/ item.asp?id=26167466 (дата обращения: 12.04.2018).
[7] Kipyatkova I.S., KarpovA.A. A study of neural network Russian language models for automatic continuous speech recognition systems // Automation and Remote Control. 2017. Vol. 78, issue 5. Pp. 858-867. DOI: 10.1134/S0005117917050083
[8] Кипяткова И.С., Карпов А.А. Разновидности глубоких искусственных нейронных сетей для систем распознава- [20] ния речи // Труды СПИИРАН. 2016. № 6(49). C. 80-103.
DOI: 10.15622/sp.49.5
[9] Рыжков А.П., Катков О.Н., Морозов С.В. Нейросетевые технологии при решении задач разграничения доступа // Вопросы кибербезопасности. 2016. № 3(16). C. 69-76.
URL: https://elibrary.ru/item.asp?id=26273593 (дата обра- [21] щения: 12.04.2018).
[10] Glazkova A.V. Automatic document classification on the basis of text audience age groups in e-learning systems // Modern Information Technology and IT-education. 2016. Vol. 12, issue 3-2. Pp. 50-54. URL: https://elibrary.ru/item. asp?id=27705954 (дата обращения: 12.04.2018). [22]
[11] Басалин П.Д. ИТ-образование с применением интеллектуальной обучающей среды / П.Д. Басалин, Е.А. Кумаги-на, Е.А. Неймарк, А.Е. Тимофеев, И.А. Фомина, Н.Н. Чер-нышова // Современные информационные технологии
и ИТ-образование. 2017. Том 13, № 4. С. 105-111. DOI: [23] 10.25559/SITITO.2017.4.384
[12] Михаилов А.С., Староверов Б.А. Визуализация процесса формирования обучающей выборки для искусственной [24] нейронной сети // Научная визуализация. 2016. Том 8, №
2. С. 85-97. URL: https://elibrary.ru/item.asp?id=26460835 (дата обращения: 12.04.2018).
[13] Воевода А.А., Романников Д.О. Синтез нейронной сети для решения логико-арифметических задач // Труды СПИИ- [25] РАН. 2017. № 5(54). C. 205-223. DOI: 10.15622/sp.54.9
[14] Торопов А.С. Нейросетевое моделирование нетягового электропотребления железных дорог / С.А. Бурдинский, В.К. Кистенев, В.И. Пантелеев, А.С. Торопов // Проблемы электротехники, электроэнергетики и электротехноло- [26] гии: Труды II Всероссийской научно-технической конференции с международным участием 16-18 мая. Ч. 1. Тольятти: ТГУ 2007. 372 с.
[15] Усков А.А. Интеллектуальные технологии управления. Искусственные нейронные сети и нечеткая логика / А.А. Усков, А.В. Кузьмин. М.: Горячая линия - Телеком. 2004. 143 с.
[16] Горшенин А.К. Анализ вероятностно-статистических [27] характеристик осадков на основе паттернов // Информатика и ее применение. 2017. № 4. С. 38-46. DOI: 10.14357/19922264170405
[17] Болтунов Е.В. Нейросетевой метод расширения динамического диапазона аналого-цифрового преобразовате- [28] ля // Перспективы развития информационных технологий. 2011. № 4. С. 79-83. URL: https://elibrary.ru/item. asp?id=21017746 (дата обращения: 12.04.2018).
[18] Николаева И.В. Применение искусственных нейронных [29] сетей для прогнозирования динамики экономических показателей // Сфера услуг: инновации и качество. 2012.
№ 8. С. 22. URL: https://elibrary.ru/item.asp?id=25679701 (дата обращения: 12.04.2018).
Шумских И.Ю., Пиганов М.Н. Использование нейроими-татора для прогнозирования показателей надежности космической аппаратуры / И.Ю. Шумских, М.Н. Пиганов // Региональная научно-практическая конференция, по-свящённая 50-летию первого полёта человека в космос. Самара, 14-15 апреля 2011 г. Самара: Издательство Самарского государственного аэрокосмического университета. 2011. С. 205-207.
Жуков В.Г., Бухтояров В.В. О применении искусственных нейронных сетей с радиальными базисными функциями в задачах обнаружения аномалий в сетевом трафике // Решетневские чтения. 2013. Том 2, № 17. С. 285-286. URL: https://elibrary.ru/item.asp?id=21802174 (дата обращения: 12.04.2018).
Амосов О.С. Оценивание случайных последовательностей с использованием нечетких систем и кластеризации / О.С. Амосов, Д.С. Магола, Е.А. Малашевская // Информатика и системы управления. 2012. № 1(31). С. 146-155. URL: https://elibrary.ru/item.asp?id=17637581 (дата обращения: 12.04.2018).
Бессонов А.А. Обобщенный алгоритм обучения эволюционирующей радиально-базисной сети // Системи оброб-ки шформацн. 2015. № 10. С. 163-166. URL: http://www. hups.mil.gov.ua/periodic-app/article/13422 (дата обращения: 12.04.2018).
Дорофеева Л.И. Моделирование и оптимизация разделительных процессов: учебное пособие. Томск: Изд-во Томского политехнического университета, 2008. 128 с. Абу Суек А.Р.М. Перспективы использования нейронных сетей для оценки качества сырой нефти // REDS: Телекоммуникационные устройства и системы. 2014. Том 4, №4. С. 376-378. URL: https://elibrary.ru/item.asp?id=25663619 (дата обращения: 12.04.2018).
Речнов А.В. Применение нейронных сетей для классификационного анализа // Вестник Российского университета кооперации. 2013. № 4(14). С. 141-144. URL: https:// elibrary.ru/item.asp?id=21608691 (дата обращения: 12.04.2018).
Юдин Д.А., Магергут В.З. Применение метода экстремального обучения нейронной сети для классификации областей изображения // Научные ведомости БелГУ Серия: История. Политология. Экономика. Информатика. 2013. № 8(151), Выпуск 26/1. C. 95-103. URL: https://www.bsu. edu.ru/upload/iblock/a33/%E2%84%968%20(151)%20 %D0%B2%D1%8B%D0%BF%2026_1.pdf (дата обращения: 12.04.2018).
Виноградова Е.Ю. Методология проектирования нейро-сетей для поддержки принятия управленческих решений // Известия ИГЭА. 2011. №4. С. 182-186. URL: https:// elibrary.ru/item.asp?id=16519395 (дата обращения: 12.04.2018).
Сеть радиальных базисных функций [Электронный ресурс] // «MachineLearning.ru» - информационный ресурс. URL: http://www.machinelearning.ru/wiki/index. php?title=RBF (дата обращения: 12.04.2018). Любивая Т.Г. Табличная имитация алгоритмов искусственного интеллекта в MS Excel // NovaInfo.Ru. 2016. Том 4, № 56. С. 251-256.
Vol. 14, no 2. 2018 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
Исследования и разработки в области О.В. Аникина, О.М. Гущина,
новых информационных технологий и их приложений Е.В. Панюкова, Н.Н. Рогова
[30] Аникин В.И., Карманова А.А. Обучение искусственной нейронной сети Кохонена клеточным автоматом // Информационные технологии. 2014. №11. С. 73-80.
[31] Соложенцев Е.Д. Сценарное логико-вероятностное управление риском в бизнесе и технике. СПб.: Издательский дом «Бизнес-пресса», 2004. 432 с.
Поступила 12.04.2018; принята в печать 01.06.2018; опубликована онлайн 30.06.2018.
References
[1] Haykin S. Neural Networks: A Comprehensive Foundation. 1st ed. Prentice Hall PTR Upper Saddle River, NJ, USA. 1994. 768 p.
[2] Adjemov S.S., Klenov N.V., Tereshonok M.V., Chirov D.S. The use of artificial neural networks for classification of signal sources in cognitive radio systems. Programming and Computer Software. 2016; 42(3):121-128. DOI: 10.1134/ S0361768816030026
[3] Kurbatsky V.G., Sidorov D.N., Spiryaev V.A., Tomin N.V. Forecasting Nonstationary Time Series Based on Hil-bert-Huang Transform and Machine Learning. Automation and Remote Control. 2014; 75(5):922-934. DOI: 10.1134/ S0005117914050105
[4] Bogoslovskiy S.N. The scope of neural networks and the prospects for their development. Nauchnyy zhurnal KubGAU = Scientific journal of KubSAU. 2007; 27(3):1-11. (In Russian)
[5] Schegolev A.E., Klenov N.V., Soloviev I.I., Tereshonok M.V. Adi-abatic superconducting cells for ultra-low-power artificial neural networks. Beilstein Journal of Nanotechnology. 2016; 7:1397-1403. DOI: 10.3762/bjnano.7.130
[6] Ignatenkov A.V., Ol'shanskij A.M. Application of an artificial neural network for scheduling processes on the example of the train schedule. Modern Information Technologies and IT-Education. 2015; 11(2):50-55. Available at: https://eli-brary.ru/item.asp?id=26167466 (accessed 12.04.2018). (In Russian)
[7] Kipyatkova I.S., Karpov A.A. A study of neural network Russian language models for automatic continuous speech recognition systems. Automation and Remote Control. 2017; 78(5):858-867. DOI: 10.1134/S0005117917050083
[8] Kipjatkova I.C., Karpov A.A. Variants of deep artificial neural networks for speech recognition systems. Trudy SPIIRAN = SPIIRAS Proceedings. 2016; 6(49):80-103. (In Russian) DOI: 10.15622/sp.49.5
[9] Ryzhkov A.P., Katkov O.N., Morozov S.V. Neural network technologies in the decision of tasks of differentiation of access. Voprosy kiberbezopasnosti = Cybersecurity issues. 2016; 3(16):69-76. Available at: https://elibrary.ru/item.as-p?id=26273593 (accessed 12.04.2018). (In Russian)
[10] Glazkova A.V. Automatic document classification on the basis of text audience age groups in e-learning systems. Modern Information Technology and IT-education. 2016; 12(3-2):50-54. Available at: https://elibrary.ru/item.asp?id=27705954 (accessed 12.04.2018).
[11] Basalin P.D., Kumagina E.A., Nejmark E.A., Timofeev A.E., Fo-mina I.A., Chernyshova N.N. IT education with an intelligent learning environment. Modern Information Technologies and IT-Education. 2017; 13(4):105-111. (In Russian) DOI: 10.25559/SITITO.2017.4.384
[12] Mikhailov A.S., Staroverov B.A. Visualization of training sample creation process for artificial neural network. Nauchna-ja vizualizacija = Scientific Visualization. 2016; 8(2):85-97. Available at: https://elibrary.ru/item.asp?id=26460835 (accessed 12.04.2018). (In Russian)
[13] Voevoda A.A., Romannikov D.O. Synthesis of neural network for solving logical-arithmetic problems. Trudy SPIIRAN = SPIIRAS Proceedings. 2017; 5(54):205-223. (In Russian) DOI: 10.15622/sp.54.9
[14] Burdinskiy S.A., Kistenev V.K., Panteleyev V.I., Toropov A.S. 2007. Neural network modeling of non-tidal electricity consumption of railways. Proceedings of the Second All-Russian Scientific and Technical Conference with international participation "Problems of electrical engineering, power engineering and electrotechnology". Togliatti: TSU. 372 p. (In Russian)
[15] Uskov A.A., Kuzmin AV. Intelligent control technologies. Artificial neural networks and fuzzy logic. M.: Goryachaya liniya - Telekom, 2004. 143 p. (In Russian)
[16] Gorshenin A.K. Pattern-based analysis of probabilistic and statistical characteristics of extreme precipitation. Informatics and Applications. 2017; 4:38-46. (In Russian) DOI: 10.14357/19922264170405
[17] Boltunov E.V. Neural network method of expanding the dynamic range of an analog-to-digital converter. Prospects for the development of information technologies. 2011; 4:79-83. Available at: https://elibrary.ru/item.asp?id=21017746 (accessed 12.04.2018). (In Russian)
[18] Nikolaeva I.V. Application of artificial neural networks for forecasting the dynamics of economic indicators. Sfera uslug: innovatsii i kachestvo = Services: innovation and quality. 2012; 8:22. Available at: https://elibrary.ru/item.as-p?id=25679701 (accessed 12.04.2018). (In Russian)
[19] Shumskikh l.Yu., Piganov M.N. The use of a neuroimitator for predicting the reliability of space equipment. Regional scientific and practical conference dedicated to the 50th anniversary of the first manned flight into space. Samara, April 14-15, 2011. Samara: Publishing house of the Samara State Aerospace University, 2011. Pp. 205-207. (In Russian)
[20] Zhukov V.G., Bukhtoyarov V.V. On the application of artificial neural networks with radial basis functions in the problems of detecting anomalies in network traffic. Reshetnevskiye cht-eniya = Reshetnevsky readings. 2013; 2(17):285-286. Available at: https://elibrary.ru/item.asp?id=21802174 (accessed 12.04.2018). (In Russian)
[21] Amosov O.S., Magola D.S., Malashevskaya E.A. Estimation of Random Sequences Using Fuzzy Systems and Clustering. In-formatika i sistemy upravleniya = Informatics and Control Systems. 2012; 1(31):146-155. Available at: https://elibrary.ru/ item.asp?id=17637581 (accessed 12.04.2018). (In Russian)
[22] Bessonov A.A. A generalized learning algorithm for an evolving radial-basis network. Sistemi obrobki fnformatsn = Information processing systems. 2015; 10:163-166. Available at: http://www.hups.mil.gov.ua/periodic-app/article/13422 (accessed 12.04.2018). (In Russian)
[23] Dorofeyeva L.l. Modeling and Optimization of Separation Processes: Textbook. Tomsk: Publishing house of Tomsk Polytechnic University, 2008. 128 p. (In Russian)
[24] Abu Suek A.R.M. Prospects for the use of neural networks for assessing the quality of crude oil. REDS: Telekommunikatsion-nyye ustroystva i sistemy = REDS: Telecommunication devices
Современные информационные технологии и ИТ-образование
Том 14 № 2 (2018) ISSN 2411-1473 sitito.cs.msu.ru
and systems. 2014; 4(4):376-378. Available at: https://eli-brary.ru/item.asp?id=25663619 (accessed 12.04.2018). (In Russian)
[25] Rechnov A.V. Application of neural networks for classification analysis. Vestnik Rossiyskogo universiteta kooperatsii = Bulletin of the Russian University of Cooperation. 2013; 4(14):141-144. Available at: https://elibrary.ru/item.asp?id=21608691 (accessed 12.04.2018). (In Russian)
[26] Yudin D.A., Magergut V.Z. Application of the method of extreme training of the neural network for the classification of image areas. Nauchnyye vedomosti BelGU. Seriya: Istoriya. Politologiya. Ekonomika. Informatika = Scientific Bulletin of BelGU. Series: History. Political science. Economy. Computer science. 2013; 26/1:95-103. Available at: https://www.bsu. edu.ru/upload/iblock/a33/%E2%84%968%20(151)%20 %D0%B2%D1%8B%D0%BF%2026_1.pdf (accessed 12.04.2018). (In Russian)
[27] Vinogradova E.Yu. Methodology for designing neural networks to support the adoption of managerial decisions. Izves-
tiya IGEA = News IGEA. 2011; 4:182-186. Available at: https:// elibrary.ru/item.asp?id=16519395 (accessed 12.04.2018). (In Russian)
[28] Network of radial basis functions. MachineLearning.ru. Available at: http://www.machinelearning.ru/wiki/index.php?ti-tle=RBF (accessed 12.04.2018). (In Russian)
[29] Lyubivaya T.G. Table simulation of artificial intelligence algorithms in MS Excel. Novalnfo.Ru. 2016; 4(56):251-256. (In Russian)
[30] Anikin V.I., Karmanova A.A. Training of the artificial neural network of Kohonen by a cellular automaton. Informatsion-nyye tekhnologii = Information technologies. 2014; 11:73-80. (In Russian)
[31] Solozhentsev E.D. Scenario logic-probabilistic risk management in business and technology. SPb.: Publishing house "Business Press", 2004. 432 p. (In Russian)
Submitted 12.04.2018; revised 01.06.2018; published online 30.06.2018.
About the authors:
Oksana V. Anikina, Candidate of Technical Sciences, Associate professor, Department of Applied mathematics and Computer Science, Togliatti State University (14 Belorusskaya Str., Togliatti 445020, Samara Region, Russia), ORCID: http://orcid.org/0000-0002-0676-0372, [email protected] Oksana M. Gushchina, Candidate of Pedagogical Sciences, Associate professor, Department of Applied mathematics and Computer Science, Togliatti State University (14 Belorusskaya Str., Togliatti 445020, Samara Region, Russia), ORCID: http://orcid.org/0000-0003-2381-8537, [email protected] Ekaterina V. Panyukova, Candidate of Pedagogical Sciences, Associate professor, Department of Applied mathematics and Computer Science, Togliatti State University (14 Belorusskaya Str., Togliatti 445020, Samara Region, Russia), ORCID: http://orcid.org/0000-0002-2372-754X, [email protected] Natalia N. Rogova, Senior Lecturer, Department of Applied mathematics and Computer Science, Togliatti State University (14 Belorusskaya Str., Togliatti 445020, Samara Region, Russia), ORCID: http://orcid.org/0000-0001-6911-8013, [email protected]
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by/4.0), which permits unrestricted reuse, distribution, and reproduction in any medium provided the original work is properly cited.
Vol. 14, no 2. 2G1S ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
