CC BY
215
компьютер в учебном процессе
□□□□□
Компьютерные инструменты в образовании, 2018 № 4: 35-44
УДК: 004.58[159.91+37.025]
http://ipo.spb.ru/journal
doi:10.32603/2071-2340-4-35-44
СРЕДСТВА ОЦЕНКИ УРОВНЯ КОГНИТИВНОЙ НАГРУЗКИ
В ПРОЦЕССЕ ОБУЧЕНИЯ
Горюшко С. М.1, Самочадин А. В.2
1ООО «Лаборатория знаний», Санкт-Петербург, Россия 2Санкт-Петербургский политехнический университет Петра Великого, Санкт-Петербург, Россия
Аннотация
Оценка уровня когнитивной нагрузки на обучаемого является одной из важных компонент при разработке и реализации учебных материалов и мероприятий. Согласно определению Джона Свеллера, когнитивная нагрузка отражает ресурсы, затрачиваемые рабочей памятью человека. Одним из способов повысить эффективность образовательного процесса является определение периодов индивидуальной когнитивной перегрузки и связанных с ней ошибок. Выявление когнитивной перегрузки становится особенно важным при создании дистанционных образовательных курсов и преподавания сложных тем.
В настоящей работе описывается подход к оценке когнитивной нагрузки, реализованный на базе аппаратно-программного комплекса (АПК), обеспечивающего сбор и обработку информации для решения задач оценки психофизиологических состояний человека. На основе информации, собираемой комплексом, реализован алгоритм построения модели классификаторов психофизиологических состояний. Алгоритм основан на использовании базовых статистических инструментов. В работе приведена модель определения когнитивной нагрузки на основе фронтального тэта-ритма (4-7 Гц), регистрируемого энцефалографом потребительского класса, разработан порядок экспериментальной апробации модели на основе теста Стерн-берга, приведены критерии и результаты оценки точности созданной модели.
Апробация предложенного подхода показала достаточный уровень точности, сравнимый с моделями, опирающимися на определение психоэмоционального состояния при помощи методов машинного обучения.
Ключевые слова: когнитивная нагрузка, моделирование когнитивной нагрузки, ЭЭГ, экспериментальная оценка модели.
Цитирование: Горюшко С. М., Самочадин А. В. Средства оценки уровня когнитивной нагрузки в процессе обучения // Компьютерные инструменты в образовании. 2018. № 4. С. 35-44. doi:10.32603/2071-2340-4-35-44
Благодарности: Работа подготовлена в ходе реализации проекта в рамках Постановления Правительства РФ от 09.04.2010 г. № 218 при финансовой поддержке Министерства образования и науки РФ (Договор № 03.G25.31.0247 от28.04.2017 г.)
1. ВВЕДЕНИЕ
Оценка уровня когнитивной нагрузки на обучаемого является одной из важных компонент при разработке и реализации учебных материалов и мероприятий. Высокий уровень когнитивной нагрузки и превышение, в связи с этим, возможностей обучаемого к переработке и сохранению информации приводит к резкому снижению способности к обучению, ослаблению понимания, увеличению вероятности ошибок при выполнении задач [1].
Существуют различные методы оценки когнитивной нагрузки. Подходы, основанные на статистической оценке текстов на основе лингвистических параметров [2], позволяют быстро и достаточно объективно оценить когнитивную сложность учебных материалов. Вместе с тем применение этих подходов ограничивает отсутствие подтвержденной связи лингвистических параметров учебных материалов с вызываемой ими когнитивной нагрузкой обучаемого [2].
Когнитивная нагрузка может оцениваться и как снижение темповых характеристик деятельности и качества выполнения заданий [3]. Тем не менее, этот подход требует сложных лабораторных испытаний и не может использоваться в реальном учебном процессе.
Наиболее популярные подходы к оценке когнитивной нагрузки связаны с применением средств инструментального наблюдения за психофизиологическими параметрами когнитивных процессов: на основе окулографических показателей [4] и, в особенности, на базе оценки показателей суммарной электрической активности мозга (ЭЭГ). В рамках последнего подхода проведено достаточное количество работ, которые показывают, что когнитивная нагрузка коррелирует со спектральными характеристиками ЭЭГ, преимущественно в диапазонах тэта-ритмов (4-7 Гц) и нижних частотах альфа-ритмов (8-10 Гц) [5, 6]. Также опубликованы работы, в которых сформулировано бинарное определение когнитивной нагрузки с помощью методов машинного обучения, таких как искусственные нейронные сети, алгоритмы глубокого обучения и классификационные деревья [11]. Однако до последнего времени направление, связанное с применением инструментального наблюдения за психофизиологическими параметрами когнитивных процессов, являлось весьма затратным [2], что существенно затрудняло его применение в целях практической оценки когнитивной нагрузки в процессе обучения.
Развитие нейротехнологий привело к созданию устройств, позволяющих регистрировать психофизиологические параметры с устойчивым качеством регистрируемого сигнала и удобством ношения (MUSE Interaxon Emotiv Insight, Brainlink и др.) [6]. В связи с этим возникла возможность разработки на базе этих устройств инструментальных комплексов, позволяющих обеспечивать сбор необходимой информации для решения задач оценки психофизиологических состояний человека, в том числе и когнитивной нагрузки в процессе обучения.
В настоящей работе описывается подход к оценке когнитивной нагрузки, реализованный на базе разработанного в рамках проекта «Создание высокотехнологичного производства российского устройства на основе технологии биоуправления для повышения производительности интеллектуального труда работников инженерных специальностей» аппаратно-программного комплекса (АПК), в состав которого входят удобные в использовании датчики.
Разработанный АПК предназначен для сбора и обработки информации с целью оценки психофизиологического состояния человека и повышения эффективности его дея-
тельности. Комплекс реализует измерение ряда электрофизиологических и биологических параметров человека, в том числе ЭЭГ, двигательной активности, пульса и температуры тела. Измерение этих параметров производится с помощью специально разработанной аппаратуры, а также бытовых датчиков, таких как неинвазивные нейроин-терфейсы Emotiv Insight и MUSE, фитнесс-браслет Mio Link. Помимо биологических показателей, АПК обеспечивает сбор и обработку данных о деятельности пользователя, выполняемой с помощью компьютера: ввод данных с помощью мыши и клавиатуры, запуск и завершение приложений, действия в браузере и средах разработки. История событий может быть сохранена в центральной базе данных. АПК включает инструменты для управления данными и их визуализации, а также средства аутентификации, авторизации, управление правами доступа к данным, их передачей на различные устройства пользователя и в ценральную базу данных.
Собираемые данные обрабатываются в двух режимах. В режиме реального времени производится потоковая обработка в соответствии с набором моделей, на основе которых формируется обратная связь с пользователем. Средствами АПК выполняется определение психофизиологического состояния (сосредоточенность, высокая работоспособность, высокий уровень когнитивной нагрузки, усталость, стресс) и формирование рекомендаций о режиме работы и отдыха с учетом текущего состояния. С помощью потокового анализа можно выявлять желательные и нежелательные состояния и формировать рекомендации на основе общих и персонализированных моделей. Другой режим обработки данных — анализ и статистическая обработка накопленных за длительный период времени данных для уточнения существующих и разработки новых моделей.
Оценка когнитивной нагрузки является важной составляющей модуля анализа психофизиологического состояния пользователя. В статье описывается модель, на основе которой производится оценка когнитивной нагрузки и результаты ее экспериментальной проверки.
2. МОДЕЛЬ ОЦЕНКИ КОГНИТИВНОЙ НАГРУЗКИ
В настоящий момент выделяют следующие формы когнитивной нагрузки [10]:
— внутренняя нагрузка (intrinsic load);
— внешняя нагрузка (extraneous load);
— соответствующая нагрузка (germane load).
Внутренняя когнитивная нагрузка определяется взаимодействием между характером изучаемого материала и опытом учащихся. Нагрузка рабочей памяти зависит от количества элементов, которые должны обрабатываться одновременно в рабочей памяти, а количество элементов, которые должны обрабатываться одновременно, в свою очередь, зависит от степени интерактивности элемента. Элемент в данной ситуации -любой изучаемый объект [9]. Чем больше количество элементов входит в изучаемый предмет, тем сложнее он для изучения.
Внешняя когнитивная нагрузка отражает усилия по преодолению формы подачи информации (визуальный, аудиальный и др.). Внешняя нагрузка во много определяется дизайном учебных материалов. К примеру, внешняя нагрузка при объяснении особенностей геометрических фигур будет ниже при графическом представлении изучаемых объектов и выше — при аудиальном.
Соответствующая нагрузка отображает затраты по переводу построенных схем взаимодействия элементов из рабочей в долговременную память.
Цель преподавателя в соответствии с теорией когнитивной нагрузки — сокращать внешнюю когнитивную нагрузку, увеличивать соответствующую нагрузку и управлять внутренней нагрузкой учащихся [3].
В АПК используется простые и доступные классификаторы на основании методов анализа базовых статистических показателей, что позволяет избегать необходимости обучения классификатора, делает его более прозрачным и доступным в настройке под задачи конкретных пользователей.
3. ПРИНЦИПЫ ПОСТРОЕНИЯ МОДЕЛИ ОПРЕДЕЛЕНИЯ ПСИХОЭМОЦИОНАЛЬНОГО СОСТОЯНИЯ ЧЕЛОВЕКА
Пусть имеется множество потоков данных D = [Di(t),...,Dn(t)], где n — количество потоков исходных данных, а Di (t) — поток исходных данных от i-го источника. В каждый момент времени t0 данные в каждом потоке принимают некоторое численное значение Di (t0). При этом все потоки данных должны быть синхронизованы между собой, то есть иметь один и тот же период дискретизации At, так чтобы для каждого зафиксированного момента t0 значения Di(t0) и Di(t0 + At) существовали для каждого i, то есть для всех источников данных. При этом период дискретизации должен быть достаточно малым, чтобы обеспечивать достаточную точность для всех измеряемых параметров. Если D представляет собой изменяющийся во времени вектор (или массив) сырых данных, то необходим также массив индикаторов, то есть показателей, позволяющих интерпретировать данные и осуществлять на основе этих данных управляющие воздействия. Обозначим массив индикаторов за I = [Ii(t),...,Im(t)], где m — количество индикаторов. Каждый индикатор, в общем случае, может быть построен на нескольких источниках данных или даже использовать все имеющиеся источники данных, то есть Ij = Ij(Di(t),...,Dn(t)). Значение индикатора — это некоторая функция обработки, например, очистка от шума, выделение частот с помощью преобразования Фурье и так далее. Функция может быть простой (состоящей из одного преобразования), или сложной, то есть включающей несколько последовательных преобразований, или вложенных функций.
Для текущей экспертной оценки модели когнитивной нагрузки входными данными является поток ЭЭГ-сигнала с электрода AF7. На уровне индикаторов происходит последовательная обработка следующего вида.
1. Сигнал проходит полосно-заградительный фильтр.
2. Сигнал проходит дополнительную фильтрацию, удаляющую резкие высокоамплитудные выбросы текущем скользящем окне обработки.
3. Производится быстрое преобразование Фурье.
4. Оценивается мощность спектра в тэта-диапазоне, выделяются средние значения амплитуд, среднеквадратичное отклонение (СКО) за текущее окно анализа.
5. Данные о средних значения и СКО конкретного пользователя сохраняются в Базе данных (БД).
6. Вычисляются статистические показатели (мода, медиана, СКО и пр.) за весь период записи.
Следующий уровень модели — триггеры. Под триггерами понимаются условия, выполнение которых приводит к формированию обратной связи. Триггер основывается на одном или нескольких индикаторах и предполагает, что эти значения этих индикаторов соответствуют определённому шаблону. Самый простой вид триггера — это выход
какого-либо индикатора за границу допустимых значений сверху или снизу. Например, превышение частоты сердечных сокращений предельно допустимого порога.
В апробируемой модели классификации когнитивной нагрузки триггером является сильный рост тэта-ритма, рассчитываемый как выход текущего значения тэта-ритма за 1.5 СКО, рассчитанного по всем имеющимся данным пользователя. Для отсева резких изменений исходного параметра, не связанных с переходом в состояние высокой когнитивной нагрузки, используется дополнительное условие - для срабатывания триггера выход за исходного параметра за границы должен удерживаться более 10 секунд. Данный классификатор является бинарным и свидетельствует только о выходе когнитивной нагрузки за допустимые пределы. Когда условие, заложенное в триггере, выполняется, этот триггер вызывает одно или несколько событий, полное пространство которых задано массивом возможных сообщений обратной связи 5(Т) = [5]. Совокупность триггеров составляет множество Т = [ Тх,..., Тк].
Общая схема модели определения психоэмоционального состояния человека представлена на рисунке 1.
Рис. 1. Общая схема модели определения психоэмоционального состояния человека
В сокращенном виде модель можно представить следующим образом:
• D = ThetaAF 7
• I1 = Filter(D) (результат фильтрации)
• I2 = D (среднее значение)
• I3 = SD(D) (стандартное отклонение)
• T = Ii > (I2 + 1,5 x I3) более 10 секунд
• S = «Когнитивная перегрузка»
4. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ МЕТОДА ОЦЕНКИ КОГНИТИВНОЙ НАГРУЗКИ
4.1. Методика исследования
Для предварительной проверки адекватности модели оценки когнитивной нагрузки был проведен эксперимент. В нем принимали участие 5 человек, 21-37 лет, праворукие,
без медицинской истории неврологических и психиатрических отклонений. В рамках эксперимента в АПК использовалась нейрогарнитура Muse Interaxon 2016 вместе с поставляемым открытым SDK, предоставляющим доступ как к исходным данным (волна ЭЭГ в конкретной точке), так и к обработанным данным по абсолютным и относительным мощностям ритмов, сведениям об артефактах моргания и напряжения челюстей.
Для проведения эксперимента использовался модифицированный тест Стернберга, реализованный в системе PEBL (The Psychology Experiment Building Language) [7]. В рамках тестирования от испытуемого требуется запомнить последовательность из согласных букв заданной длины (2-10) букв и затем определять, входила ли отображаемая на экране буква в исходную последовательность. Время ответа и количество ошибок фиксируется автоматически.
Порядок проведения экспериментальной оценки модели.
1. С каждым испытуемым производится запись фонового состояния для сбора статистики об индивидуальных границах изменчивости тэта-ритма в течение 10 минут.
2. Испытуемые проходят тест Стернберга [8] со следующими параметрами:
- одно пробное предъявление двухбуквенной последовательности для ознакомления,
- две серии предъявления последовательностей для запоминания, состоящих из 2, 4, 6, 8,10 неповторяющихся согласных букв.
Для каждого размера последовательности производится по 25 предъявлений букв для оценки. Последовательность предъявляемых букв и размерность предъявляемых рядов одинакова в обеих сериях.
4.2. Обработка результатов
Для каждого испытуемого экспертным способом определен размер последовательности для запоминания, при которых когнитивная нагрузка чрезмерна (по увеличению количества ошибок и увеличению времени дачи ответа).
В соответствии с моделью для каждого испытуемого рассчитано время срабатывания триггера «Когнитивная нагрузка» и общее время выполнения той или иной части тестирования.
Срабатывание триггера считается правильным (true positive, TP), если оно произошло во время работы с последовательностью, вызывающей чрезмерную когнитивную нагрузку. Несрабатывание триггера в это время считается пропуском релевантного сигнала. (false negative, FN, ошибка второго рода). Срабатывание триггера во время работы с простыми для испытуемого последовательностями считается ложным срабатыванием (false positive, FP, ошибка первого рода). Несрабатывание триггера во время работы с простыми для испытуемого последовательностями, инструкцией и пробным заданием считается корректным отрицанием (true negative, TN).
Для каждого испытуемого проведен рассчет точности (Precision), полноты (Recall) и F-меры (F1-score) апробируемой модели для конкретного испытуемого по следующим формулам.
Precision = TP/(TP + FP)
Recall = TP/(TP + FN) Precisionx Recall
F Ь2х
Precision + Recall
Данные по всем испытуемым были усреднены и на их основе была рассчитана общая Б-мера, являющаяся характеристикой точности модели классификатора когнитивной нагрузки.
На рисунке 2 показан принцип срабатывания модели и определения точности классификатора. В качестве примера используется график изменения мощности тэта-ритма во времени. Пунктиром обозначена пороговая граница срабатывания модели, после которой пересечения которой начинается отсчет времени до срабатывания триггера. Зеленым цветом отмечены периоды правильного срабатывания классификатора (И — истинное определение; ТР, ИО — истинное отрицание, ТЫ), красным — периоды неправильной классификации (О1, О2 — ошибки первого и второго рода соответственно).
Рис. 2. Визуализация обработки результатов срабатывания модели классификатора 4.3. Результаты
4.3.1. Результаты усреднения теста Стернберга по группе испытуемых
В ходе оценки модели когнитивной нагрузки были получены результаты:
• Для всех испытуемых задание с восемью и десятью элементами является критическим с точки зрения когнитивной нагрузки.
• Последовательность с шестью элементами отличается по времени реакции и доле правильных ответов для двоих испытуемых.
• Среднее время выполнения теста — 587 секунд, среднее время выполнения заданий с высокой когнитивной нагрузкой — 171,2 секунды.
• Среднее время чтения инструкции, выполнения пробного задания и заданий с низкой когнитивной нагрузкой — 428,7 секунды.
В таблице 1 приведены результаты теста со значениями стандартного отклонения, отражающего вариабельность в работе с заданием, использующим рабочую память.
4.3.2. Результаты оценки точности модели когнитивной нагрузки по всем испытуемым
По результатам экспертной оценки модели когнитивной нагрузки было выявлено, что текущая модель обладает относительно высокой точностью, но низкой полнотой.
Данная оценка является следствием установления условия срабатывания модели только в случае выхода за заданные границы более, чем на 10 секунд, что приводит к значительному увеличению количества случаев пропуска события и снижению числа ложных срабатываний.
Таблица 1. Усредненные результаты теста Стернберга по группе испытуемых
Размер последовательности, буквы Время реакции + SD, мс Доля верных ответов + SD
2 936+250 0,9625 + 0,03
4 958 + 240 0,965 + 0,06
6 1172+421 0,955 + 0,04
8 1381+581 0,895 + 0,07
10 1370+572 0,79 + 0,13
С точки зрения анализа когнитивной нагрузки это не представляется серьёзным недостатком, так как сложность заданий или тестов изменяется не так быстро, как в рамках экспериментальной апробации. Тем не менее, исследователи и практики могут самостоятельно задавать критерии срабатывания триггеров (например, порог роста тэта-активности), исходя из собственных задач, тем самым изменяя характеристики точности модели.
В таблице 2 показаны усредненные показатели точности модели по всем испытуемым.
Таблица 2. Усредненные показатели точности модели по всем испытуемым
Показатель Значение
Точность (precision) 0,78
Полнота (recall) 0,58
F-мера (F1 score) 0,67
5. ЗАКЛЮЧЕНИЕ И ВЫВОДЫ
В работе описан алгоритм оценки когнитивной нагрузки, реализованный в рамках АПК для оценки психофизиологических состояний человека. Алгоритм апробирован в режиме реального времени в рамках экспериментального исследования.
По результатам экспертной оценки модель показала точность, сравнимую с точностью классификаторов на основе машинного обучения для фронтальных отведений ЭЭГ [12], несмотря на использование простого и доступного инструментария записи и обработки данных. Текущая модель готова к использованию в практической психофизиологии, связанной с повышением производительности интеллектуального труда, предотвращением ошибок диспетчерских служб.
Однако, у настоящего исследования есть несколько методологических недостатков, к которым относятся малое количество испытуемых, ограниченное количество анализируемых биологических сигналов и низкая экологическая валидность. Дальнейшие исследования будут направлены на устранение выявленных недостатков за счет использования иных средств регистрации сигналов и проведения полевой апробации, с использованием экологических критериев (таких, как усваиваемость учебных материалов, скорость самостоятельного изучения материалов).
Список литературы
1. Carr N. G. The Shallows: What the Internet is Doing to Our Brains. New York: W. W. Norton &
Company, 2010.
2. Самсонов Н. Б., Чмыхова Е. В., Давыдов Д. Г. Разработка и апробация лингвистической методики оценки когнитивной сложности научно-учебного текста // Психологические исследования, 2015. Т. 8, № 41. URL: http://psystudy.ru/index.php/num/2015v8n41/1138-samsonov41.html (дата обращения 01.11.2018).
3. Ayres P. Using subjective measures to detect variations of intrinsic cognitive load within problems // Learning and Instruction, 2006. № 16 (5). doi: 10.1016/j.learninstruc.2006.09.001
4. ШуруповаМ. А., Красноперов А. В., Терещенко Л. В., Латанов А. В. Влияние когнитивного задания на параметры движений глаз при просмотре статических и динамических сцен // Барабанщиков В. А. (ред.) Айтрекинг в психологической науке и практике. М.: Когито-Центр, 2016. С. 202-212.
5. Klimesch W. EEG alpha and theta oscillations reflect cognitive and memory performance: a review and analysis // Brain research reviews, 1999. № 29 (2-3). P. 169-195.
6. Krigolson O. E., Williams, C. C., Norton, A., Hassall, C. D., Colino, F. L. Choosing MUSE: Validation of a low-cost, portable EEG system for ERP research // Frontiers in neuroscience, 2017. Т. 11. № 109. doi: 10.1016/S0165-0173(98)00056-3
7. Mueller S. T., Piper, B. J. The psychology experiment building language (PEBL) and PEBL test battery // Journal of neuroscience methods, 2014. № 222. С. 250-259. doi: 10.1016/j.jneumeth.2013.10.024
8. Sternberg S. Memory scanning: New findings and current controversies // Quarterly Journal of Experimental Psychology, 1975. Issue 27 (1). P. 1-32.
9. Sweller J. Element interactivity and intrinsic, extraneous, and germane cognitive load. Educational psychology review, 2010. № 22 (2). P. 123-138. doi: 10.1007/s10648-010-9128-5
10. Sweller J. Cognitive load during problem solving: Effects on learning. Cognitive science, 1988. № 12 (2). С. 257-285. doi: 10.1016/0364-0213(88)90023-7
11. Wilson G. F., Russell, C. A. Real-time assessment of mental workload using psychophysiological measures and artificial neural networks // Human factors, 2003. № 45 (4). P. 635-644. doi: 10.1518/hfes.45.4.635.27088
12. Zarjam P., Epps, J., Chen, F. Spectral EEG features for evaluating cognitive load. // Engineering in Medicine and Biology Society, EMBC, 2011 Annual International Conference of the IEEE, 2011. P. 3841-3844.
13. Поликанова И. С., Сергеев, А. В. Влияние длительной когнитивной нагрузки на параметры ЭЭГ // Национальный психологический журнал, 2014. № 1 (13). doi: 10.11621/npj.2014.0109
Поступила в редакцию 04.07.2018, окончательный вариант — 09.08.2018.
Computer tools in education, 2018 № 4: 35-44
http://ipo.spb.ru/journal doi:10.32603/2071-2340-4-35-44
TOOLS FOR COGNITIVE LOAD EVALUATION IN THE EDUCATION PROCESS
Goryushko S. M.1, Samochadin A. V.2
1 Knowledge Lab, Saint Petersburg, Russia 2Peter the Great Saint Petersburg Polytechnic University, Saint Petersburg, Russia
Abstract
Cognitive load evaluation is an approach to boost educational efficiency. According to John Sweller, cognitive load represents the effort being used by working memory. Cognitive load and overload classification can become useful for creating educational courses.In
this paper, we describe an algorithm for a mental-state cognitive load classifier based on basic statistical instruments. We show the cognitive load model based on low-cost EEG frontal theta-activity (4-7 Hz) registration. We also describe an experimental algorithm to evaluate the model with Sternberg-task and show the results in terms of precision, recall, and F-score.
During the approbation, the described model had shown results, that are comparable to the ones of machine-learning mental-state classifiers.
This paper can be used as an instruction to quick creation and approbation of practice-oriented cognitive load models.
Keywords: cognitive load, cognitive load modeling, EEG, experimental model evaluation.
Citation: S. M. Goryushko, A. V. Samochadin, "Tools for Cognitive Load Evaluation in the Education Process," Computer tools in education, no. 4, pp. 35-44, 2018 (in Russian). doi: 10.32603/2071-2340-4-35-44.
Acknowledgements: This research is a part of the joint project by Intelin LLC (Moscow, Russia) and Peter the Great St. Petersburg Polytechnic University (St. Petersburg, Russia). This work is financially supported by the Ministry of Education and Science of the Russian Federation (state contract 03.G25.31.0247 from 28.04.2017).
Received 04.07.2018, the final version — 09.08.2018.
Sergey M. Goryushko, Knowledge Lab, [email protected]
Alexander V. Samochadin, Head of Mobile device management laboratory,
Institute of Computer Science and Control, SPbPU, [email protected]
© Наши авторы, 2018. Our authors, 2018.
Горюшко Сергей Михайлович, ООО «Лаборатория знаний» [email protected]
Самочадин Александр Викторович, кандидат технических наук, заведующий лабораторией «Системы управления мобильными устройствами» ИКНТ СПбПУ, [email protected]
