CC BY
75МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ, ЧИСЛЕННЫЕ МЕТОДЫ И КОМПЛЕКСЫ ПРОГРАММ
УДК 004.42, 004.52
РАСПОЗНАВАНИЕ РЕЧЕВЫХ КОМАНД С ИСПОЛЬЗОВАНИЕМ НЕЙРОННЫХ СЕТЕЙ
Статья поступила в редакцию 20.05.2020, в окончательном варианте — 20.09.2020.
Егунов Виталий Алексеевич, Волгоградский государственный технический университет, 400005, Российская Федерация, г. Волгоград, пр. им. Ленина, 28
кандидат технических наук, доцент, ORCID: https://orcid.org/0000-0001-9087-3275, e-mail: vegunov@mail.ru
Панюлайтис Станислав Владимирович, Волгоградский государственный технический университет, 400005, Российская Федерация, г. Волгоград, пр. им. Ленина, 28
магистрант, e-mail: staspan34@gmail.com
Целью данной работы являлось упрощение управления различными автоматизированными системами, к которым в данном случае относятся средства помощи инвалидам, система «умный дом» и т.д. Управление данными системами осуществляется с помощью организации человеко-машинного интерфейса с использованием нейронных сетей. Основой данного интерфейса является распознавание голосовых команд системой на базе микроконтроллера с относительно невысокими вычислительными характеристиками. Реализованная в ходе работы нейросеть превосходит популярную библиотеку FANN [11] по точности, скорости обучения, скорости распознавания и требуемым аппаратным ресурсам. Проведена исследовательская работа, в результате которой получена оптимальная структура искусственной нейронной сети, предназначенной для распознавания речевых команд, разработаны соответствующие алгоритмы и программа. Разработана методика, использующая нейросе-тевые технологии, позволяющая быстро и эффективно осуществлять обучение системы распознавания на микроконтроллере. Исследовано влияние шума и топологии нейросети на качество распознавания.
Ключевые слова: распознавание речи, нейронные сети, библиотека FANN, голосовое управление, скрытые марковские модели, дискретное преобразование Фурье
Графическая аннотация (Graphical annotation)
Подготовка речи
J
Нейросетевое распознавание
Data
I Данные
Данные в текст
Speech preparation Neural network recognition Data to text
on microcontroller на микроконтроллере
ESP8266EX
RECOGNITION OF SPEECH COMMANDS USING NEURAL NETWORKS
The article was received by the editorial board on 20.05.2020, in the final version — 20.09.2020.
Egunov Vitaly A., Volgograd State Technical University, 28 Lenin Ave., Volgograd, 400005, Russian Federation
Cand. Sci. (Engineering), ORCID: https://orcid.org/0000-0001-9087-3275, e-mail: vegunov@mail.ru Paniulaitis Станислав V., Volgograd State Technical University, 28 Lenin Ave., Volgograd, 400005, Russian Federation
master student, e-mail: staspan34@gmail.com
The purpose of this work was to simplify the management of various automated systems, which in this case include AIDS for the disabled, the "smart home" system, etc. These systems are managed by organizing a human-machine interface using neural networks. The basis of this interface is the recognition of voice commands by a system based on a microcontroller with relatively low computational characteristics. The implemented neural network surpasses the popular FANN library [11] in terms of accuracy, learning speed, recognition speed, and required hardware resources. Research work aimed at obtaining the optimal structure of an artificial neural network designed for speech command recognition has been carried out, and appropriate algorithms and software have been developed. A technique based on neural network technologies has been developed that allows fast and efficient training of the recognition system on a microcontroller. The influence of noise on the quality of recognition is determined, and the influence of neural network topology on the quality of recognition has been determined.
Keywords: speech recognition, neural networks, FANN library, voice control, hidden Markov models, discrete Fourier transform
Введение. С каждым годом технологии развиваются все стремительнее. Результатом данного развития становится появление огромного количества самых разных вычислительных систем. Данные устройства интегрируются в нашу повседневную жизнь, становятся не просто мобильными, а очень компактными. Современный человек может постоянно носить с собой несколько сложных интеллектуальных систем, необходимых ему в жизни. Смарт-часы, умные фитнес-браслеты и даже устройства дополненной реальности уже сейчас стали широко доступны. Взаимодействие человека с подобными устройствами может сильно отличаться от взаимодействия со смартфонами.
Все более важной становится задача взаимодействия человека с подобными системами [2], постоянно растет потребность в организации новых способов коммуникации. С этой точки зрения голосовое управление активно развивается, достаточно хорошо зарекомендовало себя в самых разных областях вычислительной техники.
Компактность современных вычислительных систем позволяет использовать их в качестве основы для построения систем управления различными объектами, включая антропоморфные. В качестве примера здесь можно привести электродвижимые инвалидные кресла [1]. Голосовой интерфейс широко применяется в IoT-устройствах в качестве контроллеров умных домов и в целом ряде других систем.
Подавляющее большинство существующих решений либо требуют постоянного подключения к интернету, либо имеют системные требования выше тех, что предоставляют используемые повсеместно низкопроизводительные микроконтроллеры. Зависимость подобных систем от сети интернет может стать серьезной проблемой, так как существующие беспроводные сети имеют неполное покрытие. В качестве примера можно привести подземные парковки, лифты, загородные территории и т.д. Интернет даже может быть отключен в результате поломки или по каким-то иным причинам. При этом потеря контроля над инвалидным креслом, роботом или же потеря контроля над умным домом на время отключения интернета может доставлять неудобство, в ряде случаев даже стать критичным. Также наличие в устройстве доступа в интернет может подвергать опасности конфиденциальность пользователя.
В данной работе предлагается решение, позволяющее повысить удобство и доступность управления низкопроизводительными электронными устройствами. Целью работы являлось упрощение управления устройствами типа умного дома и рядом подобных устройств на базе микроконтроллера ESP8266EX путем разработки человеко-машинного интерфейса, использующего нейронные сети.
Для достижения поставленной цели решались следующие задачи:
• анализ известных решений;
• разработка схемы аппаратной части системы;
• разработка алгоритма решения задачи распознавания голосовых команд;
• разработка программной архитектуры;
• создание комплекса программ для организации человеко-машинного интерфейса.
Достоверность разработанной методики подтверждается многочисленными успешными тестами. Было осуществлено сравнение результатов, полученных при решении типовых задач распознавания с результатами, достигнутыми с помощью других, ранее известных алгоритмов. На основе данного сравнения была доказана сравнительная эффективность предложенного алгоритма.
Концептуальное проектирование. Функциональная схема системы распознавания голосовых команд представлена на рисунке 1. Система состоит из нескольких модулей, имеющих различное функциональное назначение.
Модуль получения данных. Данный модуль осуществляет считывание информации, описывающей голосовую команду. Необходимо отметить, что для получения достаточно полной информации для распознавания, необходимо правильно выбрать и расположить микрофон. Для этого модуля наиболее важной характеристикой является точность получаемых данных. Модуль распознавания представляет собой совокупность модулей нижнего уровня, предназначенных для решения задачи распознавания.
Рисунок 1 - Схема разрабатываемой системы
Модуль выделения сигнала. Предназначен для обрезания ранее созданной аудиозаписи, при этом остается только та ее часть, которая содержит произнесенное слово.
Модуль извлечения признаков. Предназначен для извлечения из необработанных сырых данных признаков, характеризующих команду. Также он может быть использован для решения задачи приведения выделенных признаков к формату, пригодному для прослушивания при определении эффективности метода выделения признаков.
Модуль нейросетевой классификации. Предназначен для определения команды по признакам с использованием одного из методов, описанных далее. К основным требованиям, которые предъявляются к данному модулю, решающему задачу классификации, относятся высокие точность определения команд и скорость выполнения операции.
Модуль интерпретации. Предназначен для преобразования распознанной голосовой команды в текстовую команду в соответствии с используемым словарем или в управляющие сигналы для какого-либо устройства.
Описание проектируемой системы. На рисунке 2 представлена диаграмма последовательности, иллюстрирующая взаимодействие модулей, участвующих в распознавании речевых команд.
Рисунок 2 - Диаграмма последовательности
Запись звука. Записываемый звуковой сигнал должен обладать постоянством по громкости, уровню шума и продолжительности. Данные условия являются необходимыми для эффективного распознавания команд нейросетью, для реализации этих требований необходимо ввести определенные ограничения на расстояние между микрофоном и диктором. Датасет команд необходимо записывать с одного и того же устройства, при этом можно использовать как выносной микрофон, так и микрофон, встроенный в само устройство.
Передача необработанных данных. Для передачи звуковых данных между программными модулями было решено использовать файлы формата *.wav.
Для записи звука с микрофона использовался разработанный bash-скрипт, формирующий 2-секундный монофонический файл с частотой дискретизации 16000 Гц и разрядностью 16 бит. Формат 2 секунды используется как оптимальный для команд, используемых при управлении умным домом и рядом подобных устройств, однако под другие задачи может быть расширен без существенной доработки системы.
Обрезка звука, выделение признаков, классификация речевых команд. Для выделения голосовой команды из 2-секундного аудиофайла была разработана программа на языке С++ slice.c, результат работы программы представлен на рисунке 3.
paniulaitisapaniulaitis-VirtualBox:-/Рабочий cron/sound$ sudo ./slice
Who many data. Сколько точек отсчета - 32000
Max = 17075; imax=13627
Min - -20009 ; imin=13712
Begin nn=59 End nn=116
Begin toch0=9360 End tochl=18880
Рисунок 3 - Работа программы Slice
Работу программы можно описать следующим образом:
• определяется максимальная и минимальная амплитуда осциллограммы;
• выполняется нормализация амплитуд;
• осциллограмма разбивается на ряд участков;
• для каждого полученного участка определяется среднее положительное значение амплитуды;
• осуществляется «прогон» участков осциллограммы слева и справа, при этом осуществляется вычисление среднего значения положительной амплитуды; если полученное значение больше заданной величины (разница составляет 5 % из опыта учета внешних шумов), предполагается, что достигнуты начало и конец слова;
• запись выделенного слова в выходной файл.
При выделении признаков слов используется спектральный анализ сигнала [4]. В данном случае для решения задачи распознавания слова находится массив чисел, который однозначно определяет данное слово. Делается это следующим образом. Слово делится на 40 интервалов, при этом длина интервала находится в пределах 15...23 мс (при использовании другого формата,
отличного от 2-секундного, необходимо использовать другое число интервалов), к каждому интервалу применяется дискретное преобразование Фурье.
Предполагается, что для описания слова в каждом из сорока интервалов достаточно вычислить значения восьми векторов, каждый из которых задается двумя значениями: частота и амплитуда. Таким образом, слово однозначно описывается массивом из 640 чисел. Доказательство данного предположения выполнялось экспериментально, для чего из полученной спектрограммы функциями синуса по восьми амплитудам и частотам осуществлялось восстановление осциллограммы слова - команды.
Результатом работы программы является формирование и запись выходного *.wav файла. При этом выполняется формирование описанного выше массива, определяющего произнесенное слово и запись его в текстовый файл.
Для классификации был использован многослойный перцептрон [6, 7] с возможностью конфигурации любого количества слоев с заданной шириной. Ниже представлен пример конфигурации: numInNeurons = 640;// входной слой, ширина numOutNeurons = 8;// выходной слой, ширина nlC = 4;//число слоёв, увеличенное на 1 layList = (nnLay*)malloc((nlC) * sizeof(nnLay)); inputs = (float*)malloc((numInNeurons) * sizeoffloat)); targets = (float*)malloc((numOutNeurons) * sizeoffloat)); layList [0].setIOwide(640, 100); //установка ширины
//INPUTS/OUTPUTS для каждого слоя
layList [1].setIOwide (100, 100); layList [2].setIOwide (100, 100); layList [3].setIO(100, 8);// выходной слой
Следует обратить внимание на то, что ширина входа текущего слоя соответствует ширине выхода предыдущего [7]. Исключением является входной слой. Основные алгоритмы нейросети реализованы на языке С, к основным функциям можно отнести следующие:
• функции, используемые для обновления матрицы весов нейронной сети, в том числе установку коэффициентов первого и последнего слоев;
• функции подсчета ошибки (рис. 4), используемые в алгоритме обратного распространения ошибки [10]; в соответствии с данным алгоритмом вычисляется градиент, используемый при обновлении весов многослойного перцептрона, при этом распространение сигнала ошибки осуществляется от выходов сети к ее входам [8];
• функция загрузки данных из подготовленного заранее датасета;
• функция обучения нейронной сети.
void calcOutError(float* targets)
I
' errors = (float*)malloc((out) * sizeof(float))3
I for (int ou = 0; ou < out; ou++)
; {
! i errorsToul = (targetsTou] - hiddenTouT) * siemoidasDerivate(hiddenTou!):
: } };
void calcHidError(float* targets, float** outWeights, int inSj int outS) {
; errors = (float*)malloc((inS) * sizeof(float));
I for (int hid = Q-j hid < inS; hid++)
i {
I ' errorsThid] = 0.0:
; I for (int ou =0; ou < outS; ou++)
I ¡ {
■ I ! errors[hid] += targets[ou] * outWeights[hid][ou];
i ; }
I 1 errorsThidl *= sigmoidasDerivate(hiddenThidl):
Рисунок 4 - Функции подсчета ошибок
Обученная нейронная сеть сохраняется в бинарный файл для дальнейшего использования. Исходя из полученных результатов тестирования, удалось достичь достоверности от 92 до 99 %, это видно на рисунке 5. Можно утверждать, что модуль распознавания не только не уступает библиотеке FANN, но и превосходит ее по скорости, точности и требованиям к ресурсам, хотя и уступает ей в универсальности. Объем занимаемой программой памяти на ESP8266EX 12F составляет не более 500Кбайт, оставшаяся память около 3Мбайт будет доступна для записи звука, а также нейронной сети, занимающей около 1,5 Мбайт.
^eed training? у/л: у iataset uploaded
IX 2min 2% ?nin 2min Л* 2min 5% 2min 6% 2min 7* 2min 8% 2min 9% 2min 2min 11 St 2min 12% 2min 13л 2min 14K 2min 15% ¿min In in 17% 1min 18% 1min 19% 1min 1min 1min 22% 1min 1min 24% livin 25% 1min 26% 1min 27% 1min 23% Im in 2?* lmin 39% 1min 315 l«in 32% 1min 53% 1min 34% 1min 35% 1min 36% 1min 37% l»in 38% 1min 39% 1min №* 1min 41% linin 12% 1min 43% lnin 44% 1min 45% 1min 46% 1min 4A 1min 43% min 49% lain 50% 1min 51» 1min 52* limifi 53% linin 54% l»in 55% 1min 56% 1min 57% 1min 53% 1min 59% 0min 60% 0fnin 61% 0min 62% Amin 63% Omin 64% 0min 65% 0min 66% 0min 67% 0min 6B% 0m in 69% 0min 70% 0min 71% 0min 72% 0min 73% 0min 74% 0min 75% 0min 76% 0min 77% 0min 73% 0min 79% 0min 30% 0min 81% 0min 42% 0min 83% 0min 85% 0min 95% Smin 36% 0min 37% 0min 33% Sgiin 39% «min 90% 0min 91% 0min 92% 0min 33% 0min 94% «min 95% 0min 96% 0min 97% 0min 93% 0min 99% 0min 130i 0iiin _Ii- suit_
Word 0 0: S.36774e-08
Output neurons: 0.00386437
0.966787 Word 3 2:
6.09064e-09 Output neurons
0.0127845 9.99211e-08
9.99774e-10 4.93961e-12
0.000216101 3.27975e-10
6.08018e-22 0.998812
0.0127773 1.0Э786е-20
5.63789e-08 4.20962e-28
Word 1 0: 0.00794035
Output neurons: 0.00217051
4.03863e-05 Word 4 0:
0.971708 Output neurons
0.00246342 0.00640816
l.S4714e-07 0.00387898
0.00643582 0.000128265
0.0581927 2.93314e-ll
4.27147e-06 0.997418
7.7431e-05 2.58178e-09
Word 2 0: 0.000501688
Output neurons: 5.10765e-08
0.0011973 Word 5 0:
0.000650505 Output neurons
0.926546 0.000234661
2.22429e-07 Э.023956
5.66274e-07 Э.000440644
4.10054e-14 1.64435e-06
0.00183493
0.9715 78
2.85415е-Э6
0.00986605
Word 6 1:
Output neurons:
0.0111734
1.17924e-12
1.84868е-Э9
0.00236017
1.30789e-13
3.32942e-30
0.975585
1.63268e-08
Word 7 0:
Output neurons:
6.68897e-95
0.00101571
0.0111276
1.2551e-05
1.05663e-05
0.00254379
1.87386e-08
0.963827
Successfully
completed
Рисунок 5 - Результаты тестирования нейронной сети
Ближайшими аналогами данной работы являются:
• библиотека uSpeech [15];
• Elechouse Voice Recognition Module v3.1: модуль распознавания голоса [12];
• Google Speach API [13];
• TensorFlow Lite Micro - micro_speech [14].
Библиотека uSpeech предоставляет интерфейс для распознавания голоса с помощью Arduino. С ее помощью можно распознавать до 10 голосовых команд. Вероятность распознавания 30-40 %, если на основе фонем, то до 80 %. Библиотека не требует обучения, достаточно интенсивно нагружает контроллер.
К плюсам данной библиотеки можно отнести невысокие требования к ресурсам микроконтроллера, высокую скорость распознавания. К минусам - малый объем базы (всего 10 слов), крайне низкая точность распознавания, низкая устойчивость к шумам и расположению микрофона.
Elechouse Voice Recognition Module v3.1 представляет собой очень компактный и крайне простой в использовании модуль, предназначенный для распознавания речи.
Он может поддерживать до восьмидесяти голосовых команд. При этом одновременно может распознаваться до семи команд. В качестве команды может быть использован практически любой звук, для этого модуль надо «обучить» реагировать на данные звуки. Устройством можно управлять через последовательный интерфейс, при этом реализуется полный набор функций, также через General Input Pins (входные контакты общего назначения), при этом поддерживается только часть функций. Любые семь голосовых команд могут быть импортированы в модуль распознавания из библиотеки, где они хранятся одной большой группой.
К плюсам системы можно отнести высокую заявленную точность распознавания, низкую потребляемую мощность. К минусам - невысокую точность распознавания в реальных условиях, значительные габариты.
Google Speach API предоставляет разработчикам возможность конвертировать аудио в текст, используя при этом мощные модели нейронной сети, распознает более 80 языков. Представляет собой комплекс речевых технологий, который включает распознавание и синтез речи. На данный момент Google Speach является одним из самых совершенных сервисов распознавания с высочайшей точностью даже при сильных шумах. К минусам можно отнести отсутствие конфиденциальности (голосовой запрос отправляется на сервер для обработки), необходимость наличия доступа к интернету. Стоит отметить, что Яндекс имеет собственную систему распознавания речи - Yandex SpeechKit.
TensorFlow Lite Micro - нейросетевая библиотека для микроконтроллеров, а micro_speech -модуль распознавания, работающий с библиотекой. Существенным отличием от системы, предлагаемой в данной работе, является невозможность обучения на микроконтроллере, требуется подключение к компьютеру для обучения нейросети. При этом точность, скорость распознавания, объем занимаемой памяти практически аналогичны.
Заключение. В работе представлена система распознавания речевых команд, построенная на базе нейросети. Данная система может быть использована для построения человеко-машинного интерфейса с целью управления различными устройствами, при этом в качестве основы данной системы может быть использован микроконтроллер с достаточно невысокими вычислительными характеристиками.
Представленный в данной работе подход решения задачи распознавания голосовых команд может быть использован в системах, управляемых несколькими десятками команд. Разработанное решение можно использовать в различных системах управления голосом на любом языке, используя не только слова, но и любые другие звуки.
Замеченные недостатки:
• качество распознавания зависит от тембра голоса диктора, темпа его речи, типа микрофона и даже расположения диктора относительно микрофона; решить эти проблемы можно путем создания достаточно большой базы данных слов, произнесенных различными дикторами с использованием разных микрофонов и при различных расположениях микрофонов относительно диктора;
• для обеспечения надежного распознавания слов необходимо обеспечить отсутствие посторонних звуков в процессе произношения слова; сторонние шумы в основном влияют на выделение слова из записанного wav-файла; при этом можно предположить, что при наличии правильного выделения слова на фоне шумов, нейронная сеть сможет выполнить распознавание корректно для различных вариантов слов с шумами;
• при наличии достаточно большого количества слов необходим достаточно громоздкий массив данных, используемый для обучения нейронной сети; можно сделать предположение, что данный факт может стать основным ограничением использования метода распознавания по словам.
Несмотря на приведенные недостатки, можно утверждать, что удалось создать голосовой человеко-машинный интерфейс, использующий нейросетевые технологии и работающий на низкопроизводительном микроконтроллере (в реализованной системе - ESP8266EX 12F). Разработанная система в дальнейшем может применяться в различных проектах, использующих голосовое управление [1, 2].
Одним из преимуществ разработанной системы над уже существующими программными продуктами является простая поддержка любого языка. Ведь системы автоматического распознавания речи реализованы для небольшого числа широко распространенных разговорных языков, таких как английский, испанский, французский, китайский и некоторые другие языки. В то время как в мире различных языков насчитывается более 7000 [5]. К преимуществам разработанной системы также можно отнести невысокие требования к ресурсам вычислительной системы, высокое быстродействие, относительная простота использования и возможность обучения на самом микроконтроллере без использования ПК.
Библиографический список
1. Алимурадов А. К. Роль маркетинга в продвижении на рынок инновационных идей на примере системы голосового управления для инвалидов / А. К. Алимурадов, М. А. Марченко, О. А. Никитина // Модели, системы, сети в экономике, технике, природе и обществе. - 2013. - № 4 (8). - Режим доступа: https://cyberleninka.ru/artide/n/rol-marketinga-v-prodvizhenii-na-rynok-innovatsionnyh-idey-na-primere-sistemy-golosovogo-upravleniya-dlya-invalidov, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 27.05.2020).
2. Ахметов К. Взаимодействие человека и компьютера: Тенденции, исследования, будущее / К. Ахметов // Форсайт. - 2013. - № 2. - Режим доступа: https://cyberleninka.ru/article/n/vzaimodeystvie-cheloveka-i-kompyutera-tendentsii-issledovaniya-buduschee, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 27.05.2020).
3. Горелова А. В. Алгоритм обратного распространения ошибки / А. В. Горелова, Т. В. Любимова // Наука и современность. - 2015. - № 38. - Режим доступа: https://cyberleninka.ru/article/n/algoritm-obratnogo-rasprostraneniya-oshibki, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 27.05.2020).
4. Зайцев Д. Г. Спектральный анализ цифровых сигналов / Д. Г. Зайцев // Вестник ОГУ. - 2006. -№ 13 (63). - Режим доступа: https://cyberleninka.rU/article/n/spektralnyy-analiz-tsifrovyh-signalov, свободный. -Заглавие с экрана. - Яз. рус. (дата обращения: 27.05.2020).
5. Карпов А. А. Речевые технологии для малоресурсных языков мира / А. А. Карпов, В. О. Верходанова // Вопросы языкознания. - 2015. - № 2. - C. 117-135.
6. Тампель И. Б. Автоматическое распознавание речи - основные этапы за 50 лет / И. Б. Тампель // Научно-технический вестник информационных технологий, механики и оптики. - 2015. - Т. 15, № 6. - С. 957-968.
7. Татьянкин В. М. Алгоритм формирования оптимальной архитектуры многослойной нейронной сети / В. М. Татьянкин // Новое слово в науке: перспективы развития : материалы II Междунар. науч.-практ. конф. (Чебоксары, 30 дек. 2014 г.) / редкол.: О. Н. Широков [и др.]. - Чебоксары : ЦНС «Интерактив плюс», 2014. -С. 187-188. - ISBN 978-5-906626-55-4.
8. Татьянкин В. М. Модифицированный алгоритм обратного распространения ошибки / В. М. Татьянкин // Приоритетные направления развития науки и образования : материалы III Междунар. науч.-практ. конф. (Чебоксары, 4 дек. 2014 г.) / редкол.: О. Н. Широков [и др.]. - Чебоксары : ЦНС «Интерактив плюс», 2014. -№ 3 (3). - С. 197-198. - ISSN 2411-9652.
9. Терехов В. И. Методика подготовки данных для обработки импульсными нейронными сетями / Терехов В. И., Жуков Р. В. // Нейрокомпьютеры: разработка, применение. - 2017. - № 2. - С. 31-36.
10. Юнусова Л. Р. Классификация искусственных нейронных сетей / Л. Р. Юнусова, А. Р. Магсумова // Проблемы науки. - 2019. - № 7 (43). - Режим доступа: https://cyberlemnka.ru/article/nMassifikatsiya-iskusstvennyh-neyronnyh-setey-1, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 27.05.2020).
11. Fast Artificial Neural Network Library // Описание библиотеки FANN. - Режим доступа: http://leenissen.dk/fann/wp/, свободный. - Заглавие с экрана. - Яз. англ. (дата обращения: 06.06.2020).
12. Speak Recognition, Voice Recognition Module V3 // elechouse. - Режим доступа: http://www.elechouse.com/elechouse/, свободный. - Заглавие с экрана. - Яз. англ. (дата обращения: 06.06.2020).
13. Speech-to-Text // Google Cloud. - Режим доступа: https://cloud.google.com/speech-to-text/, свободный. -Заглавие с экрана. - Яз. англ. (дата обращения: 06.06.2020).
14. TensorFlow Lite for Microcontrollers // TensorFlow. - Режим доступа: https://www.tensorflow.org/lite/microcontrollers, свободный. - Заглавие с экрана. - Яз. англ. (дата обращения: 06.06.2020).
15. uSpeech // github. - Режим доступа: https://github.com/arjo129/uSpeech, свободный. - Заглавие с экрана. - Яз. англ. (дата обращения: 06.06.2020).
References
1. Alimuradov A. K., Marchenko M. A., Nikitina O. A.Rol marketinga v prodvizhenii na rynok innovatonnykh idey na primere sistemy golosovogo upravleniya dlya invalidov [The role of marketing in promoting innovative ideas to the market using the example of a voice control system for disabled]. Modeli, sistemy, seti v ekonomike, tekhnike, prirode i obshchestve [Models, Systems, Networks in Economics, Technology, Nature and Society], 2013, no. 4 (8).
2. Akhmetov K. Vzaimodeystvie cheloveka i kompyutera: Tendentsii, issledovaniya, budushchee [HumanComputer Interaction: Trends, Research, Future]. Forsayt [Foresight], 2013, no. 2.
3. Gorelova A. V., Lyubimova T. V. Algoritm obratnogo rasprostraneniya oshibki [Backpropagation algorithm]. Nauka i sovremennost [Science and Modernity], 2015, no. 38.
4. Zaytsev D. G. Spektralnyy analiz tsifrovykh signalov [Spectral analysis of digital signals]. Vestnik Oren-burgskogo gosudarsvennogo universiteta [OSU Bulletin], 2006, no. 13 (63).
5. Karpov A. A., Verkhodanova V O. Rechevye tekhnologii dlya maloresursnykh yazykov mira [Speech technologies for low-resource languages of the world]. Voprosyyazykoznaniya [Linguistic Issues], 2015, no. 2, pp. 117-135.
6. Tampel I. B. Avtomaticheskoe raspoznavanie rechi - osnovnye etapy za 50 let [Automatic speech recognition -milestones in 50 years]. Nauchno-tehnicheskiy Vestnik Informatsionnykh Tekhnologiy, Mekhaniki i Optiki [Scientific and Technical Bulletin of Information Technologies, Mechanics and Optics], 2015, vol. 15, no. 6, pp. 957-968.
7. Tatyankin V M. Algoritm formirovaniya optimalnoy arkhitektury mnogosloynoy neyronnoy seti [Algorithm for the formation of the optimal architecture of a multilayer neural network]. Novoe slovo v nauke: perspektivy razvitiyay : materialy IIMezhdunarodnoy nauchno-prakticheskoy konferentsii [A new word in science: development prospects : Proceedings of the II International Scientific-Practical Conference (Cheboksary, December 30, 2014)]. Cheboksary, CNS «Interaktiv plyus» Publ., 2014, pp.187-188. ISBN 978-5-906626-55-4.
8. Tatyankin V. M. Modifitsirovannyy algoritm obratnogo rasprostraneniya oshibki [Modified error backpropagation algorithm]. Prioritetnye napravleniya razvitiya nauki i obrazovaniya : materialy IIIMezhdunarodnoy nauch-no-prakticheskoy konferentsii [Priority directions of development of science and education: Proceedings of the III International Scientific-Practical Conference (Cheboksary, December 4, 2014)]. Cheboksary, CNS «Interaktiv plyus» Publ., 2014, no. 3 (3), pp. 197-198. ISSN 2411-9652.
9. Terekhov V. I., Zhukov R. V Metodika podgotovki dannykh dlya obrabotki impulsnymi neyronnymi setyami [Method for preparing data for processing by impulse neural networks]. Neyrokompyutery: razrabotka, primenenie [Neurocomputers: Development, Application], 2017, no. 2, pp. 31-36.
10. Yunusova L. R., Magsumova A. R. Klassifikatsiya iskusstvennykh neyronnykh setey [Classification of artificial neural networks]. Problemy nauki [Science Problems], 2019, no.7 (43).
11. Fast Artificial Neural Network Library. Available at: http://leenissen.dk/fann/wp/ (accessed 06.06 2020).
12. Speak Recognition, Voice Recognition Module V3. Available at: http://www.elechouse.com/elechouse/ (accessed 06.06.2020).
13. Speech-to-Text. Available at: https://cloud.google.com/speech-to-text/ (accessed 06.06 2020).
14. TensorFlow Lite for Microcontrollers. Available at: https://www.tensorflow.org/lite/microcontrollers (accessed 06.06 2020).
15. uSpeech. Available at: https://github.com/arjo129/uSpeech (accessed 06.06 2020).
УДК 004.4
ЭЛЕКТРОННО-ОБУЧАЮЩАЯ СИСТЕМА «ИССЛЕДОВАНИЕ ПРОЦЕССОВ ВЗАИМОДЕЙСТВИЯ КОМПОНЕНТОВ КЛЕТОЧНОЙ МЕМБРАНЫ С РАЗЛИЧНЫМИ ВЕЩЕСТВАМИ»
Статья поступила в редакцию 26.03.2020, в окончательной варианте — 16.05.2020.
Иванова Елена Евгеньевна, Астраханский государственный университет, 4141056, Российская Федерация, г. Астрахань, ул. Татищева, 20а,
магистрант, е-mail: ivanovaee@list.ru
Жарких Леся Ивановна, Астраханский государственный университет, 414056, Российская Федерация, г. Астрахань, ул. Татищева, 20а,
кандидат технических наук, доцент, профессор кафедры информационных технологий, е-mail: lesy_g@mail.ru
Обоснована необходимость ознакомления студентов и исследователей с фундаментальными понятиями о клеточной мембране и воздействии на нее других веществ на уровне взаимодействия атомов различных молекул. Указана необходимая функциональность электронно-обучающей системы. Для реализации этой функциональности предложено программное средство в виде веб-приложения для обучения студентов и исследователей в области межмолекулярных взаимодействий, обмена информацией между ними. Приведена архитектура разработанного программного средства. Рассмотрены функции отдельных блоков программного средства: организация заполнения электронного пособия, раздела «Научные статьи» и др., кратко описан модуль интерактивного общения пользователей электронно-обучающих систем. Модули программы «Конструктор тестов» - модуль для создания и проведения тестирования, а также «Управление заказами» - модуль для распространения преподавателями, исследователями и студентами своих разработок: программных продуктов, учебных пособий, методических материалов и пр. - описаны в работах авторов, опубликованных в материалах международных конференций. Описываемое программное средство разработано в интегрированной среде IDE Neatbeans. База данных спроектирована и реализована в СУБД Postgresql. Охарактеризован процесс проектирования, создания и наполнения базы данных информацией. Программный код написан на объектно-ориентированном языке программирования Java. Интерфейс организован на сервлетах языка Java. Рассмотрен алгоритм работы электронно-обучающей системы.
Ключевые слова: информационные технологии, веб-приложение, межмолекулярное взаимодействие, электронно-обучающая система, электронный учебник, база знаний, система управления базой знаний, компьютерное тестирование
ELECTRON-LEARNING SYSTEM "RESEARCH OF PROCESSES OF INTERACTION OF CELLULAR MEMBRANE COMPONENTS WITH VARIOUS SUBSTANCES"
The article was received by editorial board on 26.03.2019, in the final version — 16.05.2020.
Ivanova Elena E., Astrakhan State University, 20а Tatishchev St., Astrakhan, 414056, Russian Federation,
master student, e-mail: ivanovaee@list.ru
Zharkikh Lesya I, Astrakhan State University, 20a Tatishchev St., Astrakhan, 414056, Russian Federation,
Cand. Sci. (Engineering), Associate Professor, е-mail: lesy_g@mail.ru
The necessity to acquaint the students and other researchers with the fundamental concepts of cell membrane and exposure to other substances at the level of interaction of atoms of different molecules. Specify the required functionality of the electronic teaching system. To implement this functionality the proposed software tool in the form of a web application for the training of students and researchers in the field of intermolecular interactions, the exchange of information between them. The architecture developed by the software tool. The functions of the individual blocks PS: the organization filling in the electronic Handbook, section "Scientific articles", etc., are briefly described module, the interactive
