CC BY
19
Клочков Н.А.
Муниципальное автономное общеобразовательное учреждение средняя общеобразовательная школа № 100, г. Нижний Тагил, Россия
Бужинская Н.В.
Нижнетагильский государственный социально-педагогический институт (филиал) ФГАОУ ВО «Российский государственный профессионально-
педагогический университет», г. Нижний Тагил, Россия
ПРОЕКТИРОВАНИЕ МОБИЛЬНОГО ПРИЛОЖЕНИЯ С СИСТЕМОЙ ОПТИЧЕСКОГО РАСПОЗНАВАНИЯ СИМВОЛОВ ДЛЯ ДЕТЕЙ ДОШКОЛЬНОГО ВОЗРАСТА
Аннотация
В публикации описан процесс проектирования мобильного приложения для детей дошкольного возраста. Данное приложение должно быть реализовано в виде игры, которая совмещает в себе развлекательную и обучающие функции. В процессе игры ребенок должен перемещаться в пространстве, находить нужную букву и наводить на нее камеру смартфона. Если результат положительный, буква окрашивается в другой цвет и появляется на нужном месте в заданном слове. В основе разработки мобильного приложения должен находиться механизм оптического распознавания символов, который может быть реализован посредством сравнения характеристик данного набора шаблонов и входного изображения.
Ключевые слова: мобильное приложение, проектирование, разработка, оптическое распознавание символов, игра.
Klochkov N. A.
Municipal Autonomous educational institution secondary school No. 100,
Nizhny Tagil, Russia Buzhinskaya N. V.
Nizhny Tagil State Socio-Pedagogical Institute (branch) of Federal State Autonomous educational institution «Russian state vocational pedagogical
University», Nizhny Tagil, Russia
DESIGNING A MOBILE APPLICATION WITH OPTICAL CHARACTER RECOGNITION SYSTEM FOR CHILDREN OF PRESCHOOL AGE
Abstract
This publication describes the process of designing a mobile app for preschool children. This application should be implemented as a game that combines entertainment and training functions. During the game, the child must move in space, find the desired letter and point the smartphone camera at it. If the result is positive, the letter is colored in a different color and appears in the correct place in the specified word. The development of a mobile application should be based on the optical character recognition mechanism, which can be implemented by comparing the characteristics of this set of templates and the input image.
Keywords: mobile app, design, development, optical character recognition,
game.
В условиях цифровой трансформации общества отмечается усложнение функций программных продуктов. Пользователь использует гаджеты для общения с другими людьми, выполнения расчетов, отправки сообщений и т.д. При этом возраст пользователя не органичен - в Google Play представлено большое количество приложений для детей. Дети, начиная с дошкольного возраста, умело обращаются с мобильным устройством, взаимодействуя с ним
посредством просмотра фильмов, играя в приложения, записывая голосовые обращения для родителей или разговаривая по мобильной связи.
Множество родителей, из-за нехватки времени или занятости, «доверяют воспитание» ребенка смартфону. При этом, необходимо помнить, что приложения для смартфона должны быть не только безопасны для ребенка, но и направлены на развитие их творческих способностей, логического мышления, памяти, моторики рук. Однако, для детей смартфон является прежде всего источником развлечений. В силу своих возрастных особенностей, ребенку не интересны другие функции смартфона. Следовательно, родители должны показать ребенку такие мобильные приложения, которые совмещают в себе как развлекательную, так и обучающую функцию. Эти приложения должны быть интуитивно понятными, удобными и интересными, способным акцентировать внимание ребенка на предлагаемом контенте в течении определенного времени.
Наиболее привлекательными для детей дошкольного возраста являются мобильные игры. Игра - это познавательная деятельность, которая является своего рода практической формой мышления о процессах и явления современной реальности. Посредством игровой деятельности ребенок познает мир. Современные смартфоны, благодаря своим техническим возможностям, позволяют сделать мобильные игры более привлекательными, снизить стоимость разработки и приблизить их к играм на «традиционных» платформах [1, 2]. Применение обучающих компьютерных и мобильных игр позволяет создать условия для организации развивающего обучения, целью которого является развитие индивидуальных особенностей обучаемых
Важным моментом для ребенка 4-6 лет является подготовка ребенка к школе. Следовательно, проектирование игры с обучающей системой, которая включает систему распознавания букв является актуальной задачей. Целью работы с данным приложением является знакомство ребенка с русским алфавитом в интересной и увлекательной форме. Взаимодействуя со смартфоном, выполняя предложенные в нем задания, ребенок сможет
научиться правильно произносить буквы, исправлять допущенные им ошибки и видеть результат своих действий.
Отметим, что мобильное приложение должно быть разработано для смартфонов на операционной системе Android, которая является самой широко используемой на сегодняшний день [7].
На первом этапе был проведен опрос родителей с целью изучения вариантов применения мобильных приложений детьми дошкольного возраста. Из общего числа респондентов в количество 200 человек на вопрос «Разрешаете ли Вы своему ребенку 5-7 лет пользоваться смартфоном?», положительно ответили 72%. Однако 15% из них указали, что они ограничивают время, которое ребенок проводит со смартфоном, а 57% -обязательно отслеживают контент, с которым знакомится ребенок посредством смартфона.
При изучении функций аналогов, был выявлен похожий тип приложения для дошкольного возраста - «Азбука в коробочках», в котором присутствует схожий элемент подачи обучения. Однако в данном мобильном приложении слова составляются посредством переноса мелькающих букв по экрану в соответствующие ячейки. На каждую букву приходится 2-3 различных слова. Бесплатно доступно четыре слова, остальной контент можно приобрести за определенную стоимость. Отличительно чертой нашего приложения является необходимость ребенка перемещаться в пространстве для поиска букв, из которых он может составить слово. Взаимодействие пользователя (ребенка) с приложением представлено в виде диаграммы активности в нотации UML (рис. 1). Язык UML используется для детального описания приложений, включая их основные функции и процессы, а также особенности реализации [4].
Рис. 1. Диаграмма активности для описания последовательности действий
пользователя
Рассмотрим алгоритм работы нашего приложения. Приложение предлагает ребенку составить слово из букв. Ребенок видит буквы в слове, выбирает одну из них, ищет ее на любом источнике информации, например, кубиках. Ребенок, в процессе игры, подносит камеру смартфона к букве. Если буква верная, то приложение выдает соответствующий звуковой сигнал и «устанавливает» букву на нужно место в слове. Далее ребенок взаимодействует со следующей буквой.
Для разработки мобильного приложения можно использовать объектно-ориентированный язык Java, который не зависит от платформы, является многопоточным, отличается достаточно большим выбором API. Компиляторы Java могут обнаруживать ошибки в кодировании и обрабатывать исключения [9]. Разработка приложения осуществлялась в среде Android Studio.
В основе работы приложения находится механизм оптического распознавания (OCR-распознавания), под которым подразумевается процесс обнаружения и распознавания символов из входного изображения и их конвертация в ASCII или другую кодировку [6].
К основным методам, используемым для оптического распознавания рукописных символов, можно отнести применение нейронных сетей, генетических алгоритмов, анализ графов, векторный (градиентный) анализ. Выбор метода распознавания может зависеть от особенностей распознаваемого языка. Наилучший результат получается в том случае, если количество объектов для распознавания небольшое и они находятся по отдельности друг от друга [8].
OCR-приложения начинают распознавание с анализа структуры. При этом выделяют несколько иерархически организованных логических уровней: страница - таблица и текстовый блок - ячейка таблицы, абзац и картинка -строка - слово - символ. Анализ всегда начинается в направлении сверху вниз. Выделив нужный объект, программа начинает сверять его характеристики с эталонными посредством перебора. С учетом значения степени совпадения между основными и эталонными параметрами, программа делает окончательный вывод [5, 10].
Существующие OCR для предварительного анализа и обработки графических данных ставят перед собой задачи: определения логической структуры текста - с тем, чтобы была возможность создать её в электронном виде и подготовка изображения к функциям распознавания. Для перевода из цветного или полутонового изображения в монохромный (глубина цвета 1 бит), задействована функция бинаризации. Она существенно ускоряет процесс определения графического изображения. В том случае, если попадаются документы с определенными текстурами и фоновыми рисунками, активируется система адаптивной бинаризации. Она определяет яркость фона и насыщенность черного цвета на всем графическом изображении или слова и
подбирает оптимальные параметры преобразования для каждого фрагмента изображения по отдельности [3].
Отметим, что точность процесса распознавания зависит от качества исходного материала. Например, если текст напечатан и не содержит шумов, точность может достигнуть 95-100%.
Для реализации алгоритмов OCR-распознавания можно использовать библиотеку Mobile Vision [12]. Она предназначена для обнаружения текста в изображениях и видеоматериалах и последующего распознавания содержащегося в нем текста. После обнаружения, модуль определяет видимый текст в каждом блоке и разбивает его на символы и строки. Посредством данной библиотеки имеется возможность распознавать текст как в реальном времени, так и с уже готовых изображений текстовых документов. К преимуществам данной библиотеки можно отнести ее небольшой размер при достаточно высокой скорости распознавания. Основным недостатком Mobile Vision является большой размер файлов с обученными данными. В источнике [11] представлена подробная инструкция по использованию данной библиотеки в реализации OCR-распознавания.
Нами был спроектирован интерфейс приложения. Он представлен на рисунке 2. Интерфейс разработан как для вертикального, так и для горизонтального положений экрана смартфона. Дополнительно добавлены несколько тем для фонового оформления игры.
Рис. 2. Интерфейс мобильного приложения игры «Найди букву» Спроектированное мобильное приложение будет интересным для детей, которые начинают знакомиться с буквами русского алфавита. Интерфейс мобильного приложения должен быть разработан в соответствии с современными стандартами. В мобильном приложении должны быть реализованы основные функции работы камеры с текстом и добавлено звуковое сопровождение. Однако, функция распознавания смартфона успешно работает в том случае, если изображение буквы четкое. Этот аспект следует учитывать родителям при организации работы ребенка с мобильным приложением, поскольку дети, в силу своих возрастных особенностей, очень быстро теряют интерес к играм, в которых они не видят свой результат и не могут его оценить.
ЛИТЕРАТУРА
1. Агеев А.Ю. Особенности проектирования интеллектуальных игр для реализации на мобильных платформах // Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики. 2008. № 52. С. 178-183.
2. Аитов А. Проектирование обучающей программы «Дарын» для изучения казахского на латинице // Kazakhstan science journal. Астана. Том 2. №6 (7). 2019. С. 5-14.
3. Архипов А.М. Оптическое распознавание текста и как оно работает // Современные научные исследования: актуальные вопросы, достижения и инновации // сборник статей IX Международной научно-практической конференции: в 2 ч. Наука и Просвещение (ИП Гуляев Г.Ю.) (Пенза), 2019. С. 121-125.
4. Визуальное моделирование систем в StarUML: учебное пособие/ А.В. Каюмова. Казань. Казанский федеральный университет, 2013. 104с.
5. Демин А.А. Методы автоматизированной оценки каллиграфии // Программные продукты и системы ЗАО НИИ «Центрпрограммсистем» (Тверь). 2011. С. 20-23.
6. Казнин А.А. Разработка алгоритма оптического распознавания текста для цифровизации экономики / А.А. Казнин, О.П. Сушко // Цифровая трансформация экономики и промышленности: проблемы и перспективы. Федеральное государственное автономное образовательное учреждение высшего образования «Санкт-Петербургский политехнический университет Петра Великого» (Санкт-Петербург), П. 7.4. 2017. С. 727-747.
7. Меджидов. З.У. Учебное пособие по дисциплине «Разработка мобильных приложений». Махачкала: ДГУНХ, 2019., 77 с.
8. Мозговой А.А. Проблемы существующих методик оптического распознавания рукописного текста // Вестник Воронежского государственного технического университета. 2012. Т. 8. № 7-1. С. 22-25.
9. Мориссон М. JAVA 2 ME. Программирование игр для мобильных телефонов. М.: ДМК-Пресс, 2009. 503 с.
10. Насакин Р. OCR как предмет первой необходимости. Электронный ресурс. URL: https://compress.ru/article.aspx?id=11378 (дата обращения: 18.11.2020).
11. Создание Android приложения для распознавания текста за 10 Минут. Mobile Vision CodeLab. Электронный ресурс. URL: https://habr.com/ru/post/412679/ (дата обращения: 18.11.2020).
12. Mobile Vision. Электронный ресурс. URL:
https: //developers .google. com/vision?hl=ru (дата обращения: 18.11.2020).
