CC BY
12
ISSN 2304-120X
ниепт
научно-методический электронный журнал
2023, № 04 (апрель) Раздел 5.8. Педагогика
ART 231020 DOI 10.24412/2304-120X-2023-11020 УДК 37.018.4:004.9
Методология цифрового поиска целевой аудитории и анализа данных для оценки качества дистанционного образования
Methodology of digital search of the target audience and data analysis for assessing the quality of distance education
Авторы статьи
I
Authors of the article
I
Желнина Евгения Валерьевна,
доктор социологических наук, профессор кафедры прикладной математики и информатики ФГБОУ ВО «Тольяттинский государственный университет», г. Тольятти, Российская Федерация [email protected] ORCID: 0000-0002-0332-1382
Гущина Оксана Михайловна,
кандидат педагогических наук, заведующая кафедрой прикладной математики и информатики ФГБОУ Во «Тольяттинский государственный университет», г. Тольятти, Российская Федерация [email protected] @yandex.ru ORCID: 0000-0003-2381-8537
Evgeniya V. Zhelnina,
Doctor of Sociology, Professor, Department of Applied Mathematics and Computer Science, Togliatti State University, Togliatti, Russian Federation [email protected] ORCID: 0000-0002-0332-1382
Oksana M. Gushchina,
Candidate of Pedagogical Sciences, Head of the Department of Applied Mathematics and Computer Science, Togliatti State University, Togliatti, Russian Federation [email protected] @yandex.ru ORCID: 0000-0003-2381-8537
Конфликт интересов
Conflict of interest statement
Конфликт интересов не указан Для цитирования
Conflict of interest is not declared
For citation
Желнина Е. В., Гущина О. М. Методология цифрового поиска целевой аудитории и анализа данных для оценки качества дистанционного образования // Научно-методический электронный журнал «Концепт». - 2023. - № 04. -С. 1-16. - URL: https://e-koncept.ru/2023/231020.htm. DOI 10.24412/2304-120X-2023-11020
E. V. Zhelnina, O. M. Gushchina, Methodology of digital search of the target audience and data analysis for assessing the quality of distance education // Scientific-methodological electronic journal "Koncept". - 2023. - No. 04. - P. 1-16. - URL: https://e-koncept.ru/2023/231020.htm. DOI: 10.24412/2304-120X-2023-11020
Поступила в редакцию Received 02.02.23 Получена положительная рецензия Received a positive review 16.03.23
Принята к публикации Accepted for publication 16.03.23 Опубликована Published 30.04.23
Creative Commons Attribution 4.0 International (CC BY 4.0) © Концепт, научно-методический электронный журнал, 2023 © Желнина Е. В., Гущина О. М., 2023
Аннотация
Авторы поднимают актуальную проблему оценки качества дистанционного и онлайн-образования как нового формата взаимодействия представителей образовательного процесса. Оценка качества дистанционного обучения в рамках исследования подразумевает определение характеристик организации образовательной деятельности в формате онлайн-предоставления образовательных услуг, которое рассматривается как интегральный показатель объективных данных субъекта образования (полученные образовательные достижения) и субъективных данных, интегрированных с учетом анализа мнений и суждений участников образовательного процесса на основе проведенного цифрового поиска релевантных сообщений. Целью статьи является обоснование методологического подхода к осуществлению цифрового поиска целевой аудитории с дальнейшим извлечением релевантных сообщений для формирования выборки данных. В качестве целевой аудитории в данном исследовании принимаются обучающиеся и преподаватели высших учебных заведений, которые публикуют в Интернете различные посты по проблемам высшего образования, дистанционного или онлайн-образования и образования в условиях пандемии. Анализ полученных данных в результате осуществления цифрового поиска показал, что до перехода на дистанционное обучение тема образования в сообществах не была популярной, однако с вынужденным массовым переходом на онлайн-обучение она стала намного чаще обсуждаться в сообществах как преподавателей, так и студентов. Также в период объявления о переходе на тотальное дистанционное обучение большинством российских вузов происходит повышение публикационной активности в релевантных сообществах. В целом для вузов чаще характерны сообщения организационного характера, наиболее резонансной является тема отсутствия четкой информации о процессе обучения. Оценка качества дистанционного образования позволяет отобразить степень соответствия достигаемых образовательных результатов ожиданиям субъектов образования, социальным запросам и нормативным требованиям. Кроме того, определенная в ходе исследования методология поиска, включающая выбор методов, способов и стратегий информационного поиска релевантного отбора требуемых данных, позволит в дальнейшем последовательно формировать набор показателей для проведения комплексной оценки качества образования.
Ключевые слова
Abstract
The authors discuss the urgent problem of assessing the quality of distance and online education as a new format of interaction between participants of the educational process. The assessment of the quality of distance learning in the framework of the study implies the definition of the characteristics of educational activities organization in the format of online provision of educational services, which is considered as an integral indicator of objective data of the education subject (educational achievements received) and integrated subjective data according to the analysis of opinions and judgments of participants in the educational process based on a digital search for relevant messages. The purpose of the article is to substantiate a methodological approach to the implementation of a digital search for the target audience with further extraction of relevant messages for the formation of a data sample. Students and teachers of higher educational institutions who publish various posts on the Internet on the problems of higher education, distance or online education and education in a pandemic are the target audience for this study. Analysis of the data obtained as a result of digital search showed that the topic of education in communities was not popular before the transition to distance learning, however, with the compulsory mass transition to online learning, it became much more often discussed in the communities of both teachers and students. In addition, during the announcement of most Russian universities about the transition to total distance learning, there is an increase in publication activity in relevant communities. In general, organizational messages are more common for universities, the most resonant is the topic of the lack of clear information about the learning process. The assessment of the quality of distance education allows us to display the degree of compliance of the educational results achieved with the expectations of the subjects of education, social needs and regulatory requirements. In addition, the search methodology found in the course of the study, which includes the selection of methods, methods and strategies for information retrieval of the relevant selection of the required data, will allow to consistently form a set of indicators for a comprehensive assessment of the quality of education in future.
Key words
цифровой поиск, целевая аудитория, анализ данных, дистанционное обучение, качество образования
digital search, target audience, data analysis, distance learning, quality of education
Благодарности
Acknowledgements
Авторы выражают благодарность Томскому государственному университету за приглашение к участию в исследовании дистанционного образования и благодарят рецензентов и редакционную коллегию журнала «Концепт» за возможность опубликовать результаты проведенных научных исследований.
The authors express their gratitude to Tomsk State University for the invitation to participate in the study of distance education and thank the reviewers and the editorial board of the journal "Koncept" for the opportunity to publish the results of scientific research.
Введение / Introduction
Дистанционное и онлайн-обучение выступают как компоненты образовательной среды практически в каждом образовательном учреждении. Доктор экономических наук, профессор Е. Р. Орлова [1] считает, что невозможно отстраниться от дистанционного обучения, а его дальнейшее развитие в современном мире неосуществимо без применения новых методик. Она выделяет присущие современному состоянию дистанционных технологий проблемы, среди которых, на наш взгляд,
наиболее важными являются оценка качества дистанционного обучения и отсутствие методик для эффективной реализации дистанционного обучения.
Как правило, оценка качества и методики реализации дистанционного обучения производится на основе анализа образовательных данных, полученных из внутренней среды образовательного учреждения. Это приводит к субъективной оценке и не всегда отражает истинную оценку качественных и количественных параметров содержания и организации дистанционного и онлайн-обучения.
Таким образом, определена главная проблема исследования, направленная на получение объективной оценки качества дистанционного обучения на основе мнений и суждений, которые репостятся в социальных сетях и других онлайн-сообществах. Для этого нужно определить методологический подход цифрового поиска целевой аудитории, чье мнение будет являться определяющим при оценке качества дистанционного обучения.
Актуальность заявленной проблематики обусловлена рядом как теоретико-методологических, так и практических факторов. В первую очередь это процессы трансформации образования, выражающиеся в изменении его основной формы - глобальный переход на дистанционное и онлайн-образование, о чем говорит С. Ходжес [2]. Во-вторых, в современном обществе достаточно остро стоит вопрос сокращения социальной дистанции и снижения уровня социального напряжения. На данный проблемный фон, как указывает И. З. Ахмадуллин [3], действуют многочисленные факторы, начиная с экономической и финансовой сфер и заканчивая вопросами культуры, воспитания и образования. Оптимальная организация системы получения гражданами образования, безусловно, способствует нормализации и данного аспекта социальной реальности. В-третьих, усиление этого перехода из-за COVID-19. В-четвертых, необходимость оптимизации процессов дистанционного и онлайн-образова-ния на основе актуальных и достоверных данных о них. Поэтому сегодня важными становятся задачи создания актуальной и достоверной базы суждений и оценок дистанционного и онлайн-образования, автоматизированного изучения данных для принятия обоснованных решений по трансформации системы образования.
Обзор литературы / Literature review
Представленное исследование объединяет несколько направлений научной проблематики, которые, переплетаясь, составляют единую междисциплинарную концепцию.
Первое направление - педагогическое, представляет собой исследования, направленные на выявление достоинств и недостатков дистанционного и онлайн-об-разования, его способов и актуальных форм. Особенно остро данная тема проявилась в период пандемии COVID-19, когда, как отмечают Т. Фавале, Ф. Соро, М. Тревизан, И. Драго и М. Мелиа [4], произошел стремительный перевод обычных образовательных практик в дистанционную и онлайн-форму. В настоящее время идет очень активная научная дискуссия по поводу оптимальной организации данных форм обучения. Некоторые исследователи, например Т. Сурма [5], З. Филиус [6] и В. Лоуэлл [7], говорят об особенной эффективности использования социальных сетей, поскольку они способны оперативно обеспечить необходимую в системе образования обратную связь участников образовательного процесса.
Второе направление связано с активным обсуждением в научной сфере процедуры оптимальной организации дистанционного обучения, его технологии и инструментов, эффективных программ-помощников. Важно отметить, что многие ис-
следователи, в частности Т. Старкова [8] и С. Янг [9], заявляют о необходимости использования средств ИКТ в образовательном процессе, а также вполне убедительно обосновывают выбор в их пользу. Широкое использование ИКТ в образовательном процессе обусловило необходимость повышения цифровой грамотности участников образовательного процесса, о чем в своих работах пишут С. Декстер [10] и Дж. Трен-тин [11]. Данное направление наряду с образовательными имеет и социальные корни - предполагается потребность в освоении цифровых навыков, необходимость в которых появляется в обществе на современном этапе его развития. Кроме того, есть мнение Н. Джеймс [12], что с помощью средств дистанционного обучения у обучающихся, помимо цифровых навыков, возможно также сформировать еще и навыки, необходимые человеку в XXI веке: командная работа, управление проектами, различные формы общения. Как отмечает исследователь К. Гарсия [13], высокий уровень информационной грамотности позволит гражданам эффективно решать информационные проблемы, свойственные современному обществу, в частности формировать специализированные виртуальные (сообщества) пространства и функционировать в них.
Третье направление разработки заявленной в исследовании проблематики связано с поиском необходимой информации и формированием релевантной базы данных. Цель заявленного поиска - мнения, оценки и суждения обучающихся относительно перехода на дистанционное и онлайн-обучение в период пандемии COVID-19. Наиболее эффективной площадкой сбора мнений, как утверждает А. В. Лазондер [14], являются социальные сети. В связи с этим в научном сообществе активно обсуждается алгоритм поиска информации в социальной сети. Для примера можно изучить исследование коллектива ученых, проведенное в 2020 году [15]. Другие исследователи пытаются подойти к изучению цифрового следа с других аспектов, предложить свой взгляд на изучаемую проблему. Например, М. Ганза, М. Парцуски и Дж. Стадник рассматривают и сравнивают характеристики различных действующих поисковых систем [16]. А А. Триас, М. Роса, М. Ла и Е. Аскнекст разрабатывают авторские агентские протоколы, ими предлагаются алгоритмы многоадресной маршрутизации запросов [17, 18]. Учеными разрабатываются и предлагаются авторизированные системы социального поиска и нейрокомпьютерные приложения для веб-поиска, а также анализируются возможности визуализации его результатов [19-21]. В современном научном дискурсе очень востребованной темой исследований и обсуждений является эффективность социального поиска, которая основывается на отслеживании релевантности получаемых данных. Достаточно много внимания исследователями уделяется процессу оптимизации социального поиска: например, Дж. Спаволд ведет работу с формулировками запросов [22], а Ф. Сан, М. Ванг и Х. Ванг акцентируют внимание на критериях поиска [23], предлагаются метаэвристические обучаемые алгоритмы для повышения эффективности даже в многоэлементных запросах. Кроме того, ведутся разработки полуобучаемых поисковых систем и алгоритмов их обучения, интерактивных систем поиска информации, программы интеллектуального и выборочного поиска.
Многие исследователи, например Дж. Куи [24], К. Джианг [25] и К. Жанг [26], утверждают, что цифровой поиск может выдать вполне релевантные результаты в случае, если будет основываться на адекватных ключевых словах и фразах, что актуализирует четвертое направление, касающееся нашего междисциплинарного объекта изучения и связанное с лингвистическим контекстом информационного поиска.
Существуют исследовательские коллективы [27], которые изучают возможности и характеристики семантического поиска и проводят разработки семантических обучающих сетей. Также заслуживают внимания аналитические материалы Х. Хие [28] и
Дж. Рейнхардта [29], касающиеся области социолингвистики и поднимающие вопросы как лексического кодирования в целом, так и, например, использования метафор в онлайн- и дистанционном обучении. Более того, автоматизированные системы обработки сигналов в социальных сетях будут полезны для оперативного анализа мнений и поведения граждан (как цифрового, так и в обычной жизни). Также подобные системы будут способствовать получению более качественных результатов при поиске целевой аудитории для различного рода исследований.
В соответствии с вышеизложенным вопрос разработки методологического подхода к оценке мнений целевой аудитории о дистанционном обучении является как теоретически, так и практически актуальным. Ввиду сложности и многоаспектности заявленной проблематики степень ее изученности представляется достаточно низкой, затрагивающей только отдельные, разрозненные аспекты темы. Примеров комплексного и системного изучения данной темы не имеется в научном дискурсе.
В связи с этим в представленном исследовании рассмотрим описание методологии цифрового поиска в выборке данных целевой аудитории для последующего использования ее в оценке качества дистанционного образования. Для оценки будет предложен алгоритм, построенный на основе разработанной математической модели.
Методологическая база исследования / Methodological base of the research
Рассмотрим основные этапы методологии цифрового поиска целевой аудитории исследования. В данном исследовании под целевой аудиторией (ЦА) мы будем понимать студентов и преподавателей вузов, которые публикуют разные посты по проблемам высшего образования, онлайн-образования и образования в условиях пандемии.
Методологию поиска ЦА мы определим как общий подход к выбору методов, способов и стратегии информационного поиска применительно к задаче релевантного отбора требуемых по задаче данных. Например, запрос информационного поиска ориентирован на нахождение преподавателей вузов как части ЦА по следующему алгоритму:
1) выбрать группу подписчиков, чье последнее место работы - вуз (институт, университет и т. п.);
2) в полученной выборке п. 1 определить тех, чья должность связана с преподавательской деятельностью;
3) выбрать те подписки на группы, которые являются «живыми» и удовлетворяют следующим критериям:
- нет запретов к комментированию постов;
- одним из основных направлений группы является обсуждение проблем вузовского образования;
- посты связаны с обучением в вузе и/или обучением в условиях пандемии.
Опираясь на представленный алгоритм, предлагаем сформулировать методологию поиска ЦА через описание ее критериев и этапов ее реализации.
Критерии поиска ЦА включают следующие параметры:
- Цель - нахождение ЦА по подпискам в сообществах социальных сетей, которые затрагивают проблемы обучения в вузе (высшего образования, онлайн образования и образования в условиях пандемии), содержат высказывания, суждения и предложения по выделенным проблемам.
- Предмет - собственно организация поиска ЦА, являющейся участниками подписок, посты которых связаны с обсуждением проблем обучения в вузе (высшего образования, онлайн-образования и образования в условиях пандемии), высказыванием собственных суждений и формированием предложений по выделенным проблемам.
- Виды информационного поиска, используемого в исследовании.
Для формирования методологии поиска целевой аудитории в исследовании применяются следующие виды информационного поиска:
- фактографический поиск, в рамках которого осуществляется поиск фактов, соответствующих информационному запросу;
- семантический поиск, в рамках которого анализируется содержание постов по заданным параметрам.
При использовании фактографического поиска в контексте данной работы на первой итерации были найдены все подписчики, у которых последним местом работы является учреждение высшего образования. Затем из полученной выборки были выделены участники, занимающиеся преподавательской деятельностью или являющиеся студентами. На третьем этапе был проведен анализ подписок ЦА для определения их активности на заданный период (иметь «свежие» посты в ленте сообщений и комментарии к ним). С использованием данного подхода был сформирован массив ЦА, являющейся подписчиками сообществ социальных сетей, которые удовлетворяют выделенным критериям информационного запроса поиска (место работы/ учебы, должность/ статус, активность участников подписок).
В процессе применения семантического поиска были отобраны подписки, затрагивающие проблемы обучения в вузе (высшего образования, онлайн-образования и образования в условиях пандемии) и/ или содержащие высказывания, суждения и предложения по выделенным проблемам. Была установлена разметка по смысловому содержанию подписки, определяющая ее отношение к обучению в вузе. Именно это поисковое описание является доминирующим в осуществлении релевантного отбора ЦА в семантическом поиске. С использованием данного подхода были отобраны релевантные подписки ЦА.
Для проведения исследования были использованы следующие методы:
- Выборочный метод. Он позволил выделить ЦА, которая удовлетворяет информационному запросу поиска. В результате применения данного метода была выбрана ЦА, в подписках которой активно обсуждались проблемы высшего образования, он-лайн-образования и образования в условиях пандемии.
- Интуитивный метод. Позволил сформировать перечень ключевых слов, положенных в основу информационного запроса поиска ЦА с использованием абстрактно-логического анализа. В результате применения данного метода были определены ключевые параметра поиска (постов), включающие набор контекста: образование, дистант, онлайн, универ, студент, преподаватель, бакалавр, магистр, экзамен, зачет, профессор, доцент, лекция, кафедра, факультет, институт, зачетка, расписание, общежитие, стипендия, коронавирус, COVID-19, карантин, пандемия и др. (а также различные вариации сокращений и морфологических форм выделенных ключевых слов). С использованием обозначенных параметров поиска были отобраны только релевантные подписки ЦА.
- Рецептурный метод. С помощью данного метода была создана модель поисковой задачи, которая сможет однозначно выделить ЦА, которая является участником подписок, удовлетворяющих обозначенным ранее критериям информационного запроса поиска. Модель поисковой задачи включает: специфичность цели, длительность, объем результата. Специфичность цели информационного поиска определяется целевой аудиторией и выделенными критериями. Нахождение ЦА должно быть явным и не затрачивать большой объем времени. В результате применения данного метода была создана модель поискового запроса, которая позволила найти ЦА - участников релевантных подписок.
- Индуктивный метод информационного поиска позволил сформировать некоторую закономерность ключевых слов поиска. В результате применения данного метода был определен массив ключевых слов, например онлайн-обучение, дистанционное обучение, пандемия и т. п., сформированы лингвистические маркеры, специфические для релевантных подписок сообществ в социальных сетях.
- Дедуктивный метод информационного поиска позволил из совокупности всех сообществ, на которые подписана ЦА, выделить только те, которые удовлетворяют критериям информационного запроса поиска. В результате применения данного метода из всех постов были отобраны только те посты ЦА, которые затрагивали проблемы образования в вузе как в условиях нормального функционирования, так и в условиях пандемии.
Для поиска ЦА, являющихся участниками подписок сообществ в социальных сетях, использовался текущий хронологический охват, позволяющий выделить только те подписки, API которых активен.
В результате использования текущего поиска ЦА были отобраны участники подписок сообществ, которые являются студентами или занимаются педагогической деятельностью в высших учебных заведениях на данный период времени и проявляют интерес к проблематике обучения в вузе как в условиях нормального функционирования, так и в условиях пандемии.
Для поиска ЦА была осуществлена многошаговая выборка, описанная в информационном запросе. Поиск активных подписок ЦА осуществлялся по API разово. Для этого были использованы различные методы:
- messages.allowMessagesFromGroup (для подписки на сообщения от сообщества);
- messages.denyMessagesFromGroup (для запрета сообщений от сообщества);
- messages.isMessagesFromGroupAllowed (для проверки, разрешены ли сообщения от сообщества).
Систематизация поиска заключалась в планировании его осуществления для ускорения его реализации, а именно:
- была поставлена задача тщательного отбора критериев поиска (место работы, должность, активность подписки);
- была осуществлена систематизация ключевых слов для поиска (лингвистические маркеры, специфические для релевантных подписок сообществ в социальных сетях);
- была произведена унификация систематизированных ключевых слов с учетом морфологии и сленга.
Таким образом, были определены основные критерии методологии поиска ЦА, включающие описание выбора методов и способов проведенного исследования применительно к задаче релевантного отбора постов ЦА. Для полноты исследования необходимо выделить и описать основные этапы проведения поиска релевантных постов ЦА.
К основным этапам поиска целевой аудитории относятся:
- определение (уточнение) информационной потребности, под которой мы понимаем поиск и удовлетворяющий критериям информационного запроса поиска отбор ЦА, которая обсуждает проблемы онлайн-обучения и классического обучения, в условиях пандемии переведенного в дистанционный формат; ставит проблему; высказывает мнения, суждения и предлагает решения в активных подписках сообществ. В информационную потребность мы также включаем необходимость классификации ЦА по социально-демографическим и профессиональным признакам с целью получения аналитических отчетов по различным критериям для формирования представления о спектре вопросов, обсуждаемых в постах, и основных характеристиках ЦА (возраст, регион, должность и др.);
- формулировка информационного запроса: найти всю ЦА (студентов и педагогов высших учебных заведений), которая является участниками релевантных подписок сообществ в социальных сетях, посты которых «живые» (нет запретов к комментированию постов; посты связаны с обучением в вузе и/или обучением в условиях пандемии); собрать и классифицировать характеристики ЦА по социально-демографическим и профессиональным признакам;
- определение совокупности предполагаемых держателей информации.
В ходе исследования были выделены основные держатели информации по поставленной задаче информационного поиска, к которым мы отнесли студентов и педагогов высших учебных заведений, являющихся подписчиками сообществ в социальных сетях, наиболее распространенных на территории России (ВКонтакте).
Были выбраны следующие поисковые средства для решения задачи отбора ЦА:
- информационно-поисковые системы Интернета - Гугл, Яндекс, Rambler, Mail.ru;
- парсеры для социальных сетей - Facebook, Twitter, Instagram, LinkedIn, ВКонтакте, Одноклассники.
Извлечение информации включало два основных процесса: формирование реестра студентов и педагогических работников высших учебных заведений, являющихся участниками подписок сообществ в социальных сетях, и формирование ЦА по оценке релевантности подписок, в которых они принимают участие.
Первый процесс: формирование реестра студентов и педагогических работников высших учебных заведений, являющихся участниками подписок сообществ в социальных сетях. Например, для выбора всех работников высших учебных заведений была проанализирована информация об их месте работы. Выбор падал на тех, у кого последнее место удовлетворяло критерию.
Для этого был использован фильтр, разработанный в среде MS Excel и позволяющий определить место работы сотрудников.
СЖПРОБЕЛЫ(ПРАВСИМВ(ПОДСТАВИТЬ(В2;» «; ПОВТОР(« «; 50)); 50)), где В2 - адрес первой ячейки столбца таблицы, который содержит данные о месте работы.
Отфильтрованные данные о местах работы были проанализированы, и отсеяны те, которые не имеют отношения к учреждениям высшего образования. Отсеивание происходило путем применения фильтров и ручного удаления тех записей, которые не удовлетворяли требованиям.
Для выбора работников, занимающихся педагогической деятельностью, был сформирован реестр педагогических должностей высших учебных заведений.
С использованием фильтра
=СЖПРОБЕЛЫ(ПРАВБ(ПОДСТАВИТЬ(В2;",";ПОВТОР(" ";99));99)), где В2 - адрес первой ячейки столбца таблицы Excel, который содержит данные о должности, был сформирован массив последней должности претендентов на вхождение в ЦА.
Полученные данные были подвергнуты дополнительной обработке с целью извлечения только педагогов. Для этого сначала была произведена унификация наименований должностей путем их автозамены (ст. преподаватель - старший преподаватель, препод - преподаватель и т. п.). Далее была произведена фильтрация с использованием формулы:
=если(или(Х1='ассистент' ;Х1='преподаватель;Х1='старший преподава-
тель';Х1='доцен^ ;Х1='профессор');1;''),
где Х1 - адрес первой ячейки столбца таблицы Excel, который содержит данные о должности.
И наконец, полученные данные были отфильтрованы по признаку «1». Таким образом, был получен реестр педагогических работников высших учебных заведений, являющихся участниками подписок.
Второй процесс - формирование ЦА по оценке релевантности подписок, в которых они принимают участие, проходил следующим образом:
- вручную был осуществлен просмотр сообщений подписки на оценку дат их создания, т. е. оценка активности подписки;
- была произведена оценка возможности добавления комментариев в подписку путем визуального просмотра существующих индикаторов на текущей странице;
- была произведена ручная разметка постов в подписках в соответствии с контекстом ключевых слов с учетом морфологии и сленга, определяющих семантическую сущность информационного запроса поиска.
Результаты исследования / Research results
Была выбрана ЦА, являющаяся участниками релевантных подписок. Поэтому были определены критерии релевантности подписок ЦА и обозначена процедура их применения.
Критерии релевантности:
1) подписка должна содержать активную ленту с сообщениями;
2) не должно быть запретов к комментированию постов;
3) посты должны быть связаны с обучением в вузе и/или обучением в условиях пандемии, т. е. включать:
- контекст ключевых слов с учетом морфологии и сленга, определяющих семантическую сущность информационного запроса поиска с использованием абстрактно-логического анализа;
- лингвистические маркеры, специфические для обозначенной информационной потребности.
Процедура применения критериев релевантности:
1) проверить даты последних 10 постов для формулирования вывода об активности подписки. Необходимо выполнить условие: все посты должны быть созданы не позднее последних 30 дней;
2) оценить возможность добавления комментариев в подписку путем визуального просмотра существующих индикаторов на текущей странице;
3) проанализировать посты и комментарии к ним на предмет соответствия заявленному информационному запросу поиска, сформулированному на первом этапе: ЦА должна затрагивать проблемы онлайн-обучения и классического обучения, в условиях пандемии переведенного в дистанционный формат; высказывать мнения, суждения и предлагать решения.
В ходе проведения исследования было проанализировано 17 057 записей, сделанных ЦА по проблемам онлайн-обучения и классического обучения, в условиях пандемии переведенного в дистанционный формат. В количественный состав ЦА вошел 2731 преподаватель разных должностей в вузах. На рис. 1 представлено графическое распределение ЦА по возрастному критерию.
Табл. 1 содержит более детальную информацию по возрастам ЦА, чье мнение и суждение затрагивало проблемы высшего образования в дистанционном формате и онлайн-обучения в условиях пандемии.
700
X
600
X
X
500 400
X
300
X —№
200
X
100
20-24 25-29 30-34 35-39 40-44 45-19 50-54 55-60
Рис. 1. Распределение ЦА по возрасту
Таблица 1
Распределение ЦА по возрастному критерию
Возраст Женщины Мужчины Всего
20-24 6 5 11
25-29 76 72 148
30-34 278 250 528
35-39 345 303 648
40-44 285 264 549
45-49 192 165 357
50-54 121 111 232
55-60 96 138 234
На рис. 2 представлена динамика распределения ЦА с учетом пола.
400 -
20-24 25-29 30-34 35-39 40^4 45-Ф9 50-54 55-60
Рис. 2. Распределение ЦА по возрасту с учетом пола
Полученные результаты позволили рассчитать моду и медиану на всем диапазоне данных (см. табл. 2).
В ходе проведения исследования был осуществлен географический охват ЦА (см. рис. 3), который показал сосредоточенность в центральной части России, где располагается большее количество вузов.
Таблица 2
Мода и медиана на всем диапазоне данных
Показатель Женщины Мужчины Итоговая
Мода 36 лет 39 лет 36 лет
Медиана 39 лет 40 лет 40 лет
Рис. 3. Карта, отображающая количество ЦА по регионам
Для чистоты исследования был осуществлен расчет среднего количества подписок у представителя ЦА. Сначала были получены группы и подписки ЦА. Для каждого представителя ЦА было найдено количество групп (groups), количество пабликов (publics) и их сумма. Затем произведен расчет среднего количества. Среднее количество подписок на группы и паблики у представителя целевой аудитории составило 94.
На основе полученных групп и подписок преподавателей были найдены количество уникальных групп и количество уникальных пабликов. Эти значения были просуммированы. Общее количество уникальных сообществ в подписках целевой аудитории составило 178 650.
Далее нужно было определить релевантные сообщества, которые затрагивают вопросы высшего дистанционного образования и онлайн-образования в условиях пандемии. На соотнесение релевантности были выделены 3905 сообществ, из которых было выявлено восемь релевантных сообществ. Количество участников в релевантных и нерелевантных сообществах представлено на рис. 4 и 5 соответственно.
5. Анализ данных в оценке мнений о дистанционном обучении
Все найденные сообщения были разделены на релевантные, то есть соответствующие образовательной тематике, и нерелевантные. Количество релевантных постов различно - в разных регионах и разных вузах по-разному обсуждалась проблема дистанционного образования, особенно когда это было вызвано эпидемиологической ситуацией в стране, мире.
Студенты до перехода на дистанционное обучение не часто представляли тему образования в своих сообществах. Однако анализ показал, что с вынужденным массовым переходом на онлайн-обучение данная тематика стала намного чаще обсуждаться в сообществах как преподавателей, так и студентов.
Рис. 4. Количество участников в релевантных сообществах
Рис. 5. Количество участников в нерелевантных сообществах
Следующим блоком анализа являлась тематика и тональность релевантных сообщений. Тематика высказываний в сообщениях в основном связана с организационно-методическими вопросами: в двух из трёх сообществ доля таких высказываний составляет 66-77%, из которых 16% негативных сообщений и 84% нейтральных.
Вторым по актуальности является вопрос бытовых условий - в двух из трёх сообществ доля таких высказываний составляет 13-18%, из которых 3% позитивных сообщений, 17% негативных сообщений и 80% нейтральных. На третьем месте у студентов социально-финансовая тема: в двух из трёх сообществ доля таких высказываний среди релевантных составляет 5-12%, из которых 24% негативных сообщений и 76% нейтральных. Следующей представлена тема технического обеспечения: в сообществах доля таких высказываний среди релевантных составляет 9%, из которых 28% негативных и 72% нейтральных высказываний. В меньшей степени волнуют студентов самочувствие и иные темы.
На рис. 6 отображается динамика публикационной активности, выявленная на основе анализа релевантных сообщений. Анализ показал, что в разных вузах наблюдается различная периодичность упоминания вопросов, связанных с дистанционным обучением. Например, в сообществах вуза 2 релевантные сообщения не встречаются
на 8-11-й неделях, присутствуют только в начале учебного семестра и по 5-9% всех сообщений за остальной период. В сообществах вуза 3 релевантные сообщения встречаются равномерно: 1-4% сообщений от общего количества в неделю. А в сообществах вуза 1 виден явный интерес к вопросам онлайн-обучения.
20 18 16 14 12 10 8 6 4 2 0
1,2
1 «
0,8 ш ю
0,6 о о
0,4 0,2
ОС
о
ш ш
ш ш
ш ш
ш ш
ш ш
ш ш
ш ш
ш ш
ш ш
ш ш
ш ш
ш ш
о
гм
ГМ ГМ ГЧ
гм
Номер недели
0
^—ВУЗ 1 ВУЗ 2 ВУЗ 3
Рис. 6. Распределение сообщений во времени за заданный период
В период объявления о переходе на дистанционное обучение большинства российских вузов происходит повышение публикационной активности в сообществах: рост с 4% до 9%. Этот период можно считать пиком публикационной активности по обсуждению дистанционного обучения и проблем, которые появились с массовым переходом на онлайн-обучение.
При этом видно, что динамика публикаций вузов различается: в сообществах одних вузов еженедельно появляются релевантные сообщения, наблюдается равномерное распределение, но к середине семестра публикационная активность немного активизируется: рост с 8% до 9%. В этот период зафиксированы пики публикационной активности. Затем к концу семестра активность постепенно падает (до 3%). В других вузах пики публикационной активности приходятся на 17-18-ю недели (рост с 5% до 23%). Затем релевантные сообщения исчезают, появляясь лишь на 21-й неделе (5%).
В целом для вузов характерна низкая публикационная активность в неофициальных сообществах по тематике образования до наступления вынужденного перехода, связанного со всплеском заболеваемости COVID-19. Всплеск активности явно прослеживается в начале перехода на онлайн-обучение, которая достигает пика к середине семестра.
Как правило, тематика постов в релевантных сообществах сфокусирована на трех направлениях: организационно-методические вопросы, техническое обеспечение учебного процесса, личные качества и самочувствие.
В целом для вузов чаще характерны сообщения организационного характера. Наиболее резонансной темой является тема отсутствия четкой информации о процессе обучения, как проходят при онлайн-обучении контрольные мероприятия, как осуществляется взаимодействие, каким образом можно изменить результаты экзаменов и т. д.
На рис. 7 представлен топ наиболее популярных слов из сообщений студентов. С темой обучения связаны слова: сессия, дистанционно, учиться, подсказать, универ. Неоднократно фигурируют слова: экзамен, деканат, студент, стипендия, каникулы.
Рис. 7. ТОП слов из релевантных теме образования сообщений
Заключение / Conclusion
Оценка качества дистанционного образования - это серьезная задача, которая стоит перед образовательными учреждениями, когда на смену традиционным формам обучения пришел дистанционный онлайн-формат предоставления учебного материала. Она позволяет отобразить степень соответствия достигаемых образовательных результатов ожиданиям субъектов образования, социальным запросам и нормативным требованиям. При этом в оценке качества ДО используются разнообразные показатели: от оценок индивидуальных достижений, полученных субъектами образовательного процесса в ходе обучения, до данных суждений и мнений, выявленных в ходе анализа сообщений целевой аудитории.
В ходе исследования был осуществлен информационный поиск показателей, которые необходимы для комплексной оценки. Если данные об индивидуальных достижениях студентов хранятся в образовательном учреждении, то для субъективных данных необходимо было сформулировать основные запросы, чтобы выборка данных была релевантной для принятия решения в оценке качества ДО.
Таким образом, в ходе исследования была определена методология поиска целевой аудитории, включающая выбор методов, способов и стратегий информационного поиска релевантного отбора требуемых данных. Она позволила сформировать набор показателей, которые были в дальнейшем использованы для проведения комплексной оценки качества ДО.
Для оценки качества дистанционного образования был предложен алгоритм, построенный на основе математической модели комплексной оценки интегрального показателя объективных данных субъекта образования и субъективных данных, интегрированных с учетом анализа мнений и суждений целевой аудитории с опорой на проведенный цифровой поиск релевантных сообщений.
Ссылки на источники / References
1. Орлова Е. Р., Кошкина Е. Н. Проблемы развития дистанционного обучения в России // Национальные интересы: приоритеты и безопасность. - 2013. - 23. - С. 12-20.
2. Hodges C. B. Authentic Learning in Distance Education Special Issue // TechTrends. - 2020. - 64. - Р. 547.
3. Akhmadullin I. R., Safina A. V., Fatkhullina L. Z. Potential to Mitigate Social Inequality Through Individuals Taxation Reform // Advances in Economics, Business and Management Research. - 2020. - 128. P. 3129-3133.
4. Favale T., Soro F., Trevisan M., Drago I., Mellia, M. Campus traffic and e-Learning during COVID-19 pandemic // COMPUTER NETWORKS. - 2020. - 176. Number of article 107290.
5. Surma T., Kirschner P. A. Technology enhanced distance learning should not forget how learning happens // COMPUTERS IN HUMAN BEHAVIOR. - 2020. - 110. Number of article UNSP 106390.
6. Filius R. M., Kleijn R. A. M. de, Uijl S. G., et al. Audio peer feedback to promote deep learning in online education // Journal of Computer Assisted Learning. - 2019. - 35(5). - P. 607-619.
7. Lowell V. L., Campion L. L. Introduction to TechTrends Special Issue: Authentic Learning Experiences via Distance Learning // TechTrends. - 2020. - 64. - P. 548-549.
8. Starkova T., Lukavsky J., Javora O., Brom C. Anthropomorphisms in multimedia learning: Attract attention but do not enhance learning? // Journal of Computer Assisted Learning. - 2019. - 35(4). - P. 555-568.
9. Young, S. S.-C. In search of online pedagogical models: investigating a paradigm change in teaching through the School for All community // Journal of Computer Assisted Learning. - 2004. - 20(2). - P. 133-150.
10. Dexter S., Seashore K. R., Anderson R. E. Contributions of professional community to exemplary use of ICT // Journal of Computer Assisted Learning. - 2002. - 18(4). - P. 489-497.
11. Trentin G. E-learning and the third age // Journal of Computer Assisted Learning. - 2004. - 20(1). - P. 21-30.
12. James N., Humez A., Laufenberg P. Using Technology to Structure and Scaffold Real World Experiential Learning in Distance Education // TechTrends. - 2020. - 64. - P. 636-645.
13. Garcia C., Badia A. Information problem-solving skills in small virtual groups and learning outcomes // Journal of Computer Assisted Learning. - 2017. - 33(4). - P. 382-392.
14. Lazonder A. W. Exploring novice users' training needs in searching information on the WWW // Journal of Computer Assisted Learning. - 2000- 16(4). - P. 326-335.
15. Zheng B., Liu O., Li J. et al. Towards a distributed local-search approach for partitioning large-scale social networks // Information Sciences. - 2020. - 508. - P. 200-213.
16. Ganzha M., Paprzycki M., Stadnik J. Combining information from multiple search engines - Preliminary comparison // Information Sciences. - 2010. - 180(10). - P. 1908-1923.
17. Trias A., Rosa M. J. L. la, Asknext E. An agent protocol for social search // Information Sciences. - 2012. - 190(1). - P. 144-161.
18. Trias A., Rosa M. J. L. la, Asknext E. Question Waves: A multicast query routing algorithm for social search // Information Sciences. - 2013. - 253(20). - P. 1-25.
19. Reinhardt J. Metaphors for social media-enhanced foreign language teaching and learning // FOREIGN LANGUAGE ANNALS. - 2020. - 53(2). - P. 234-242.
20. Serrano W., Gelenbe E. The Random Neural Network in a neurocomputing application for Web search // Neurocomputing. - 2018. - 280. - P. 123-134.
21. Rashid U., Viviani M., Pasi G. A graph-based approach for visualizing and exploring a multimedia search result space // Information Sciences. - 2016. - 370-371(20). - P. 303-322.
22. Spavold J. Children and databases: an analysis of data entry and query formulation // Journal of Computer Assisted Learning. - 1989. - 5(3). - P. 145-160.
23. Sun F., Wang M., Wang D., Wang X. Optimizing social image search with multiple criteria: Relevance, diversity, and typicality // Neurocomputing. - 2012. - 95. - P. 40-47.
24. Cui J., Zhou H., Xu Y., Zhong H. OOABKS: Online/offline attribute-based encryption for keyword search in mobile cloud // Information Sciences. - 2019. - 489. - P. 63-77.
25. Jiang Q., Qi Y., Q, S. et al. Pbsx: A practical private boolean search using Intel SGX // Information Sciences. - 2020. - 521. - P. 174-194.
26. Zhang X., Tang Y. Wang H. et al. Lattice-based proxy-oriented identity-based encryption with keyword search for cloud storage // Information Sciences. - 2019. - 494. - P. 193-207.
27. Guan Zh., Liu X., Wu Li et al. Cross-lingual multi-keyword rank search with semantic extension over encrypted data // Information Sciences. - 2020. - 514. - P. 523-540.
28. Xie H., Li X., Wang T. et al. Personalized search for social media via dominating verbal context // Neurocomputing. -2016. - 172. - P. 27-37.
29. Reinhardt J. Metaphors for social media-enhanced foreign language teaching and learning.
1. Orlova, E.R., & Koshkina E.N. (2013). "Problemy razvitiya distancionnogo obucheniya v Rossii" [Problems of distance learning development in Russia], Nacional'nye interesy: prioritety i bezopasnost', 23, pp. 12-20 (in Russian).
2. Hodges, C. B. (2020). "Authentic Learning in Distance Education Special Issue", TechTrends, 64, p. 547 (in English).
3. Akhmadullin, I. R., Safina, A. V., & Fatkhullina, L. Z. (2020). "Potential to Mitigate Social Inequality Through Individuals Taxation Reform", Advances in Economics, Business and Management Research, 128, pp. 3129-3133 (in English).
4. Favale, T., Soro, F., Trevisan, M. et al. (2020). "Campus traffic and e-Learning during COVID-19 pandemic", COMPUTER NETWORKS. 176. Number of article 107290 (in English).
5. Surma, T., & Kirschner, P. A. (2020). "Technology enhanced distance learning should not forget how learning happens", COMPUTERS IN HUMAN BEHAVIOR, 110, Number of article UNSP 106390 (in English).
6. Filius R. M., Kleijn R. A. M. de, Uijl S.G. et al. (2019). "Audio peer feedback to promote deep learning in online education", Journal of Computer Assisted Learning, 35(5), pp. 607-619 (in English).
7. Lowell, V. L., & Campion, L. L. (2020). "Introduction to TechTrends Special Issue: Authentic Learning Experiences via Distance Learning", TechTrends, 64, pp. 548-549 (in English).
8. Starkova, T., Lukavsky, J., Javora, O., & Brom, C. (2019). "Anthropomorphisms in multimedia learning: Attract attention but do not enhance learning?", Journal of Computer Assisted Learning, 35(4), pp. 555-568 (in English).
9. Young, S. S.-C. (2004). "In search of online pedagogical models: investigating a paradigm change in teaching through the School for All community", Journal of Computer Assisted Learning, 20(2), pp. 133-150 (in English).
10. Dexter, S., Seashore, K. R., & Anderson, R. E. (2002). "Contributions of professional community to exemplary use of ICT", Journal of Computer Assisted Learning, 18(4), pp. 489-497 (in English).
11. Trentin, G. (2004). "E-learning and the third age", Journal of Computer Assisted Learning, 20(1), pp. 21-30 (in English).
12. James, N., Humez, A., & Laufenberg, P. (2020). "Using Technology to Structure and Scaffold Real World Experiential Learning in Distance Education", TechTrends, 64, pp. 636-645 (in English).
13. Garcia, C., & Badia, A. (2017). "Information problem-solving skills in small virtual groups and learning outcomes", Journal of Computer Assisted Learning, 33(4), pp. 382-392 (in English).
14. Lazonder, A. W. (2000). "Exploring novice users' training needs in searching information on the WWW", Journal of Computer Assisted Learning, 16(4), pp. 326-335 (in English).
15. Zheng, B., Liu, O., Li, J., et al. (2020). "Towards a distributed local-search approach for partitioning large-scale social networks", Information Sciences, 508, pp. 200-213 (in English).
16. Ganzha, M., Paprzycki, M., & Stadnik, J. (2010). "Combining information from multiple search engines - Preliminary comparison", Information Sciences, 180(10), pp. 1908-1923 (in English).
17. Trias, A., Rosa, M. J. L. la, & Asknext, E. (2012). "An agent protocol for social search", Information Sciences, 190(1), pp. 144-161 (in English).
18. Trias, A., Rosa, M. J. L. la, & Asknext, E. (2013). "Question Waves: A multicast query routing algorithm for social search", Information Sciences, 253(20), pp. 1-25 (in English).
19. Reinhardt, J. (2020). "Metaphors for social media-enhanced foreign language teaching and learning", FOREIGN LANGUAGE ANNALS, 53(2), pp. 234-242 (in English).
20. Serrano, W., & Gelenbe, E. (2018). "The Random Neural Network in a neurocomputing application for Web search", Neurocomputing, 280, pp. 123-134 (in English).
21. Rashid, U., Viviani, M., & Pasi, G. (2016). "A graph-based approach for visualizing and exploring a multimedia search result space", Information Sciences, 370-371(20), pp. 303-322 (in English).
22. Spavold, J. (1989). "Children and databases: an analysis of data entry and query formulation", Journal of Computer Assisted Learning, 5(3), pp. 145-160 (in English).
23. Sun, F., Wang, M., Wang, D., & Wang, X. (2012). "Optimizing social image search with multiple criteria: Relevance, diversity, and typicality", Neurocomputing, 95, pp. 40-47 (in English).
24. Cui, J., Zhou, H., Xu, Y., & Zhong, H. (2019). "OOABKS: Online/offline attribute-based encryption for keyword search in mobile cloud", Information Sciences, 489, pp. 63-77 (in English).
25. Jiang, Q., Qi, Y., Qi, S. et al. (2020). "Pbsx: A practical private boolean search using Intel SGX", Information Sciences, 521, pp. 174-194 (in English).
26. Zhang, X., Tang, Y. Wang, H. et al. (2019). "Lattice-based proxy-oriented identity-based encryption with keyword search for cloud storage", Information Sciences, 494, pp. 193-207 (in English).
27. Guan, Zh., Liu, X., Wu, Li et al. (2020). "Cross-lingual multi-keyword rank search with semantic extension over encrypted data", Information Sciences, 514, pp. 523-540 (in English).
28. Xie, H., Li, X., Wang T., et al. (2016). "Personalized search for social media via dominating verbal context", Neurocomputing, 172, pp. 27-37 (in English).
29. Reinhardt, J. (2020). Op. cit.
Вклад авторов
Е. В. Желнина - введение, обзор отечественной и зарубежной литературы по теме исследования, методологическая база исследования, результаты, заключение.
О. М. Гущина - введение, методологическая база исследования, извлечение данных и формирование реестров данных, результаты, заключение.
Contribution of the authors
E. V. Zhelnina - introduction, review of domestic and foreign literature on the research topic, methodological basis of the research, results, conclusion.
O. M. Gushchina - introduction, methodological basis of the research, data retrieval and formation of data registers, results, conclusion.
