CC BY
46
ISSN 0321-2653 ИЗВЕСТИЯ ВУЗОВ. СЕВЕРО-КАВКАЗСКИМ РЕГИОН._ТЕХНИЧЕСКИЕ НАУКИ. 2019. № 1
ISSN 0321 -2653 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION. TECHNICAL SCIENCE. 2019. No 1
УДК 004.912:519.713.1:519.766.23 DOI: 10.17213/0321-2653-2019-1-38-44
ОБ ОДНОМ ПОДХОДЕ К ИСПОЛЬЗОВАНИЮ ИНТЕЛЛЕКТУАЛЬНОГО МОНИТОРИНГА ОТЗЫВОВ ПОЛЬЗОВАТЕЛЕЙ СЕТИ ИНТЕРНЕТ ДЛЯ УПРАВЛЕНИЯ ОБРАЗОВАТЕЛЬНОЙ ДЕЯТЕЛЬНОСТЬЮ
© 2019 г. Д.В. Гринченков1, Нгуен Фук Хау12, Нгуен Тхи Тху12, Д.Н. Кущий1
1Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия, 2Университет Шао-До, г. Чи Линь, Провинция Хай Зыонг, Вьетнам
ONE APPROACH TO THE USE OF INTELLIGENT MONITORING OF FEEDBACK FROM INTERNET USERS FOR THE EDUCATIONAL
MANAGEMENT ACTIVITIES
D.V. Grinchenkov1, Nguyen Phuc Hau1'2, Nguyen Thi Thu12, D.N. Kushchiy1
1Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia, 2Sao Do University, Chi Linh Town, Hai Duong Province, Vietnam
Гринченков Дмитрий Валерьевич - канд. техн. наук, доцент, зав. кафедрой «Программное обеспечение вычислительной техники», Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия. E-mail: grindv@yandex.ru
Нгуен Фук Хау - специалист учебного отдела, ун-т Шао-До, г. Чи Линь, Провинция Хай Зыонг, Вьетнам. Аспирант, кафедра «Программное обеспечение вычислительной техники», Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия. E-mail: phuchauptit@gmail.com
Нгуен Тхи Тху - преподаватель, факультет «Электроника и информатика», у-т Шао-До, г. Чи Линь, Провинция Хай Зыонг, Вьетнам. Аспирант, кафедра «Программное обеспечение вычислительной техники», Южно -Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия. E-mail: thunt832212@gmail.com
Кущий Дарья Николаевна - ст. преподаватель, кафедра «Программное обеспечение вычислительной техники», Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия. E-mail: dkushchiy@rambler.ru
Grinchenkov Dmitriy Valerievich - Candidate of Technical Sciences, Assistant Professor, Head of Department «Software Computer Engineering», Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia. E-mail: grindv@ yandex.ru
Nguyen Phuc Hau - Specialist of Training Department, Sao Do University, Chi Linh Town, Hai Duong Province, Vietnam. Graduate Student, Department «Software Computer Engineering», Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia. E-mail: phuchauptit@gmail.com
Nguyen Thi Thu - Teacher, Department «Electronics and Informatics», Sao Do University, Chi Linh Town, Hai Duong Province, Vietnam. Graduate Student, Department «Software Computer Engineering», Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia. E-mail: thunt832212@gmail. com
Kushchiy Daria Nikolaevna - Senior Lecturer, Department «Software Computer Engineering», Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia. E-mail: dkushchiy@rambler.ru
Рассмотрена проблема формирования и корректировки программ дополнительного профессионального образования на основе учета мнения потребителей образовательных услуг, сбор и классификация которого осуществляется на основе анализа откликов в сети интернет. Предложена классическая схема адаптивного управления и возможность ее применения к управлению образовательными программами на основе учета субъективного мнения обучаемых. Описана информационная система, автоматизирующая процесс интеллектуального мониторинга.
Ключевые слова: дополнительное профессиональное образование; субъективное мнение обучаемых; информационная система; управление образовательными программами.
ISSN 0321-2653 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION. TECHNICAL SCIENCE. 2019. No 1
In article the technology of recognition of the partial structured text in a natural language by means of the finite-state machine is considered. The language accepted by automatic machine sets the unified structure of the working program and is used for splitting the source text of the document for sections. Productional rules of analysis of contents of structural blocks are described. The offered technology is applied to the automated construction of a query in the system of thematic search of discipline methodological support. Features of operating in the web applications created by means of a framework ofASP.NET on the basis of the Model-view-controller template and with assistance of technology of cast and authentication of Identify ASP.NET are considered by data. The main screen forms showing work of system of thematic search are given.
Keywords: additional vocational education; the subjective opinion of students; information system; management of educational programs.
В настоящее время многие организации, реализующие образовательную деятельность, заинтересованы не только в качественном осуществлении самого процесса, но и в эффективном продвижении своих программ в образовательном пространстве. В силу этого содержание образовательных программ должно не только основываться на мнении преподавателей, обладающих достаточной квалификацией и руководствующихся своими представлениями о потребностях рынка образовательных услуг, но и обязательно учитывать мнение потребителей этих самых услуг. Наиболее очевидным способом такого «учета мнения потребителя» может быть анализ распространяющейся в социальных сетях, блогосфере, различного рода сообществах, в том числе и профессиональных, информации. Оперативно анализируя текущее состояние «общественного мнения», можно вносить изменения в образовательные программы и актуализировать их, таким образом существенно повышая востребованность конкретных образовательных услуг и их соответствие ожиданиям потребителей. Однако следует учитывать тот факт, что реализуемые образовательные программы существенно отличаются по целому ряду параметров: уровень образования, образовательные стандарты, сроки обучения, уровень документов об образовании, выдаваемый в конце обучения, широта охвата образовательного контента и т.д. Если сравнить, например, классическое высшее образование бакалавра и профессиональную переподготовку по определенному виду деятельности, то уже на этом уровне можно выделить существенные различия в возможности внесения изменений в образовательную программу.
Если рассмотреть организацию основной образовательной программы (ООП) бакалавра, то известно, что образовательный процесс ориентирован на четыре года. Он имеет утвержденный учебный план, построенный в соответствии с образовательным стандартом и примерной об-
разовательной программой, которые вводят ряд формальных ограничений, не допускающих внесения существенных изменений в саму программу в процессе реализации полного цикла обучения. И хотя образовательные стандарты предписывают необходимость внесения ежегодных обновлений в ООП, они, как правило, носят «косметический» характер и реализуются за счет внесения изменений в содержательную часть рабочих программ дисциплин учебного плана, что оставляет саму ООП и ее структуру практически неизменной. Такой подход затрудняет оперативную и существенную корректировку ООП.
Отдельно следует более подробно рассмотреть и потребителей результатов образовательной деятельности, это непосредственно обучаемый и работодатель. На начальном этапе обучаемый, как правило, бывший ученик средней школы, чаще всего имеет достаточно общие представления о своей будущей профессиональной деятельности и доверяет той образовательной программе, на которую он поступает учиться. Работодатель имеет четкое представление о том, какие специалисты ему нужны, он даже привлекается к утверждению учебных планов направлений подготовки, однако за то время, пока длится образовательный процесс, в профессиональной деятельности (особенно высокотехнологичной) происходят достаточно существенные изменения, учесть которые из-за вполне обоснованной инертности классического образования в полном объеме невозможно. Таким образом, для удовлетворения потребностей работодателя выполняется не корректировка ООП в целом, а осуществляется переход к подгонке конкретного выпускника к потребностям конкретного работодателя. В этих целях используются различные виды практик, формулирование тематики выпускных квалификационных работ, а также ряд иных механизмов, например, целевая подготовка, создание базовых кафедр и т.п.
ISSN0321 -2653 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.
TECHNICAL SCIENCE. 2019. No 1
Аналогичные проблемы существуют и в сфере профессиональной переподготовки, которая реализуется на базе уже существующего образования и позволяет получить новую квалификацию, которая может существенно отличаться от ранее полученой. Этот вид обучения, имеющий меньшее количество часов подготовки, допускает большую свободу при формировании образовательных программ, но у него достаточно длительный срок, что также затрудняет, хотя и в меньшей мере, оперативное корректирование.
Особое место в современной структуре образования занимают дополнительное профессиональное образование (ДПО) и повышение квалификации, которые сегодня являются необходимостью практически в любой сфере деятельности. Мотивационная составляющая может носить различный характер: построение карьеры, профессиональный рост, освоение смежных специальностей, совершенствование имеющихся навыков, формальные требования (например, для тех, кто занят на опасном производстве) и т.д. Основная цель дополнительного образования -стремление к соответствию постоянно обновляющимся современным технологиям, методам работы, новым способам производства, совершенствующимся подходам к управлению и т.п. Современный специалист должен постоянно овладевать новыми знаниями и умениями, чтобы быть востребованными на рынке труда. Именно эти образовательные программы благодаря своему короткому сроку обучения и четкой направленности на приобретение вполне конкретных навыков и знаний могут оперативно корректироваться и иметь актуальное состояние, направленное на обеспечение потребностей текущего дня. Именно эти программы используют промышленные предприятия и организации для «доведения» вчерашних выпускников учебных заведений до требуемого на конкретном производстве уровня и для обеспечения должного уровня подготовки основного персонала.
В соответствии с действующим законодательством организации, в которых может быть реализовано ДПО, структурированы так, как это показано на рис. 1.
Обобщенная схема управления программами дополнительного профессионального образования может быть построена по классической схеме системы управления с обратной связью (рис. 2).
Организации, в которых может быть получено ДПО
Организации ДПО Профессиональные образовательные организации Образовательные организации высшего образования Организации осуществляющие обучение Индивидуальные предприниматели
Академия - повышения квалификации
Институт повышения квалификации
— Техникум
— Колледж
-j Университет Академия
— Институт
Учебный центр профессиональной переподготовки и повышения квалификации
Межотраслевые региональные центры повышения квалификации и профессиональной переподготовки специалистов
Курсы повышения квалификации, учебные центры службы занятости
Рис. 1. Организации, в которых может быть получено
дополнительное профессиональное образование / Fig. 1. Organizations in which additional professional images can be obtained
Входные параметры K = {kl, k2,.., kn} ' ' '
Рис. 2. Обобщенная схема управления программами дополнительного профессионального образования с обратной связью / Fig. 2. Generalized management scheme of additional vocational education programs with feedback
На рис. 3 представлена схема взаимодействия участников процесса реализации ДПО и их участие в процессе сбора информации и корректировки образовательных программ. Из приведенной схемы видно, что одной из ключевых задач, требующих решения, является задача сбора информации из сети Интернет и ее последующий анализ и классификация, на основе которого и будут решаться задачи управления. Решить эту задачу можно путем создания автоматизированной системы интеллектуального мониторинга отзывов пользователей сети Интернет.
ISSN 0321-2653 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.
TECHNICAL SCIENCE. 2019. No 1
Организация, реализующая ДПО
X
программы ДПО
Программы ДПО
Программа 1 Программа 1 Программа N
Обучаемые по программам ДПО
Отзыв 1
Отзыв 2
Отзыв M
ИНТЕРНЕТ
X
Сбор и классификация отзывов
Анализ отзывов и формирование рекомендаций
Управление программами ДПО
I t 1 Î
Анализ Принятие решения
рекомендаций о корректировке
Рис. 3. Схема взаимодействия участников процесса реализации дополнительного профессионального образования и их участие в процессе сбора информации и корректировки образовательных программ / Fig.3. The scheme of interaction of participants in the process of implementation of additional professional education and their participation in the process of collecting information and adjusting educational programs
Очевидно, что при реализации автоматизированной системы в первую очередь необходимо создать эффективные инструменты мониторинга, сбора и анализа информации, а также инструментарий интеллектуального анализа мнений.
Так как выражаемые пользователями сети Интернет мнения являются текстовыми, то данную задачу с математической точки зрения можно свести к задаче обработки текстов на естественном языке в целях выявления семантической составляющей текста. Задача классификации текстов и извлечения информации лежит в области компьютерной (математической) лингвистики, возникшей на стыке таких наук, как лингвистика, математика, информатика и искусственный интеллект. Она может быть разделена на два этапа:
1. Первоначальный анализ, который может быть сведен к «грубому» разделению информации на три категории отзывов: положительные, отрицательные и нейтральные (при этом организуется хранение полного текста, по тональности отнесенного к одной из вышеперечисленных категорий). Этот этап позволяет сделать первый срез эмоционального восприятия программы и подготовить базу для последующего анализа.
2. Семантический анализ. Позволяет более детально проанализировать отзывы в каждой категории на предмет извлечения сути оценок, предложений по корректировке и т.п.
Первый этап, по сути, является задачей анализа тональности текста. В работе [1] описаны основные подходы к ее решению, где стоит отметить аспектный (интеллектуальный) подход, главной идеей которого является извлечение и анализ мнений (opinionmining), содержащих тональную оценку. В основе данного подхода лежат методы машинного обучения. Это обусловлено, в первую очередь, повышением количества и объемов текстовых корпусов, а также непрерывно увеличивающимся объемом неструктурированной информации в сети Интернет. Все множество методов машинного обучения можно разделить на две категории: машинное обучение без учителя (unsupervisedmachinelearning) и машинное обучение с учителем (supervisedmachinelearning).
Главной особенностью методов машинного обучения без учителя является отсутствие необходимости в большой обучающей коллекции. Методы машинного обучения без учителя нацелены на работу с большими массивами данных, обладают хорошими показателями качества классификации, достаточно просты в применении, что обуславливает их широкое распространение; основаны на предположении о том, что термины, которые чаще встречаются в анализируемом документе и в то же время присутствуют в небольшом количестве документов всей коллекции, имеют наибольший вес. Определив тональность терминов, можно сделать вывод о тональности всего документа [1, 2]. Для методов машинного обучения с учителем необходимо предварительное составление и разметка тестовой коллекции, необходимой для обучения классификатора, затем формируется векторное представление каждого документа в рамках модели «bag of words» или «bag offeatures», для каждого документа вручную указывается тип тональности и производится обучение классификатора. Полученная модель используется для определения тональности документов новой коллекции.
Рассмотрим основные методы машинного обучения, применяемые для решения задачи анализа тональности текста, и проведем их сравнительный анализ [3 - 7]:
1. Метод опорных векторов (Support Vector Machine, SVM). SVM является одним из наиболее популярных методов машинного обучения с учителем. Основная идея метода заключается в переводе исходных векторов в пространство более высокой размерности и поиск разделяющей гиперплоскости с максимальным зазором в этом пространстве. Разделяющая гиперплоскость
Изменения в
ISSN0321 -2653 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.
TECHNICAL SCIENCE. 2019. No 1
строится на основе двух параллельных гиперплоскостей, разделяющих классы.
2. Наивный байесовский классификатор (Naive Bayes classifier). Основан на применении теоремы Байеса со строгими (наивными) предположениями о независимости. Для объекта классификации вычисляются функции правдоподобия каждого из классов, по которым вычисляются апостериорные вероятности классов. Объект относится к тому классу, для которого апостериорная вероятность максимальна (принцип максимума апостериорной вероятности).
3. Метод k ближайших соседей (k-nearest neighbors algorithm, k-NN). Метрический классификатор, основанный на оценивании сходства объектов - классифицируемый объект относится к тому классу, которому принадлежат ближайшие к нему объекты обучающей выборки. Помимо низкой точности, этот классификатор имеет проблему со скоростью классификации: если в обучающей выборке - N объектов, в тестовой выборке M объектов, а размерность пространства - K, то количество операций O для классификации тестовой выборки может быть оценено как О = K ■M ■N.
Несмотря на описанные недостатки данный метод очень прост в применении и полезен для апробации применяемых при анализе лингвистических технологий.
Стоит отметить, что математический аппарат методов машинного обучения за последние годы не претерпел значительных изменений, поэтому повышение качества классификации достигается, в основном, за счет применения лингвистических технологий анализа. При реализации автоматизированной системы используется метод наивного байесовского классификатора, поскольку он обладает достаточно хорошими показателями качества [8 - 10].
Для решения вышеуказанных задачи разработана автоматизированная система, позволяющая осуществлять мониторинг мнения пользователей сети интернет о качестве оказанных образовательных услуг в сфере дополнительного профессионального образования. Результат мониторинга позволит обеспечить обратную связь с потребителями услуг, что в свою очередь может послужить основанием для внесения изменений в управленческие решения по организации образовательного процесса, принимаемые руководителями образовательных учреждений, и обеспечит повышение качества оказываемых услуг [11]. Структура системы приведена на рис. 4.
Задача сбора данных из разных источников решается с помощью подсистемы сбора данных, интерфейс которой приведен на рис. 5.
Рис.4. Система сбора и анализа отзывов пользователей сети интернет / Fig.4. System for collecting and analyzing user feedback on the Internet
ISSN 0321-2653 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION.
TECHNICAL SCIENCE. 2019. No 1
Рис. 5. Система собирает отзывов пользователей сети интернет / Fig. 5. The system collects user feedback online
Система потенциально является универсальной и мультиязычной, в настоящее время она может собирать и анализировать данные на вьетнамском и русском языках, в перспективе может быть расширена на использование и других языков, однако это требует определенной доработки, связанной со спецификой семантики того или иного языка. Явных ограничений на тематику поиска в системе нет, заложенные в ней механизмы и методы поиска позволяют расширить ее на практически любую тематику. В описываемой системе тематика поиска была сужена до направления, связанного с анализом качества оказанных образовательных услуг и качеством образования на основе вьетнамского языка.
В заключение следует отметить, что представляемый программный продукт является рабочим прототипом, на основе которого будет продолжена разработка программного обеспечения для сбора и анализа мнений респондентов о качестве образовательных услуг.
Литература
Горбушин Д.А. Анализ методов автоматической классификации тональности текста // Научно-техническая конференция инновационных проектов: сб. материалов конф., г. Новочеркасск, 14 - 16 дек. 2014 г. / Юж.-Рос. гос. политехн. ун-т им. М.И. Платова. Новочеркасск: Лик, 2014. С. 123 - 125.
2. Горбушин Д.А., Гринченков Д.В., Мохов В.А., Нгуен ФХ. Системный анализ подходов к решению задачи идентификации тональности текста // Изв. вузов. Сев.-Кавк. регион. Техн. науки. 2016. № 2 (190). С. 36 - 41.
3. Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshi-rani. An Introduction to Statistical Learning. New York: Springer; 2013. 426 p.
4. Stephen R. Garner. WEKA: The Waikato Environment for Knowledge Analysis. In: Computer Science Research Students Conference; April; New Zealand 1995. Pp. 57 - 64.
5. Aytug Onan, Serdar Korukoglu and Hasan Bulut. Ensemble of Keyword Extraction Methods and Classifiers in Text Classification. Expert Systems with Applications. 2016; 57:232-247.
6. Serkan Balli, Ensar Arif Sagbas. The Usage of Statistical Learning Methods on Wearable Devices and a Case Study: Activity Recognition on Smartwatches. [Электронный ресурс] Top 10 algorithms in data mining 9 July 2007 / Revised: (дата обращения: 27.9.2018).
7. Гринченков Д.В., Кущий Д.Н. Об одном подходе к оценке информационной значимости результатов поиска путем семантической оптимизации запроса // Информационно-телекоммуникационные системы и технологии: материалы Всерос. науч.-практ. конф. Кемерово. 2015. 74 с.
8. Гринченков Д.В., Кущий Д.Н. К вопросу формирования нечетких коллокаций на основании семантического анализа рабочих программ образовательных дисциплин // Проблемы модернизации инженерного образования в России: сб. науч. ст. по проблемам высш. шк. / под ред. Н.И. Сысоева. 2014. С. 298 - 300.
9. Гавриков М.М., Иванченко А.Н., Гринченков Д.В. Теоретические основы разработки и реализации языков программирования: учеб. пособие для студ. вузов, обучающихся по специальности «Программное обеспечение вычислительной техники и автоматизированных систем» направления подготовки дипломированных специалистов «Информатика и вычислительная техника». М.: 2010. 184 с.
ISSN 0321-2653 ИЗВЕСТИЯ ВУЗОВ. СЕВЕРО-КАВКАЗСКИМ РЕГИОН._ТЕХНИЧЕСКИЕ НАУКИ. 2019. № 1
ISSN 0321 -2653 IZVESTIYA VUZOV. SEVERO-KAVKAZSKIYREGION. TECHNICAL SCIENCE. 2019. No 1
10. Bhagat S., Cormode G., Muthukrishnan S. Node Classification in Social Networks, Book Chapter inSocial Network Data Analytics, Ed. Cham Aggarwal, Springer, 2011.
11. Нгуен Фук Хау, Нгуен Тхи Тху. Об одном подходе к предварительной обработке информации извлеченной из сети интернет для оценки отзывов пользователей о каче-
стве образовательных услуг // Фундаментальные основы инженерного образования в России: материалы национальной науч.-практ. конф., посвященной 110-летию ЮРГПУ(НПИ) имени М.И. Платова, 17 - 19 октября 2017 г., г. Новочеркасск / Юж.-Рос. Гос. политехн. ун-т (НПИ) им. М.И. Платова. Новочеркасск: ЮРГПУ (НПИ), 2017. С. 37 - 41.
References
1. Gorbushin D.A. [Analysis of methods of automatic classification of text tonality]. Nauchno-tekhnicheskaya konferentsiya inno-vatsionnykh proektov: sb. materialov konf. [In proceedings of Scientific-technical conference of innovative projects]. Novocherkassk, 2014, pp. 123 - 125. (In Russ.)
2. Gorbushin D.A. et al. Sistemnyi analiz podkhodov k resheniyu zadachi identifikatsii tonal'nosti teksta [Systems analysis of approaches for solving the problem of identifying sentiment in text]. Izv. vuzov. Sev.-Kavk. region. Tekhn. nauki, 2016, no. 2, pp. 36 - 41. (In Russ.)
3. Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani. An Introduction to Statistical Learning. New York: Springer, 2013, 426 p.
4. Stephen R. Garner. WEKA: The Waikato Environment for Knowledge Analysis. In: Computer Science Research Students Conference; April; New Zealand, 1995, pp. 57 - 64.
5. Aytug Onan, Serdar Korukoglu and Hasan Bulut. Ensemble of Keyword Extraction Methods and Classifiers in Text Classification. Expert Systems with Applications, 2016, 57:232 - 247.
6. Serkan Balli, Ensar Arif Sagbas. The Usage of Statistical Learning Methods on Wearable Devices and a Case Study: Activity Recognition on Smartwatches. Top 10 algorithms in data mining 9 July 2007 / Revised: (дата обращения: 27.9.2018).
7. Grinchenkov D.V., Kushchii D.N. [One approach to the assessment of the information value of search results by semantic query optimization]. Informatsionno-telekommunikatsionnye sistemy i tekhnologii: materialy Vserossiiskoi nauchno-prakticheskoi kon-ferentsii [In proceedings of Scientific-practical conference Information and telecommunication systems and technologies]. Kemerovo, 2015, 74 p. (In Russ.)
8. Grinchenkov D.V., Kushchii D.N. [The formation of fuzzy collocation on the basis of semantic analysis of the framework curriculum of academic disciplines]. Sbornik nauchnykh statei po problemam vysshei shkoly [Collection of scientific articles on problems of higher school], 2014, pp. 298 - 300. (In Russ.)
9. Gavrikov M.M., Ivanchenko A.N., Grinchenkov D.V. Teoreticheskie osnovy razrabotki i realizatsiiyazykovprogrammirovaniya: uchebnoe posobie dlya studentov vuzov, obuchayushchikhsya po spetsial'nosti "Programmnoe obespechenie vychislitel'noi tekhniki i avtomatizirovannykh sistem" napravleniya podgotovki diplomirovannykh spetsialistov "Informatika i vychislitel'naya tekhnika" [Theoretical bases of development and realization of programming languages. The manual for students of the higher education institutions which are trained in "The software of computer facilities and the automatized systems" direction of training of certified specialists "The information scientist and computer facilities"]. Moscow, 2010, 184 p.
10. Bhagat S., Cormode G., Muthukrishnan S. Node Classification in Social Networks, Book Chapter in Social Network Data Analytics, Ed. Charu Aggarwal, Springer, 2011.
11. Nguen Fuk Khau, Nguen Tkhi Tkhu. [On one approach to the preliminary processing of information extracted from the Internet to assess user feedback on the quality of educational services]. Fundamental'nye osnovy inzhenernogo obrazovaniya v Rossii: materialy natsional'noi nauchno-prakticheskoi konferentsii, posvyashchennoi 110-letiyu YuRGPU(NPI) imeni M.I. Platova [Fundamental foundations of engineering education in Russia: materials of the national scientific-practical conference dedicated to the 110th anniversary of the South-Pacific State Polytechnic University (NPI) named after M.I. Platov]. Novocherkassk, 2017, pp. 37 - 41. (In Russ.)
Поступила в редакцию /Received 07 февраля 2019 г. /February 07, 2019
