CC BY
22
Высшее образование в России Vysshee obrazovanie v Rossii = Higher Education in Russia
ISSN 0869-3617 (Print), ISSN 2072-0459 (Online) http://vovr.elpub.ru
Какие компетенции ждёт региональный рынок ИТ-специалистов? Разработка и апробация технологии анализа актуальных вакансий
Научная статья
DOI: 10.31992/0869-3617-2022-31-8-9-137-153
Шухман Александр Евгеньевич - канд. пед. наук, заведующий кафедрой геометрии и компьютерных наук, ORCID: 0000-0003-2061-9102, shukhman@gmail.com
Гришина Любовь Сергеевна - преподаватель кафедры прикладной математики, ORCID: 0000-0003-2752-7198, zabrodina97@inbox.ru
Легашев Леонид Вячеславович - канд. техн. наук, ведущий научный сотрудник лаборатории цифровых решений и аналитики больших данных, ORCID: 0000-0001-6351-404X, silentgir@gmail.com
Парфенов Денис Игоревич - канд. техн. наук, начальник отдела цифровых образовательных платформ, ORCID: 0000-0002-1146-1270, parfenov_di@mail.ru Оренбургский государственный университет, г. Оренбург, Россия Адрес: 460018, г. Оренбург, проспект Победы, 13
Аннотация. Одной из самых динамично развивающихся отраслей в России в условиях перехода к цифровой экономике является отрасль информационных технологий. Главной проблемой развития ИТ является нехватка высококвалифицированных специалистов. Определение актуальных и востребованных знаний и умений специалистов возможно на основе анализа вакансий, размещённых на интернет-порталах поиска работы. Целью настоящего исследования является разработка и апробация технологии анализа данных вакансий ИТ-специалистов для формирования содержания дополнительных профессиональных образовательных программ. При проектировании содержания дополнительных образовательных программ по цифровым профессиям в Оренбургском университете проведён анализ данных вакансий по профессии «программист», размещённых на сайте HeadHunter. Определены наиболее популярные навыки и умения: умения командной работы, владение навыками работы с базами данных и системами контроля версий, а также английским языком. Установлено, что среди языков программирования в 2021 г. самым востребованным является язык программирования JavaScript. Проведён кластерный анализ умений и навыков, в результате определены актуальные умения и навыки и сформированы программы профессиональной подготовки для подготовки разработчиков информационных систем.
Ключевые слова: цифровые профессии, анализ актуальных вакансий, ИТ-специалисты, разработчик информационных систем, дополнительное профессиональное образование, профессиональная переподготовка, профессиональные компетенции
Контент доступен под лицензией Creative Commons Attribution 4.0 License. This work is licensed under a Creative Commons Attribution 4.0 License. © Шухман А.Е., Гришина Л.С., Легашев Л.В., Парфенов Д.И., 2022.
И]
Для цитирования.: Шухман А.Е, Гришина Л.С, Легашев Л.В, Парфенов Д.И. Какие компетенции ждёт региональный рынок ИТ-специалистов? Разработка и апробация технологии анализа актуальных вакансий // Высшее образование в России. 2022. Т. 31. № 8-9. С. 137-153. DOI: 10.31992/0869-3617-2022-31-8-9-137-153
What Competences Does the Regional Market of IT Specialists Want? Development and Approbation of Technology for Analysis of Current Vacancies in the Labor Market
Original article
DOI: 10.31992/0869-3617-2022-31-8-9-137-153
Alexander E. Shukhman - Cand. Sci. (Education), Head of geometry and computer science department, ORCID: 0000-0003-2061-9102, shukhman@gmail.com
Lyubov S. Grishina - Lecturer of applied mathematics department, ORCID: 0000-0003-2752-7198, zabrodina97@inbox.ru
Leonid L. Legashev - Cand. Sci. (Engineering), Leading researcher, the laboratory of digital
solutions and big data analytics, ORCID: 0000-0001-6351-404X, silentgir@gmail.com
Denis I. Parfenov - Cand. Sci. (Engineering), Head of digital educational platform department,
ORCID: 0000-0002-1146-1270, parfenov_di@mail.ru
Orenburg State University, Orenburg, Russia
Address: 13, Pobedy prospect, Orenburg, 460018, Russian Federation
Abstract. One of the most dynamically developing industries in Russia is IT industry. The main problem of IT development is the lack of highly qualified specialists. Determining the relevant and in-demand knowledge and skills of specialists is possible on the basis of an analysis of vacancies posted on Internet job search portals. The study is aimed at development and approbation of the technology for analysis of current vacancies for IT specialists for further designing the content of additional vocational educational programs. Modern machine learning techniques such as Natural Language Processing can be used for automatic position selection based on skills in vacancies. K-means method was used in this paper for cluster analysis of hard and soft skills lists from vacancies posted on the HeadHunter website. The most popular skills have been determined such as teamwork skills, knowledge of working with databases and version control systems, as well as proficiency in English. It has been established that in 2021 the most popular programming language is JavaScript. As a result, two variants of programmer specialization were formed, hard and soft skills for each specialization were determined.
Keywords: digital professions, vacancy analysis, IT specialists, information system developer, additional professional education, professional retraining, professional competencies
Cite as: Shukhman, A.E., Grishina, L.S., Legashev, L.V., Parfenov, D.I. (2022). What Competences Does the Regional Market of IT Specialists Want? Development and Approbation of Technology for Analysis of Current Vacancies in the Labor Market. Vysshee obrzovanie v Rossii = Higher Education in Russia. Vol. 31, no. 8-9, pp. 137-153, doi: 10.31992/0869-3617-2022-31-8-9-137-153 (In Russ., abstract in Eng.).
Введение
Одной из самых динамично развивающихся отраслей в России в условиях перехода к цифровой экономике является отрасль информационных технологий. Главной проблемой развития ИТ является нехватка высококвалифицированных специалистов. Очень часто выпускники вузов и колледжей не обладают теми знаниями, умениями и навыками, которые требуют работодатели при приёме на работу. В связи с этим возникает вопрос о пересмотре содержания программ профессионального образования с учётом актуальных требований к подготовке молодых специалистов.
Действующие федеральные государственные образовательные стандарты (ФГОС) для системы среднего профессионального и высшего образования не содержат конкретных требований к содержанию подготовки, зато определяют требования к результатам обучения в виде системы общекультурных, общепрофессиональных и профессиональных компетенций. Необходимо отметить, что образовательный стандарт в явном виде не раскрывает структуру и содержание профессиональных компетенций. Эту задачу приходится решать разработчикам образовательной программы, опираясь на профессиональные стандарты. Профессиональный стандарт (ПС) разрабатывается профессиональным сообществом и устанавливает требования к компетенциям работника по квалификационным уровням в зависимости от полученного образования, степени ответственности и уровня сложности выполняемых работ. В профессиональном стандарте описаны трудовые функции, трудовые действия, необходимые умения, необходимые знания. Фактически определено соответствие между ФГОС и ПС. Профессиональная компетенция соответствует трудовой функции, компоненты «знать», «уметь», «владеть» - необходимым знаниям, умениям и трудовым действиям из ПС.
В то же время профессиональные стандарты также носят обобщённый характер
UNWERSПY
и не содержат конкретных актуальных требований к знаниям и умениям, например, перечней языков программирования, инструментов и технологий разработки на конкретном языке программирования. Подходы к формированию содержания компетенций ИТ-специалистов активно обсуждда-ются в научной литературе, однако вопросы исследования потребностей работодателей на основе автоматизированного анализа вакансий в настоящее время недостаточно разработаны.
Целью настоящего исследования является разработка и апробация технологии анализа данных вакансий ИТ-специалистов для формирования содержания дополнительных профессиональных образовательных программ. В рамках работы решается задача формирования содержания дополнительных профессиональных образовательных программ для наиболее востребованной ИТ-профессии «Программист (разработчик информационных систем)».
Практическая значимость результатов исследования состоит в возможности разработки содержания дополнительных профессиональных образовательных программ на основе выделенных при анализе вакансий актуальных умений и навыков специалистов.
В условиях высокого спроса на ИТ-специалистов на рынке труда актуальной является задача формирования профессиональных ИТ-компетенций на основе анализа требований работодателей.
Обзор литературы по проблеме
Кратко представим степень разработанности проблемы в отечественной и зарубежной литературе. В исследовании [1] изучается вопрос согласования потребностей рынка труда и компетенций ИТ-специалистов. Недостаток практических навыков у выпускников отмечают более 90% опрошенных работодателей. В статье [2] обозначена проблема сложности трудоустройства выпускников ввиду несоответствия сформированных компетенций ИТ-специалистов требова-
AND REGION
ниям работодателей. В качестве решения предлагается обеспечить взаимодействие вузов с ИТ-компаниями в рамках системы дуального обучения, когда студенты осваивают практические навыки на практике в компаниях. В работе [3] авторы предлагают использовать автоматизированные системы управления компетенциями для отслеживания индивидуального развития каждого ИТ-специалиста и формирования кадрового резерва. В исследовании [4] выделены ключевые компетенции ИТ-специалистов, наиболее популярные языки программирования и фреймворки на основе анализа публикаций и опросов. В работе [5] отмечается несогласованность системы образования и рынка труда в качестве главного проблемного фактора при подготовке специалистов в ИТ-области.
Подходы к разработке структуры и содержания компетенций ИТ-специалистов на основе профессиональных стандартов рассмотрены в работах [6;7]. Методика формирования образовательной модели 1Т-специалистов и оценки уровня сформиро-ванности профессиональных компетенций на основе анализа профессиональных стандартов предложена в статье [8]. В исследовании [9] автор сопоставляет европейские ИТ-профили компетенций с российскими профессиональными стандартами, отмечая некоторые расхождения. В работах [10; 11] рассматриваются практико-ориентирован-ные подходы к подготовке ИТ-специалистов, при этом содержание профессиональных компетенций формируется на основе трудовых функций из профессиональных стандартов.
С одной стороны, без актуальных требований невозможно сделать востребованную образовательную программу, выпускники которой максимально бы соответствовали требованиям работодателей. С другой стороны, в рамках основных образовательных программ подготовки ИТ-специалистов важно сохранить фундаментальный подход, основная идея которого состоит в комплекс-
ной, инновационной и исследовательской деятельности с ориентиром на перспективы развития ИТ-отрасли. Так, в исследовании [12] представлен опыт Томского государственного университета, где программы подготовки ИТ-специалистов предполагают освоение специалистами знаний и умений, не подверженных сиюминутной конъюнктуре рынка труда, а направленных на разработку новых знаний в области профессиональной деятельности. Не менее важным аспектом в этой связи является эволюция образования в области STEM (Science, Technology, Engineering, Mathematics). Внедрение цифровой учебной программы STEM:IT позволит реализовывать полный цикл проектирования для решения реальных тематических задач.
При этом фундаментальная подготовка в российских вузах по программам бакалавриата и магистратуры (около 100 тыс. ИТ-специалистов в год) не сможет удовлетворить кадровый голод на рынке труда. Реализация с 2022 г. нового федерального проекта «Развитие кадрового потенциала ИТ-отрасли» даст реальный путь устранения кадрового дефицита в отрасли - реализацию программ профессиональной переподготовки по востребованным профессиям в условиях цифровой экономики. В рамках проекта к 2024 г. более 600 тыс. студентов получат дополнительную квалификацию по ИТ-профилю на базе цифровых кафедр, создаваемых в университетах, вошедших в программу «Приоритет-2030». В Оренбургском государственном университете ежегодно планируется профессиональная переподготовка более 600 студентов для ИТ-компаний региона.
Для определения конкретного содержания программ профессиональной переподготовки разработано несколько различных подходов. Исследование взаимосвязи социально-экономических факторов с кадровым обеспечением цифровой трансформации экономики представлено в работе [13]. Авторы Ю.В. Фролов и Т.М. Босенко предложили
индексы отслеживания ситуации с кадрами в сфере ИТ, связанные с количеством занятых ИТ-специалистов СПО и ВПО в сферах образования, финансов, информации и связи, а также со значениями среднемесячной зарплаты и другими социальными показателями. Результаты исследования являются предпосылками для определения перспективных потребностей в ИТ-специалистах на рынке труда.
Не менее перспективным для обучения практико-ориентированных ИТ-специалистов является логистический подход с использованием образовательного профиля студента, который представлен в исследовании [14]. В зависимости от приоритетов обучающийся в рамках данной стратегии получает возможность перейти на индивидуальные / коллективно-индивидуальные образовательные маршруты, которые ориентированы на помощь в самореализации и развитие личностного потенциала.
Система дополнительного профессионального образования (ДПО) выделена как один из важнейших элементов непрерывного образования в работе [15]. Авторы исследования подчёркивают, что формирование программ дополнительного образования и переподготовки без тщательного анализа рынка труда и востребованных умений и навыков приведёт к подготовке специалистов, не имеющих возможности взаимодействия с реальным сектором экономики. В этой связи предложена концепция разработки и реализации дополнительных профессиональных программ (ДПП), где ключевое место занимает организация-заказчик ДПП для усиления практической направленности.
Основным источником информации для конкретизации знаний и умений при проектировании содержания дополнительных программ переподготовки по цифровым профессиям в настоящее время выступают актуальные требования к специалистам, которые можно получить на основе анализа
текущих вакансий на рынке труда. Данные об актуальных вакансиях можно получить на порталах поиска работы, таких как HeadHunter (hh.ru), Superjob.ru, Rabota.ru, Работа в России (trudvsem.ru).
В то же время требования к вакансиям не вполне формализованы, они могут значительно варьироваться. Для разработки содержания ДПП важно выделить наиболее востребованные знания и умения, определить комбинации технологий, которые требуются работодателям.
Анализ сайтов вакансий успешно применяется для формирования содержания образовательных программ для подготовки ИТ-специалистов. В работах [16; 17] представлен опыт статистического анализа вакансий c портала HeadHunter. Авторами предложена методика, включающая три шага: автоматизированный сбор данных с сайта, составление списка ключевых слов предметной области (выполняется вручную в Excel), частотный анализ данных и визуализация результатов с помощью аналитической системы Qlik Sense. Методика применялась для определения наиболее востребованных систем управления базами данных (СУБД). В результате для изучения дисциплины «Базы данных» выбраны продукты MySQL и PostgreSQL. В статье [18] на основе анализа вакансий авторы определили наиболее популярные языки программирования в разных регионах Белоруссии. В работе [19] исследователи провели анализ вакансий ИТ-специалистов в Курской области, выявили наиболее популярные профессии, оценили уровень предлагаемых зарплат. На основе изучения вакансий ИТ-специалистов автор статьи [20] проанализировала требования по стажу к соискателям.
Для автоматизированной обработки вакансий возможно использование современных методов обработки естественного языка. Такие методы широко используются исследователями для анализа вакансий. В работах зарубежных исследователей реа-
лизованы методы классификации вакансий на основе шаблонов и моделей машинного обучения [21], сравниваются различные модели машинного обучения для решения задачи классификации вакансий [22], описана рекомендательная система на основе интеллектуального анализа текстов для автоматического извлечения знаний, умений и навыков из описания вакансий и резюме соискателей [23]. В исследованиях [24; 25] методы обработки естественных языков и семантический анализ использованы для поиска компетенций, умений и навыков в текстах вакансий. В статье [26] рассматривается автоматическая классификация вакансий в Интернете в произвольной текстовой форме на основе стандартной таксономии профессий. Авторы статьи [27] проводят оценку знаний, умений и навыков на основе анализа вакансий. В работе
[28] представлена система классификации резюме на основе современных методов машинного обучения с долей правильных ответов в 96%.
Таким образом, анализ источников подтверждает высокую актуальность разработки технологии автоматизированного анализа вакансий ИТ-специалистов с целью формирования содержания дополнительных образовательных программ по профилям подготовки специалистов.
Материалы и методы
Предлагаемая технология основана на современных методах обработки естественного языка, таких как предобработка, векторизация и кластеризация текстов
[29]. Для проведения анализа данных был использован Python - высокоуровневый интерпретируемый язык программирования, ориентированный на повышение производительности разработчика [30]. Этап загрузки данных выполнялся локально на компьютере, подключённом к Интернету, анализ данных осуществлялся с помощью интерактивного блокнота в облачной среде Google Colab для ускорения обработки и
облегчения возможности построения графиков. Для обработки данных использовались библиотеки Python.
Исходные данные вакансий загружались с сайта HeadHunter (https://hh.ru/) через API интерфейс1. В результате выполнения запроса программа получала файл с количеством вакансий и ссылками на каждую из них. Для каждой ссылки можно получить большое количество разных данных, но нас интересовали три поля: название, описание и список ключевых умений. Из всех умений было выбрано 150 наиболее востребованных, часто встречающихся в описаниях вакансий. Результаты были обработаны вручную: были объединены различные формы и варианты написания одного и того же умения, например «ООП» и «объектно-ориентированное программирование». Также для востребованных умений был проведён дополнительный поиск их упоминания в описаниях вакансий.
Основная задача формирования содержания дополнительных образовательных программ состоит в отборе умений, навыков и изучаемых технологий для конкретной программы. Среди разработчиков информационных систем выделяется множество узких специализаций с не очень чёткими границами по необходимым знаниям и умениям. Для выделения содержания специализаций целесообразно использовать методы кластеризации [29] для формирования групп схожих вакансий и определения общих требований к специалистам.
Одна из проблем кластерного анализа состоит в том, что методы кластеризации будут формировать группы, даже если анализируемый набор данных представляет собой полностью случайную структуру. Поэтому первой задачей валидации, которую рекомендуется выполнить перед началом кластерного анализа, является оценка
1 HeadHunter API: documentation and libraries // GetHub. URL: https://github.com/hhru/api (дата обращения: 27.07.2022).
Рис. 1. Наиболее востребованные умения и навыки Fig. 1. Popular hard and soft skills
общей предрасположенности имеющихся данных к объединению в кластеры (clustering tendency). Поэтому прежде чем выполнять кластеризацию, следует выяснить, имеют ли данные вообще тенденцию к группированию в кластеры.
В данной работе для оценки склонности к кластеризации была выбрана статистика Хопкинса [31]. Она основана на нулевой гипотезе о том, что на самом деле данные не имеют склонности к группированию. Чтобы рассчитать её значение, создаётся несколько псевдонаборов данных, сгенерированных случайным образом на основе распределения с тем же стандартным отклонением, что и оригинальный набор данных. Для каждого наблюдения i из n рассчитывается среднее расстояние до k ближайших соседей: wi между реальными объектами и qi между искусственными
объектами и их самыми близкими реальными соседями. Тогда статистика Хопкинса: вычисляется как
Коэффициент Хопкинса, превышающий 0,5, будет соответствовать нулевой гипотезе о том, что qi и wi подобны, а группируемые объекты распределены случайно и однородно. Величина Ны<0,25 на 90-процентном уровне уверенности указывает на имеющуюся тенденцию к группированию данных.
Для кластеризации использовался метод К-средних, для оценки качества кластеризации применялась метрика силуэта, поскольку она позволяет оценить качество кластеризации, используя только саму (неразме-чённую) выборку и результат кластериза-
Рис. 2. IVAT-диаграмма Fig. 2. IVAT diagram
0 5 10 15 20 25
Количество кластеров
Рис. 3. Зависимость метрики силуэта от количества кластеров Fig. 3. The dependence of the Silhouette metric on the cluster number
ции. Метрика силуэта лежит в диапазоне [-1, 1] и показывает, насколько среднее расстояние до объектов своего кластера отличается от среднего расстояния до объектов других кластеров.
Для определения оптимального количества кластеров выполнялся перебор количества кластеров от 2 до 24 с вычислением метрики силуэта.
Результаты исследования
В рамках исследования проведён анализ вакансий в г. Екатеринбурге, включающих в названии слово «программист» или «разработчик» и размещённых в июле 2021 г. (всего 974 вакансии).
Тридцать наиболее востребованных умений в порядке убывания количества вакансий представлены на рисунке 1.
Разбиение умений по шести кластерам Skills clustering by six clusters
Таблица 1 Table 1
№ Размер Умения Предполагаемая специализация
1 180 javascript, html, css, git, react, typescript, sql, работа в команде, frontend, английский язык, html5, php Фронтенд (JavaScript) программист
2 91 c#, .net, sql, asp.net, ms sql, .net framework, английский язык, git, javascript, mvc, ооп, работа в команде .Net программист
3 69 android, ios, kotlin, swift, git, английский язык, java, шаблоны проектирования, objective-c, алгоритмы, ооп, работа в команде Разработчик мобильных приложений
4 127 sql, java, oracle, spring framework, postgresql, английский язык, git, работа в команде, базы данных, hibernate, oracle pl/sql, тестирование Java программист
5 166 1с, 1с программирование, 1с: предприятие 8, 1с: зарплата и управление персоналом, 1с: бухгалтерия, sql, работа в команде, 1с: управление торговлей, 1с: документооборот, тестирование, 1с: управление производственным предприятием, базы данных 1c программист
6 341 sql, git, английский язык, работа в команде, базы данных, python, ооп, linux, docker, postgresql, c++, тестирование Бэкенд (python, c++) программист
35 -
30 -
25 -
20
15 -
10
5
Кластеры
Рис. 4. Диаграмма распределения вакансий по шести кластерам Fig. 4. Diagram of the distribution of vacancies by six clusters
0
Статистика Хопкинса для набора данных равна 0,067<0,25, что указывает на имеющуюся тенденцию к группированию.
Для визуализации построим диаграмму ^АТ [32] (Рис. 2). Чёрные квадраты на диагонали вышеуказанной диаграммы представляют собой предполагаемые кластеры.
Можно визуально выделить шесть крупных кластеров и около десяти мелких.
График зависимости метрики силуэта от количества кластеров приведён на рисунке 3.
График показывает, что локальные максимумы метрики достигаются для шести и десяти кластеров. Рассмотрим разбиение
Таблица 2
Разбиение умений по десяти кластерам
Table 2
Skills clustering by ten clusters
№ Размер Умения Предполагаемая специализация
1 79 php, mysql, sql, git, ооп, javascript, css, html, laravel, работа в команде, linux, jquery PHP-программист
2 88 c#, .net, sql, asp.net, .net framework, английский язык, ms sql, mvc, javascript, git, ооп, работа в команде .Net программист
3 159 1с, 1с программирование, 1с: предприятие 8, 1с: зарплата и управление персоналом, 1с: бухгалтерия, работа в команде, sql, 1с: управление торговлей, 1с: документооборот, тестирование, 1с: управление производственным предприятием, 1с: комплексная автоматизация 1С программист
4 97 python, sql, git, docker, postgresql, английский язык, linux, django, rest, backend, redis, ооп Python программист
5 41 sql, oracle, oracle pl/sql, работа в команде, базы данных, java, тестирование, xml, agile, jira, английский язык, git P1/SQL программист
6 79 java, spring framework, sql, postgresql, hibernate, git, английский язык, oracle, работа в команде, docker, тестирование, hibernate orm Java программист
7 63 android, ios, kotlin, swift, английский язык, шаблоны проектирования, git, java, objective-c, алгоритмы, ооп, работа в команде Разработчик мобильных приложений
8 147 работа в команде, c++, английский язык, linux, git, тестирование, sql, алгоритмы, c#, ооп, python, qt Системный (c++) программист
9 102 базы данных, sql, структуры данных, английский язык, git, ms sql, ооп, работа в команде, алгоритмы, c#, postgresql, python Бэкенд программист
10 119 javascript, html, css, react, git, typescript, frontend, работа в команде, английский язык, webpack, html5, redux Фронтенд (JavaScript) программист
вакансий на шесть кластеров. В таблице 1 приведены размеры кластеров, 12 самых востребованных умений в каждом кластере, а также предполагаемые специализации разработчиков.
Можно заметить, что все кластеры, кроме последнего, достаточно чётко выделились. Приведём диаграмму, представляющую процентное распределение вакансий по кластерам (Рис. 4).
Проведём аналогичную работу для разбиения на десять кластеров. Содержимое кластеров, их размеры и предполагаемые должности представлены в таблице 2. В результате выделено десять специализаций программистов, определены ключевые умения для каждого кластера (Рис. 5).
Обсуждение
Анализ самых востребованных умений и навыков (Рис. 1) показывает, что независи-
мо от используемых технологий работодатели требуют от большинства программистов владение навыками командной работы, практическим опытом работы с базами данных (sql) и системами контроля версий (git), а также английским языком. Также требуется знание объектно-ориентированного программирования, основ тестирования ПО, алгоритмов, шаблонов проектирования и структур данных.
Среди языков программирования летом 2021 г. самым востребованным является язык программирования JavaScript (Рис. 1). На втором месте - 1С. Далее идут Java, С#, Python. PHP и С++ востребованы значительно меньше. Анализ образовательных программ не входил в наши задачи, но следует отметить, что в большинстве университетских программ подготовки бакалавров в программу включено только два-три языка программирования из упомянутых.
m ra
O-
Кластеры
Рис. 5. Диаграмма распределения вакансий по десяти кластерам Fig. 5. Diagram ofthe distribution of vacancies by ten clusters
Кластерный анализ умений и навыков позволил выделить десять кластеров, соответствующих наиболее востребованным специализациям программистов, применяемая технология дала возможность выделить для каждого профиля наиболее востребованные умения и навыки.
Среди специализаций программистов наиболее востребованы на развитом региональном рынке труда разработчики 1С -16,3% вакансий. Также востребована фрон-тенд-разработка - 12,2% вакансий, самым популярным фреймворком для фронтенда является React. Несмотря на популярность языка Java, Java-разработчики востребованы меньше (8,1%), чем разработчики Python (9,9%), поскольку знания Java также требуются мобильным разработчикам (6,5% вакансий). Языки C# и PHP уступают Python в бэкенд-разработке. Для каждого стека технологий анализ позволил выделить наиболее популярные веб-фреймворки (Табл. 2).
Для Python популярность сохраняет Django, для PHP - Laravel, для Java - Spring, для C# - ASP.NET MVC. Интересно соответствие СУБД и языков программирования. Из таблицы 2 видно, что от программистов .NET чаще требуют знание СУБД MS SQL Server, от программистов на Java -PostgreSQL и Oracle, PHP-разработчики используют MySQL, разработчики на Python -PostgreSQL и Redis.
Важным достоинством разработанной технологии в сравнении с подходами разработки содержания образовательных программ на основе профессиональных стандартов [7-11] является возможность оперативно получать информацию о востребованных на рынке компетенциях, что позволяет вносить изменения в содержание ДПП. Преимущества предложенной технологии в сравнении с рассмотренными методами анализа вакансий [17-20] состоят в выделении востребованных умений и навы-
ков внутри вакансий, а также учёт не только названия вакансии, но и требований к соискателям при группировке умений и навыков.
В Оренбургском государственном университете результаты исследования апробированы при разработке программы повышения квалификации «Современные технологии прикладного программирования» (72 часа), посвящённой разработке на языке Python. По итогам анализа требований к разработчикам на Python в программу были добавлены темы, рассматривающие работу с системами контроля версий, базами данных, разработкой веб-приложений, созданием и использованием REST API-сервисов. Обучение по программе в 2021/22 учеб. году. прошло более 40 слушателей - студентов технических направлений подготовки вуза. Разработанный модуль по языку программирования Python вошёл как часть в программы профессиональной переподготовки «Аналитик данных» и «Искусственный интеллект и машинное обучение», реализуемые в университете с 2022 учеб. года в рамках проекта «Развитие кадрового потенциала ИТ-отрасли». На эти программы предполагается набор 150 слушателей с сентября 2022 г. Также подготовлены программы повышения квалификации «Разработчик Java», «Разработчик 1С», «Разработчик .NET», которые планируются к реализации в 2022/2023 учеб. году.
Результаты исследования также были использованы при разработке содержания программы магистратуры «Гибкие технологии разработки корпоративных систем» совместно с АО «Синимекс-информатика». Программа предполагает углублённую подготовку Java-разработчиков, использующих технологии создания распределённых систем с сервис-ориентированной архитектурой. Обучение по магистерской программе будет начато с 1 сентября 2022 г.
Заключение
Для конкретизации знаний и умений в содержании дополнительных профессиональных образовательных программ пред-
ложено использовать результаты анализа актуальных вакансий на рынке труда, размещённых на порталах поиска работы.
Определены наиболее популярные навыки и умения: умения командной работы, владение навыками работы с базами данных и системами контроля версий, а также английским языком. С помощью метрик установлена возможность кластеризации данных. Проведён кластерный анализ списков умений и навыков методом K-средних. Выделено два варианта оптимальных значений кластеров - шесть или десять. В результате сформировано два варианта специализаций программистов, актуальных для регионального рынка труда, определены умения и навыки для каждой специализации.
Наиболее востребована подготовка программистов 1С, фронтенд-разработчиков. Среди популярных языков для бэкенд-раз-работки наиболее востребован Python. Несмотря на то, что Java встречается в вакансиях чаще, вакансии с требованием знания Java распределены между бэкенд и мобильной разработкой. При подготовке программистов важно не только формировать знания языков и технологий программирования, но и изучать соответствующие языку системы управления базами данных, веб-фреймворки, системы контроля версий, приобретать навыки работы в команде.
Разработанная технология может найти практическое применение при разработке содержания вариативной части образовательных программ подготовки программистов, для формирования содержания курсов в системе дополнительного профессионального образования, прогноза потребности в выпускниках.
Литература 1. Жуков С.В. Анализ проблемы согласования потребностей рынка труда и содержания знаний ИТ-специалистов // Приоритетные направления инновационной деятельности в промышленности : Сб. науч. статей III Междунар. науч. конф., Казань, 30-31 марта 2021 г. Казань: Конверт, 2021. С. 160-163.
2. Климова Ю.О. Анализ соответствия уровня компетенций выпускников ИТ-специальностей требованиям работодателей // Вопросы территориального развития. 2021. Т. 9. № 1. С. 5-18. DOI: 10.15838/tdi.2021.1.56.5
3. Целина А.А, Пунчик З.В. Управление компетенциями ИТ-специалистов // Перспективы развития цифровой экономики в России и за рубежом: Сб. ст. междунар. науч.-практ. конф., Тольятти, 20 мая 2021 г. 2021. С. 114117. Тольятти, 2021. EDN QAPOQI.
4. Кабдрашитова Ш.Т, Кухаренко Е.В. Современные требования к навыкам ИТ-специалистов // Интернаука. 2021. № 21-2. С. 75-76. URL: https://internauka.org/journal/science/ internauka/197 (дата обращения: 26.06.2022).
5. Кожевина О.В. Подготовка кадров и развитие компетенций для цифровой экономики // Преподавание информационных технологий в Российской Федерации: Материалы XIX Открытой всероссийской конференции, Москва, 19-20 мая 2021 г. 2021. М. : 1С Паблишинг, 2021. С. 159-162. URL: https://it-education. ru/conf2021/thesis/Thesis_IT_in_RF_2021.pdf (дата обращения: 26.06.2022).
6. Шухман А.Е. Перспективные направления подготовки IT-специалистов // Высшее образование в России. 2009. № 3. С. 125-131. EDN JXYMCJ.
7. Шухман А.Е., Морковина Э.Ф. Разработка содержания непрерывной подготовки ИТ-специалистов на основе единой системы профессиональных компетенций // Современные информационные технологии и ИТ-образование. 2011. № 7. С. 260-266. EDN TJTVSX.
8. Дудина И.П, Ярыгин А.Н. Образовательная модель ИТ-специалиста // Вектор науки То-льяттинского государственного университета. 2012. № 3 (21). С. 231-234. EDN PETMDB.
9. Лукина М.М. Формирование профиля компетенций специалиста в ИТ-отрасли // Глобальный научный потенциал. 2017. № 6 (75). С. 32-36. EDN ZEIJDP.
10. Таренко Л.Б. Требования к подготовке современного специалиста в области информационных технологий // Вестник ТИСБИ. 2017. № 2. С. 40-47. EDN ZSRZLX.
11. Таренко Л.Б. Из опыта подготовки бакалавров IT-направлений в условиях применения профессиональных стандартов // Вестник ТИСБИ. 2020. № 1. С. 69-74. EDN QHWBOW.
12. Замятин А.В, Чучалин А.И. Фундаментальный подход к университетской подготовке IT-специалистов // Высшее образование в России. 2022. Т. 31. № 2. С. 119-134. DOI: 10.31992/0869-3617-2022-31-2-119-134
13. Фролов Ю.В, Босенко Т.М. Исследования статистических данных подготовки кадров для цифровой экономики в Российской Федерации // Высшее образование в России. 2021. Т. 30. № 11. С. 29-41. DOI: 10.31992/08693617-2021-30-11-29-41
14. Кушнир М.Э, Рабинович П.Д, Заведенский К.Е, Царьков И.С. Образовательный профиль студента как инструмент персональной образовательной логистики // Высшее образование в России. 2021. Т. 30. № 12. С. 48-58. DOI: 10.31992/0869-3617- 2021-30-12-48-58
15. Нотова С.В, Подосенова И.А. Система ДПО как основа непрерывного профессионального образования // Высшее образование в России. 2021. Т. 30. № 8-9. С. 134-143. DOI: 10.31992/0869-3617-2021-30-8-9-134-143
16. Гаврилов А.В, Куликова С.В, Голкина Г.Е. Повышение уровня подготовки ИТ-специалистов на основе анализа требований рынка труда // Открытое образование. 2019. № 6. С. 30-40. DOI: 10.21686/1818-4243-20196-30-40
17. Гаврилов А.В, Куликова С.В, Голкина Г.Е. Методика определения наиболее востребованных направлений подготовки IT-специалистов // Плехановский научный бюллетень. 2018. № 2 (14). С. 72-77. EDN VSGRVG.
18. Криштапович А.С, Адуцкевич И.А. Анализ вакансий для исследования регионального рынка труда // Компьютерные технологии и анализ данных (CTDA'2020): Материалы II Междунар. науч.-практ. конф., Минск, 23-24 апр. 2020 г. Минск : БГУ, 2020. С. 241-244. URL: https://elib.bsu.by/handle/123456789/248682 (дата обращения: 26.06.2022).
19. Томакова И.А, Томаков М.В. Региональный рынок труда IT-специалистов в условиях цифровой трансформации экономики и социальной сферы // Известия Юго-Западного гос. университета. Серия: Экономика. Социология. Менеджмент. 2022. Т. 12. № 2. С. 174-193. DOI: 10.21869/2223-1552-2022-122-174-193
20. Юшкова М.И. Краткий анализ рынка вакансий для молодых специалистов направления подготовки 09.03.02 «Информационные тех-
нологии и системы» // Цифровые решения, информационные технологии и интеллектуальные системы: проблемы, тренды и перспективы: Материалы Всерос. конф., Москва, 14 апреля 2022 г. Волгоград: Сириус, 2022. С. 134-137.
21. Amato F, Boselli R, Cesarini M. et al. Challenge: Processing web texts for classifying job offers // Proceedings of the 2015 IEEE 9th International Conference on Semantic Computing (IEEE ICSC 2015). IEEE, 2015. P. 460-463. DOI: 10.1109/ICOSC.2015.7050852
22. Ul haqDarE, DornJ. Classification ofjob offers of the World Wide Web // 2018 International Conference on Computing, Mathematics and Engineering Technologies (iCoMET). IEEE, 2018. P. 1-8. DOI: 10.1109/IC0MET.2018.8346339
23. Apaza H, Rubin de Celis Vidal A.A., Chire Saire J.E. Job Recommendation Based on Curriculum Vitae Using Text Mining // Future of Information and Communication Conference. Cham : Springer, 2021. pp. 1051-1059. DOI: 10.1007/978-3-030-73100-7_72
24. Martínez G.S., Bel-Enguix G., Gómez-Adorno H. et al. Enhancing Job Searches in Mexico City with Language Technologies // Proceedings of the 1st Workshop on Language Technologies for Government and Public Administration (LT-4Gov). 2020. P. 15-21. URL: https://aclanthol-ogy.org/2020.lt4g ov-1.3.pdf (дата обращения: 26.06.2022).
25. Zaroor A, Maree M, Sabha M. A hybrid approach to conceptual classification and ranking of resumes and their corresponding job posts // International Conference on Intelligent Decision Technologies. DT 2017. Smart Innovation, Systems and Technologies. Vol. 72. Cham : Springer, 2017. pp. 107-119. URL: https://link.springer. com/chapter/10.1007/978-3-319-59421-7_10 (дата обращения: 26.06.2022).
26. Varelas G., Laguos D, Ntouroukis, S, Zervas P., Parsons K., Tzimas G. Employing natural language processing techniques for online job vacancies classification // IFIP International Con-
ference on Artificial Intelligence Applications and Innovations. Springer, 2022. P. 333-344. DOI: 10.1007/978-3-031-08341-9_27
27. Putka D.J, Oswald, F.L, Landers, R.N. et al. Evaluating a Natural Language Processing Approach to Estimating KSA and Interest Job Analysis Ratings // Journal of Business and Psychology. 2022. P. 1-26. DOI: 10.1007/s10869-022-09824-0
28. Ali I., Mughal N, Khan Z, Ahmed J., Mujta-ba G. Resume classification system using natural language processing and machine learning techniques // Mehran University Research Journal of Engineering & Technology. 2022. Vol. 41. No. 1, pp. 65-79. DOI: 10.22581/muet1982.2201.07
29. Батура Т.В. Математическая лингвистика и автоматическая обработка текстов на естественном языке. Новосибирск : РИЦ НГУ, 2016. 166 с. ISBN 978-5-4437-0548-4.
30. Бенгфорт Б., Билбро Р., Охеда Т. Прикладной анализ текстовых данных на Python. Машинное обучение и создание приложений обработки естественного языка. СПб. : Питер, 2019. 368 с. ISBN 978-5-4461-1153-4
31. Hopkins В., Skellam J.G. A new method for determining the type of distribution of plant individuals // Annals of Botany. 1954. Vol. 18. No. 2. P. 213-227. DOI: 10.1093/ 0XF0RDJ0URNALS.A0B.A083391
32. Wing L. Nguyen U.T.V, Bezdek J.C, Lecki, C.A., Ramamohanarao K.iVAT and aVAT: Enhanced visual analysis for cluster tendency assessment // Advances in Knowledge Discovery and Data Mining, Pt I, Proceedings, 6118, (Part 1). Springer-Verlag Berlin. P. 16-27. DOI: 10.1007/978-3-642-13657-3_5.
Благодарности. Исследование выполнено в рамках программы «Приоритет-2030»
(соглашение №075-15-2021-1171/2 от 11 мая
2022 г.).
Статья поступила в редакцию 26.06.22 Принята к публикации 27.07.22
References
1. Zhukov, S.V. (2021). [Analysis of the Problem of Matching the Needs of the Labor Market and the Content of Knowledge of IT Specialists]. In: Prioritetnye napravleniya innovatsionnoi deyatel'nosti v prromyshlennosti [Priority Areas of Innovation Activity in Industry: Proc. III Int. Sci. Conf., Kazan, March 30-31, 2021]. Kazan : Konvert Publ., pp. 160-163 (In Russ.).
2. Klimova, Yu.,O. (2021). Correspondence Analysis of the Competence Level of Graduates of IT Specialties with Employers' Requirements. Voprosy territorial'nogo razvitiya = Territorial Development Issues. Vol. 9, no. 1, pp. 5-18, doi: 0.15838/tdi.2021.1.56.5. (In Russ., abstract in Eng.).
3. Tselina, A.A., Punchik, Z.V. (2021). Competence Management of IT Specialists. In: Sarieva, Z.I. (Ed). Perspektivy razvitiya tsifrovoi ekonomiki v Rossii i za rubezhom [Prospects for the Development of the Digital Economy in Russia and Abroad: Proc. Int. Sci. Conf., Togliatti, May 20, 2021], Togliatti, pp. 114-117. EDN QAPOQI (In Russ., abstract in Eng.).
4. Kabdrashitova, Sh.T., Kukharenko, E.V. (2021). [Current Requirements for the Skills of IT Specialists]. Internauka. No. 21-2, pp. 75-76. URL: https://internauka.org/journal/science/inter-nauka/197 (дата обращения: 26.06.2022). (In Russ., abstract in Eng.).
5. Kozhevina, O.V. (2021). Training of Personnel and Formation of Competencies for the Digital Economy. In: Prepodavaniye informatsionnykh tekhnologiy v Rossiyskoy Federatsii = Teaching Information Technology in Russia: Proc. All-Russian Sci. Online Conf., Moscow, May 19-20 2021. Moscow : 1С Publishing, pp. 159-162. Available at: https://it-education.ru/ conf2021/thesis/Thesis_IT_in_RF_2021.pdf (accessed 26.06.2022). (In Russ., abstract in Eng.).
6. Shukhman, A.E. (2009). [Perspective Directions for Education of IT Specialists]. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 3, pp. 125-131, EDN JXYMCJ. (In Russ., abstract in Eng.).
7. Shukhman, A.E., Morkovina, E.F. (2011). [Development of the Content of Continuous Training of IT Specialists Based on Unified System of Professional Competencies]. Sovremennye infor-matsionnye tekhnologii i IT-obrazovaniye [Modern Information Technologies and IT Education]. Vol. 7, pp. 260-266, EDN TJTVSX. (In Russ.).
8. Dudina, I.P., Yarygin, A.N. (2012) Educational Model of IT Specialist. Vektor nauki Tol'yattinskogo gosudarstvennogo universiteta = Science Vector of Togliatti State University. No. 3 (21), pp. 231-234, EDN PETMDB. (In Russ., abstract in Eng.).
9. Lukina, M.M. (2017). Developing IT Competence Profile. Globalnyi nauchnyy potentsial = Global Scientific Potential. No. 6 (75), pp. 32-36, EDN ZEIJDP. (In Russ., abstract in Eng.).
10. Tarenko, L.B. (2017). [Requirements for Training of a Modern IT Specialist]. Vestnik TISBI [TISBI Bulletin]. No. 2, pp. 40-47, EDN ZSRZLX. (In Russ.).
11. Tarenko, L.B. (2020) [On the Experience of Training Bachelors Majoring in IT in the Conditions of Application of Professional Standards]. Vestnik TISBI [TISBI Bulletin]. No. 1, pp. 69-74, EDN QHWBOW. (In Russ., abstract in Eng.).
12. Zamyatin, A.V., Chuchalin, A.I. (2022). Fundamental Approach to University Education and Training of IT Professionals. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 31, no. 2, pp. 119-134, doi: 10.31992/0869-3617-2022-31-2-119-134 (In Russ., abstract in Eng.).
13. Frolov, Yu.V., Bosenko, T.M. (2021). Statistical Data Research on Staff Training for the Digital Economy in the Russian Federation. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 30, no. 11, pp. 29-41, doi: 10.31992/0869-3617-2021-30-11-29-41 (In Russ., abstract in Eng.).
14. Kushnir, M.E., Rabinovich, P.D., Zavedenskiy, K.E., Tsarkov, I.S. (2021). Student's Learning Profile is a Tool of Personal Learning Logistics. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 30, no. 12, pp. 48-58, doi: 10.31992/0869-3617-2021-30-12-48-58 (In Russ., abstract in Eng.).
15. Notova, S.V., Podosenova, I.A. (2021). System of Additional Professional Education as a Basis of Lifelong Professional Education. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 30, no. 8-9, pp. 134-143, doi: 10.31992/0869-3617-2021-30-8-9-134-143 (In Russ., abstract in Eng.).
16. Gavrilov, A.V., Kulikova, S.V., Golkina, G.E. (2019). Improving the Level of Training of IT-Specialists Based on Analysis of Labor Market Requirements. Otkrytoye obrazovaniye = Open Education. Vol. 23, no. 6, pp. 30-40, doi: 10.21686/1818-4243-2019-6-30-40 (In Russ., abstract in Eng.).
17. Gavrilov, A.V., Kulikova, S.V., Golkina, G.E. (2018). Methodology for Determining the Most Popular Areas of Training for IT-Specialists. Plekhanovskiy nauchnyy byulleten' [Plekhanov Scientific Bulletin]. No. 2 (14), pp. 72-77. EDN VSGRVG. (In Russ.)
18. Krishtapovich, A.S., Adutskevich, I.A. (2020). [Analysis of Vacancies for the Study of the Regional Labor Market]. In: Skakun, V.V. (Ed.). Komp'yuternye tekhnologii i analiz dannykh (CTDA'2020) [Computer Technologies and Data Analysis (CTDA'2020): Proc. II Int. Sci. and Pract. Conf., Minsk, 23-24 Apr 2020]. Minsk : BSU Publ., pp. 241-244. Available at: https://elib. bsu.by/handle/123456789/248682 (дата обращения: 26.06.2022). (In Russ.).
19. Tomakova, I.A., Tomakov, M.V. (2022). Regional Labor Market of IT Specialists in the Conditions of Digital Transformation of the Economy and Social Sphere. Izvestiya Yugo-Zapadnogo gosudarstvennogo universiteta. Seriya: Ekonomika. Sotsiologiya. Menedzhment = Proceedings of the Southwestern State University. Series: Economy. Sociology. Management. Vol. 12, no. 2, pp. 174-193, doi: 10.21869/2223-1552-2022-12-2-174-193 (In Russ., abstract in Eng.).
20. Yushkova, M.I. (2022). [A Brief Analysis of the Vacancy Market for Young Specialists of the Training Program 09.03.02 "Information Technologies and Systems"]. In: Tsifrovyye resheniya, informatsionnyye tekhnologii i intellektual'nyye sistemy: problemy, trendy i perspektivy [Digital Solutions, Information Technologies and Intelligent Systems: Problems, Trends, and Prospects: Proc. All-Russian Conf., Moscow, April 14, 2022]. Volgograd : Sirius Publ., pp. 134-137. (In Russ.).
21. Amato, F., Boselli, R., Cesarini, M. et al. (2015) Challenge: Processing Web Texts for Classifying Job Offers. In: Proceedings of the 2015 IEEE 9th International Conference on Semantic Computing (IEEE ICSC 2015), pp. 460-463, doi: 10.1109/ICOSC.2015.7050852
22. Ul haq Dar, E., Dorn, J. (2018). Classification of Job Offers of the World Wide Web. In: 2018 International Conference on Computing, Mathematics and Engineering Technologies (iCoMET). IEEE, 2018. pp. 1-8, doi: 10.1109/ICOMET.2018.8346339
23. Apaza, H., Rubin de Celis Vidal, A.A., Chire Saire, J.E. (2021). Job Recommendation Based on Curriculum Vitae Using Text Mining. In: Future of Information and Communication Conference. Cham : Springer. pp. 1051-1059, doi: 10.1007/978-3-030-73100-7_72
24. Martínez, G.S., Bel-Enguix ,G., Gómez-Adorno, H. et al. (2020). Enhancing Job Searches in Mexico City with Language Technologies. Proceedings of the 1st Workshop on Language Technologies for Government and Public Administration (LT4Gov), pp. 15-21. Available at: https://aclanthology.org/2020.lt4gov-L3.pdf (accessed 26.06.2022).
25. Zaroor, A., Maree, M., Sabha, M. (2017). A Hybrid Approach to Conceptual Classification and Ranking of Resumes and Their Corresponding Job Posts. International Conference on Intelligent Decision Technologies. DT 2017. Smart Innovation, Systems and Technologies. Vol. 72. Cham : Springer, pp. 107-119 Available at: https://link.springer.com/chap-ter/10.1007/978-3-319-59421-7_10 (accessed 26.06.2022).
26. Varelas, G., Laguos D., Ntouroukis, S., Zervas, P., Parsons, K., Tzimas, G. (2022). Employing Natural Language Processing Techniques for Online Job Vacancies Classification. IFIP International Conference on Artificial Intelligence Applications and Innovations, Springer, pp. 333-344, doi: 10.1007/978-3-031-08341-9_27
27. Putka, D.J., Oswald, F.L., Landers, R.N. et al. (2022) Evaluating a Natural Language Processing Approach to Estimating KSA and Interest Job Analysis Ratings. Journal of Business and Psychology, pp. 1-26, doi: 10.1007/s10869-022-09824-0
28. Ali, I., Mughal, N., Khan, Z., Ahmed, J., Mujtaba, G. (2022). Resume Classification System Using Natural Language Processing and Machine Learning Techniques. Mehran University Research Journal of Engineering & Technology. Vol. 41, no. 1, pp. 65-79, doi: 10.2258l/muet1982.2201.07
29. Batura, T.V. (2016). Matematicheskaya lingvistika i avtomaticheskaya obrabotka tekstov na es-testvennom yazyke [Mathematical Linguistics and Automatic Processing Texts in Natural Languages]. Novosibirsk : NSU Publ., 2016. 166 p. ISBN 978-5-4437-0548-4 (In Russ.).
30. Bengfort, B., Bilbro, R., Ojeda, T. (2018). Applied Text Analysis with Python: Enabling Language-Aware Data Products with Machine Learning. O'Reilly Media, Inc. 332 p. (Russian translation: St. Petersburg : Piter Publ., 2019, 368 p., ISBN 978-5-4461-1153-4).
31. Hopkins B., Skellam, J.G. (1954) A New Method for Determining the Typeo Distribution of Plant Individuals. Annals of Botany. Vol. 18, no. 2, pp. 213-227, doi: 10.1093/0XF0RDJ0URNALS. A0B.A083391
32. Wang, L., Nguyen, U.T.V., Bezdek, J.C., Leckie, C.A., Ramamohanarao, K. (2010). iVAT and aVAT: Enhanced Visual Analysis for Cluster Tendency Assessment. In: Zaki, M.J., Yu, J.X., Ravindran, B., Pudi, V. (Eds.). Advances in Knowledge Discovery and Data Mining, Pt I, Proceedings, 6118, (Part 1). Springer-Verlag Berlin, pp. 16-27, doi: 10.1007/978-3-642-13657-3_5
Acknowledgement. The study has been carried out within the Program «Priority 2030»
(agreement No. 075-15-2021-1171/2 dated May 11, 2022).
The paper was submitted 26.06.22 Accepted for publication 27.07.22
