CC BY
27
МАТЕМАТИЧЕСКИЕ И ИНСТРУМЕНТАЛЬНЫЕ МЕТОДЫ
МОДЕРНИЗАЦИЯ УЧЕБНЫХ ПРОГРАММ: МЕТОД ОЦЕНКИ ЭФФЕКТИВНОСТИ
Картвелишвили Василий Михайлович
доктор физико-математических наук, профессор кафедры математических методов в экономике РЭУ им. Г. В. Плеханова.
Адрес: ФГБОУ ВО «Российский экономический университет имени Г. В. Плеханова», 117997, Москва, Стремянный пер., д. 36. E-mail: VMK777@mail.ru
Лебедюк Эдуард Андреевич
аспирант кафедры математических методов в экономике РЭУ им. Г. В. Плеханова. Адрес: ФГБОУ ВО «Российский экономический университет имени Г. В. Плеханова», 117997, Москва, Стремянный пер., д. 36. E-mail: lebeduk93@gmail.com
В статье излагаются методологические и методические основы исследования адаптации образовательных программ высших учебных заведений к современным требованиям научно-технического прогресса. Авторами разработан программный комплекс, позволяющий проводить анализ уникальности документов корпуса текстов, а также эффективности обновления образовательных программ путем сравнения вычисленной уникальности документов корпуса и сопутствующей документам корпуса метаинформации. С помощью созданного программного продукта на платформе InterSystems Caché и iKnow проведен анализ корпуса образовательных программ в сфере информационных технологий. Показана возможность применения авторской методики в смежных областях, в частности, в сфере исследования жизнеспособности образовательного процесса в вузе. Ключевые слова: информационные технологии, обработка естественного языка, образовательные программы.
EDUCATIONAL COURCES MODERNIZATION: METHOD OF EFFICENCY EVALUATION
Kartvelishvili, Vasilii M.
Doctor of Physical and Mathematical Sciences, Professor of the Department for Mathematical Methods in Economics of the PRUE.
Address: Plekhanov Russian University of Economics, 36 Stremyanny Lane, Moscow, 117997, Russian Federation. E-mail: VMK777@mail.ru
Lebedyuk, Eduard A.
Post-Graduate Student of the Department for Mathematical Methods in Economics of the PRUE.
Address: Plekhanov Russian University of Economics, 36 Stremyanny Lane, Moscow, 117997,
Russian Federation.
E-mail: lebeduk93@gmail.com
The article presents the methodological and methodical foundations of research on the current state of adaptation of the educational programs in higher education institutions to modern requirements of scientific and technical progress. A software system was developed to solve the task of the uniqueness analysis of a documents corpus. Furthermore, it can be applied for the analysis of the effectiveness of educational programs modernization by comparing the calculated uniqueness of documents and accompanying meta information. Using developed software based on InterSystems Caché platform and iKnow, authors conducted analysis of the educational programs corpus in the field of information technology. The possibility of applying author's methodology in the related fields, particularly in the field of research of the viability of educational process in the University is shown.
Keywords: information technologies, natural language processing, educational programs.
Жизнеспособность высшего учебного заведения, т. е. способность поддерживать свои важнейшие характеристики или автономное существование в заданных допустимых пределах и условиях [1; 2], во многом зависит от жизнеспособности образовательных программ [3] и своевременной их актуализации, ведь высшие учебные заведения разрабатывают образовательные программы в соответствии с ФГОС и обязаны обновлять их с учетом развития науки, культуры, экономики, техники, технологий и социальной сферы. Именно поэтому образовательные программы, в частности программы в сфере информационных технологий, составляются и обновляются (от поколения программ 2 до поколения 3++) индивидуально для различных факультетов и кафедр. В силу вышесказанного анализ того, насколько принцип обеспечения уникальности как основы конкуренто- и жизнеспособности образовательных программ реализуется на практике в рамках конкретно выбранного вуза (из этических соображений называемого в дальнейшем жизнеспособной системой «Университет»), - актуальная проблема.
Естественный процесс обновления образовательных программ требует в настоящее время модернизации экспертного мониторинга актуальности содержания учебных дисциплин, что в свою очередь влечет применение современных методик получения экспертных оценок. При этом процесс оценивания может быть как цели-
ком эмпирическим, так и использовать определенные математические методы, к примеру, включать для оценки приоритетов метод анализа иерархий [4]. Более того, процедуры оценивания могут сочетать эти подходы (эмпирический и алгоритмический), совмещая математическую оценку с учетом неопределенности человеческого выбора [5]. Однако методы экспертной оценки вне зависимости от их алгоритмической корректности обнаруживают ряд нетехнических недостатков: они дороги по трудо- и времязатратам. Кроме того, многие образовательные программы высших учебных заведений высокоспециализиро-ваны, поэтому поиск независимых экспертов для проведения анализа современных образовательных программ представляет нетривиальную задачу.
Исходя из вышесказанного предложим методологию и методику автоматического анализа уникальности и оригинальности образовательных программ в жизнеспособной системе «Университет». Для анализа необходимо, чтобы был отобран корпус (набор документов) К = {Кп}, состоящий из представительного числа N элементов К (п = 1, ..., В нашем случае число обрабатываемых образовательных программ в сфере информационных технологий N = 53. Введя для слов «информационные» и «технологии» соответственно аббревиатуры И и Т, а для словосочетания «информационные технологии» - ИТ, перечислим элементы Кп, вошедшие в корпус К анализируемых образовательных программ, в
названия которых входят слова «информационные» и «технологии». Для неповторяющихся названий дисциплин имеем: К* = {Информационно-аналитические Т государственного и муниципального управления, И правовые системы, И ресурсы и Т в коммерции, И таможенные Т, ИТ, ИТ в бренд-менеджменте, ИТ в лингвистике, ИТ в логистике, ИТ в менеджменте, ИТ в политическом образовании, ИТ в рекламе, ИТ в сервисе, ИТ в управлении, ИТ в управлении персоналом, ИТ в экономике, ИТ в юридической деятельности, ИТ и системы, Современные ИТ в социальных науках}, где множество дисциплин К* включено в корпус К.
Документы корпуса К обладают следующими характеристиками Z:
Z = |Zmr| (m = 1, ..., M; r = 1, ..., Rm), где Zi1 = 2010, Zi7 = 2016 - годы;
Z21 = специалист, Z22 = бакалавр, Z23 = магистр - уровни высшего образования;
Z31 = государственное и муниципальное управление, Z32 = прикладная информатика, Z33 = менеджмент, Z34 = таможенное дело, Z35 = экономика, Z36 = реклама и связи с общественностью, Z37 = лингвистика, Z38 = политология, реклама, Z39 = управление персоналом, Z310 = юриспруденция, Z311 = социология - специальности;
Z41 = И, Z42 = ОЭ, Z43 = ПБ, Z44 = МА, Z45 = МЕН, Z46 = ЭТТ, Z47 = ИЭ, Z48 = ЭМ, Z49 = МЭО, Z410 = МЭИ, Z411 = ПП, Z412 = Ю, Z413 = ЭП - условные обозначения факультетов;
Z51 = doc, Z52 = docx - форматы документов;
Z61 = Ин - условное обозначение кафедры.
Далее составим корпус согласно предлагаемой методике и перейдем к его анализу путем вычисления схожести между документами корпуса. Составление корпуса К происходит в результате последовательного выполнения следующих блоков операций: B1 - разметка корпуса; B2 - очистка текстов; B3 - загрузка корпуса. Вычисление схожести документов корпуса К происходит в результате последовательного выполнения следующих блоков операций:
B4 - поиск концептов; B5 - фильтрация концептов; Вб - вычисление схожести. Поясним действия в каждом блоке.
Блок Bi. Корпус был размечен, и выделена ключевая, по мнению анализирующего лица, метаинформация I = {Is| (s = 1, ..., Si): Ii = K* - название программы; I2 = Z6r - кафедра; I3 = Z4r - факультет; I4 = Zir - год; I5 = Z2r - уровень высшего образования;
1б = Z2r - специальность.
Блок В2. Документы были преобразованы из форматов doc и docx в формат txt. В итоге был извлечен текст программ, убраны оформление, графические элементы и т. д.
Блок B3. Документы и метаинформация были загружены в базу данных InterSystems Caché для дальнейшей обработки
Блок B4. Для каждого документа были выявлены встречающиеся в нем концепты (слова или фразы) и частота их появления с использованием инструмента анализа неструктурированного текста InterSystems iKnow. В целом для корпуса образовательных программ в сфере информационных технологий были выявлены наиболее популярные концепты C = {C¿| (в порядке уменьшения частоты встречаемости): Ci = {для}, C2 = {дисциплины}, Сз = {технологии}, C4 = {информационных}, C5 = {информационные}, C6 = {технологий}, C7 = {работы}, Ce = {управления}, C9 = {деятельности}, C10 = {данных}.
Блок В5. Из дальнейшего анализа были исключены концепты, не относящиеся к сфере образовательных программ либо информационных технологий, например, был исключен концепт Ci = {для}.
Блок Вб. Для каждой пары документов было проведено сравнение концептов и вычислен процент схожести - число общих концептов в документах, деленное на число концептов в изначальном документе.
Авторами был разработан программный комплекс, реализующий вышеприведенную методику на практике и применяемый для анализа корпуса текстов лю-
бой тематики. Для демонстрации работы разработки авторов был использован описанный выше корпус образовательных программ в сфере информационных технологий.
В результате последовательного выполнения вычислений и анализа был определен процент схожести всех документов корпуса. На основе полученных результатов были построены графики схожести, где по оси абсцисс отложен процент схожести пары документов, а по оси ординат -количество таких пар. Обобщая результа-
ты первого графика и добавив к нему еще один, где представлены не все пары документов, а только те, которые были приняты в рамках одного года (рис. 1), а также пары документов, которые относятся к одному и тому же факультету, получены графики, представленные на рис. 2. Как видно из приведенных рисунков, в рамках одного года средний процент схожести между документами выше. Еще выше в системе «Университет» средний процент схожести между программами одного факультета.
Схожесть, %
Рис. 1. График схожести документов корпуса: точки - пары документов; I - полиноминальная линия тренда
35
-5
Схожесть, %
Рис. 2. График схожести документов корпуса:
I - все пары документов; II - пары документов за один год; III - пары документов одного факультета
Вышеприведенные графики показывают, что тексты образовательных программ в сфере информационных технологий, с одной стороны, обладают схожестью, что свидетельствует об отношении программ к одной сфере знания, а с другой - различаются, с тем чтобы учитывать особенности специализации студентов.
Используя полученные с помощью разработанного программного обеспечения данные, проведем анализ адаптации программ. Прежде всего сравним последовательно схожесть:
- всех программ;
- всех одинаковых программ (одинаковыми считаем программы, имеющие идентичное название);
- всех одинаковых программ, различающихся по времени не более чем на один календарный год.
Проведение данного анализа позволяет понять и наглядно отобразить тенденции адаптации образовательных программ во времени. Результат сравнения представлен на рис. 3.
45
-5
Схожесть, %
Рис. 3. График схожести документов корпуса: I - все пары документов; II - пары документов, соответствующих одной образовательной программе; III - пары документов, соответствующих одной образовательной программе и различающихся на год
Из графиков видно, что процент схожести одинаковых образовательных программ ожидаемо выше, чем в среднем по корпусу, а схожесть одинаковых программ, различающихся на один год, еще выше. С другой стороны, видно, что не все программы обновляются: порядка 10% программ за разные годы имеют 100% -ное сходство, свидетельствующее о том, что они не обновляются. Однако 85% программ обновляются каждый год на 10-40%.
Таким образом, в результате проделанной работы:
- создана прикладная информационная система, предназначенная для оценки
модернизации и степени обновления образовательных программ;
- продемонстрирована возможность дальнейшего использования созданной информационной системы для исследования различных факторов жизнеспособности учебных продуктов вуза;
- создан эффективный инструмент, позволяющий подразделениям в жизнеспособной системе «Университет», оценивающим степень актуализации содержания учебных дисциплин, проводить указанный анализ в автоматическом режиме, уменьшая временные и трудовые затраты.
Список литературы
1. Зимин И. Н., Картвелишвили В. М. О формализации модели университета как жизнеспособной системы // Россия и СНГ: геополитическая и экономическая трансформация : труды Международной научно-практической конференции. - М. : Спецкнига, 2014. - С. 77-84.
2. Зимин И. Н., Картвелишвили В. М. Университет: жизнеспособность и рекурсия // Россия: государство и общество в новой реальности : сборник статей Международной научно-практической конференции. - М. : Проспект, 2016. - С. 251-258.
3. Зимин И. Н., Картвелишвили В. М. Формирование и жизненный цикл программ обучения в жизнеспособной системе «Университет» / / Россия: государство и общество в новой реальности : сборник статей Международной научно-практической конференции. - М. : Проспект, 2016. - С. 244-251.
4. Картвелишвили В. М., Лебедюк Э. А. Метод анализа иерархий: критерии и практика // Вестник Российского экономического университета имени Г. В. Плеханова. - 2013. -№ 6 (60). - С. 87-102.
5. Картвелишвили В. М., Лебедюк Э. А. Нечеткий метод анализа иерархий: критерии и практика / / Вестник Российского государственного торгово-экономического университета. - 2013. - № 9-10. - С. 146-159.
References
1. Zimin I. N., Kartvelishvili V. M. O formalizatsii modeli universiteta kak zhiznesposobnoy sistemy [Concerning Formalization of University Model as a Viable System]. Rossiya i SNG: geopoliticheskaya i ekonomicheskaya transformatsiya, trudy Mezhdunarodnoy nauchno-prakticheskoy konferentsii [Russia and CIS: Geopolitical and Economic Transformation, works of the International Conference]. Moscow, Spetskniga, 2014, pp. 77-84. (In Russ.).
2. Zimin I. N., Kartvelishvili V. M. Universitet: zhiznesposobnost' i rekursiya [University: Viability and Recursion]. Rossiya: gosudarstvo i obshchestvo v novoy reaVnosti, sbornik statey Mezhdunarodnoy nauchno-prakticheskoy konferentsii [Russia: State and Society in New Reality, collection of works of the International Conference]. Moscow, Prospekt, 2016, pp. 251-258. (In Russ.).
3. Zimin I. N., Kartvelishvili V. M. Formirovanie i zhiznennyy tsikl programm obucheniya v zhiznesposobnoy sisteme «Universitet» [Designing and Life Cycle of Education Programs in the Viable System 'University']. Rossiya: gosudarstvo i obshchestvo v novoy reaVnosti, sbornik statey Mezhdunarodnoy nauchno-prakticheskoy konferentsii [Russia: State and Society in New Reality, collection of works of the International Conference]. Moscow, Prospekt, 2016, pp. 244-251. (In Russ.).
4. Kartvelishvili V. M., Lebedyuk E. A. Metod analiza ierarkhiy: kriterii i praktika [The Method of Hierarchy Analysis: Criteria and Practice]. Vestnik Rossiyskogo ekonomicheskogo universiteta imeni G. V. Plekhanova [Vestnik of the Plekhanov Russian University of Economics], 2013, No. 6 (60), pp. 87-102. (In Russ.).
5. Kartvelishvili V. M., Lebedyuk E. A. Nechetkiy metod analiza ierarkhiy: kriterii i praktika [Inaccurate Method of Hierarchy Analysis: Criteria and Practice]. Vestnik Rossiyskogo gosudarstvennogo torgovo-ekonomicheskogo universiteta [Bulletin of the Russian State Trade and Economics University], 2013, No. 9-10, pp. 146-159. (In Russ.).
