Научная статья на тему 'Задача и алгоритмы формирования плана мероприятий модернизации учебного контента'

Задача и алгоритмы формирования плана мероприятий модернизации учебного контента Текст научной статьи по специальности «Математика»

CC BY
102
18
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
УЧЕБНЫЙ КОНТЕНТ / РЕЙТИНГ / МОДЕРНИЗАЦИЯ КОНТЕНТА / АЛГОРИТМ ДИНАМИЧЕСКОГО ПРОГРАММИРОВАНИЯ / ГЕНЕТИЧЕСКИЙ АЛГОРИТМ / СХОДИМОСТЬ / ВЫЧИСЛИТЕЛЬНАЯ СЛОЖНОСТЬ / LEARNING CONTENT / CONTENT UPGRADE / RATING / DYNAMIC PROGRAMMING ALGORITHM / GENETIC ALGORITHM / CONVERGENCE / COMPUTATIONAL COMPLEXITY

Аннотация научной статьи по математике, автор научной работы — Городович Андрей Викторович, Кручинин Владимир Викторович, Сущенко Сергей Петрович

Рассматриваются задача создания и модернизации учебного контента в системе электронного обучения вуза и подходы к ее решению. Предлагается математическая постановка задачи в виде максимизации суммарного рейтинга элементов учебного контента при заданных ограничениях на ресурсы. Предлагается два решения: для дискретного случая задача сводится к варианту задачи о рюкзаке и решается на основе методов динамического программирования, для общего случая предлагается генетический алгоритм. Проведены исследования генетического алгоритма, получены свойства сходимости и вычислительной сложности.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по математике , автор научной работы — Городович Андрей Викторович, Кручинин Владимир Викторович, Сущенко Сергей Петрович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Task and algorithms to conceive an action plan for the updating of learning content

This paper discusses the problem of creation and updating of learning content for university e-learning system, and approaches to it. The paper proposes a mathematical problem statement through maximization of the cumulative ratings of e-learning content elements with limits set for resources. Two solutions are proposed: for a discrete case, the problem is reduced to a knapsack problem variation and is solved using dynamic programming methods, and the general case which is addressed using the genetic algorithm. The authors have studied the genetic algorithm and defined its convergence properties and computational complexity.

Текст научной работы на тему «Задача и алгоритмы формирования плана мероприятий модернизации учебного контента»

УДК 004.02

А.В. Городович, В.В. Кручинин, С.П. Сущенко

Задача и алгоритмы формирования плана мероприятий модернизации учебного контента

Рассматриваются задача создания и модернизации учебного контента в системе электронного обучения вуза и подходы к ее решению. Предлагается математическая постановка задачи в виде максимизации суммарного рейтинга элементов учебного контента при заданных ограничениях на ресурсы. Предлагается два решения: для дискретного случая задача сводится к варианту задачи о рюкзаке и решается на основе методов динамического программирования, для общего случая предлагается генетический алгоритм. Проведены исследования генетического алгоритма, получены свойства сходимости и вычислительной сложности.

Ключевые слова: учебный контент, рейтинг, модернизация контента, алгоритм динамического программирования, генетический алгоритм, сходимость, вычислительная сложность. doi: 10.21293/1818-0442-2019-22-4-69-74

Системы электронного обучения в вузах становятся одним из важнейших средств современного учебного процесса. Они представляют собой сложный программно-технический комплекс, включающий операционные системы и системы безопасности, информационные системы и базы данных, системы дистанционного обучения и инструментальные системы и многое другое. Причем многие из перечисленных систем постоянно модернизируются и обновляются, и это обновление имеет рутинный характер.

Учебный контент в системе электронного обучения создается и модернизируется, как правило, силами кафедр и некоторых обеспечивающих подразделений вуза, при этом объем этого контента постоянно увеличивается. Так, в настоящее время в ТУСУРе имеется свыше 2500 онлайн-курсов, электронных учебников, тестовых программ, виртуальных лабораторных работ, презентаций, видеолекций и др. [1]. В связи с этим возникают следующие проблемы: невозможно получить оценку уровня развития учебного контента кафедры, факультета и вуза в целом; не закреплены методы определения направлений совершенствования и модернизации учебного контента и оценки затрат на его создание и модернизацию; отсутствует учет развития электронного учебного контента при формировании политики маркетинга образовательных услуг вуза; у студентов нет возможности планировать свое образование с учетом оценок качества [2].

Для устранения перечисленных проблем необходимо решить несколько задач. И первой задачей из этого является задача оценивания качества учебного контента. Для вузов решение этой задачи находится на стадии интенсивных исследований [3]. Например, имеются решения на основе многокритериального оценивания [4] или на основе алгоритмов обработки больших данных [5]. На факультете дистанционного обучения (ФДО) ТУСУРа реализуется проект инструментальной системы формирования процедуры получения рейтинга элементов учебного контента. Здесь под рейтингом понимается показатель качества элемента учебного контента. Процедура формирования

рейтинга строится на основе базы знаний по критериям оценивания элементов учебного контента [6].

Другой важной задачей является формирование списка мероприятий по созданию и модернизации учебного контента в рамках одного вуза на период, как правило, один год. Эта задача решается учебно-методическим отделом вуза. Обычно формируются списки предложений от кафедр, и на основе рассмотрения предложений разрабатывается план мероприятий по созданию и модернизации учебного контента. Однако оценить уровень затрат и степень полезности того или иного мероприятия сложно, а порой и невозможно. Ниже предлагаются математическая задача и два алгоритма ее решения на основе оценивания качества элементов учебного контента и нахождения максимального увеличения суммарного рейтинга при заданных ограничениях на ресурсы. Например, если стоит задача модернизации множества онлайн-кур-сов, то вычисляется текущий рейтинг для каждого онлайн-курса и формируется план мероприятий, который максимально увеличит суммарный рейтинг множества онлайн-курсов при заданном ограничении на ресурсы.

Математическая постановка задачи

Пусть имеется множество единиц контента (например, множество онлайн-курсов в системе дистанционного обучения). Запишем это множество как O={oj 1^=1, далее будем называть его множеством объектов оценивания. Пусть задано также множество критериев оценивания 0={#г- }п=1. Например, качество текста, качество иллюстраций, наличие видео, степень креолизации текста и т.д.

Для каждого критерия известна функция или процедура Лц^ (оц ), по которой определяется его значение для /-го объекта:

= Лч, О).

В общем случае Уц может быть непрерывной,

дискретной, интервальной и др.

Для получения рейтинга объекта используется следующая формула:

=1

щц

¡=1

гуг у

где щ) - коэффициенты относительной важности, которые определяются на этапе построения процедуры получения рейтинга.

Задачу создания или модернизации контента можно сформулировать как задачу построения комплекса мероприятий над множеством объектов 0={оу }™=1 , при котором суммарное значение рейтинга всех объектов будет максимально при условии ограничения на ресурсы. Для формализации этой задачи необходимо записать ограничения. Пусть известна общая величина затрат на модернизацию контента С. Также пусть известно множество функций лЦ=\, затрат на создание и модернизацию объекта оценивания по изменению /-го критерия. В общем случае это могут быть некоторые аппроксимированные кривые на основе данных практики модернизации контента. Тогда формально задачу создания учебного контента можно записать как п т

у ^таХ

У =1«=1 п т

(Оу ) < С.

у=1 ¡=1

Описанная задача относится к классу математического программирования. Практика создания и модернизации учебного контента показывает, что функции затрат носят нелинейный характер, близкий к параболе, а в некоторых случаях - к экспоненте, поэтому эта задача относится к классу задач нелинейного программирования. При некоторых допущениях

20

С= 10

14 12 10 8 6 4 2 О

т.

эту задачу можно свести к варианту задачи о рюкзаке и решить ее методами динамического программирования (см. далее).

Задачу модернизации учебного контента можно записать как

у

у=1 ¡=1

+ тах,

(Оу) < С* + С,

у=ь=1 *

где Я - текущий суммарный рейтинг учебного кон*

тента, С - текущий уровень затрат.

Исследование задачи

Для определения характера и особенностей задачи рассмотрим простейший вариант. Пусть имеется система оценивания контента, состоящая из трех критериев 0={д1, #2, #3}. Области определения для 91 = {1 2}, для #2 = {1, 2, 3, 4}, для 93 = {1, 2, 3}. Весовые коэффициенты равны единице. Функция затрат равна g(n) = п2. Тогда общее число значений рейтинга для одного объекта равно 24, они расположены в интервале от {1, 1, 1} до {2, 4, 3}. Число объектов равно двум, 0={о1, 02}. Рассмотрим распределение суммарного рейтинга на области допустимых значений.

02) = г(о)+r(o2), при условии ограничения

g(o1)+g(o2) < с.

На рис. 1 представлены графики распределения суммарного рейтинга. Параметр с принимает значения 10, 20, 30, 40.

20 С = 20

А ¿%0 Л , л

1

С = 30

Рис. 1. Графики суммарного рейтинга при заданном

16 14 12 10 8 6 4 2 О

х 20—"

С = 40

ограничении С для трех критериев и двух объектов

Пусть дано четыре критерия, которые имеют (3, 4, 7, 2) значений соответственно. Весовые коэффициенты равны 1, объектов оценивания 3.

g(O)+Я(°2) + £(оз) = с.

Число вариантов оценивания одного объекта равно 158. Общее число вариантов равно 1583. Параметр С может принимать значения от 12 до 78^3 = 234. Рассмотрим число решений уравнения при заданном значении С. Получим распределение, представленное на рис. 2.

Рис. 2. График распределения решений для ограничения

Представленный график показывает, что количество решений при заданном ограничении С может быть достаточно большим, причем распределение по виду напоминает нормальное распределение. Это дает возможность оценить приблизительно число решений.

Рассматривая представленные графики, можно сделать следующие обобщения:

Представленная задача является многоэкстремальной.

Оптимальных решений может быть множество.

Запишем еще одно свойство, которое основано на следующих утверждениях:

- целевая функция линейна относительно искомых переменных;

- все переменные и коэффициенты положительны;

- функции }"=! монотонно возрастают.

Откуда можно сделать вывод, что оптимальные

и субоптимальные решения лежат на границе области ограничения

Алгоритм решения

Решим задачу модернизации контента для дискретного случая. Всё множество критериев оценивания Q = {дI }П=1 имеет конечное число дискретных значений. При этом функции затрат также имеют дискретные значения. Предположим, что начальный рейтинг равен нулю. Тогда решается задача создания

О = О }т=1 объектов при заданном ограничении на

ресурсы С. Эта задача сводится к известному расширению задачи о рюкзаке с множественным выбором [5, 6].

Рассмотрим задачу модернизации контента с дискретными значениями критериев оценивания. Эта задача сводится к рассмотренной задаче о рюкзаке

R(k, c) =

max (

следующим образом: для каждого объекта оценивания формируются множества значений критериев. Этих множеств будет п х т. Из этого набора множеств нужно выбрать по одному значению из каждого таким образом, чтобы суммарный рейтинг был бы максимален при заданном ограничении на ресурсы С. Тогда функция R максимального рейтинга будет выглядеть следующим образом:

;(Я (к-1, с - gi °)) + к), К (к-1,с - gi (ок)) + к ^ С к >1

ЩЧ к), к ^ с, к =1, -ад, нет максимума.

Рекуррентная функция Я(к, с) последовательно вычисляет все решения для искомой задачи формирования максимального суммарного рейтинга при заданном ограничении С.

Рекуррентная функция Я(к, с) в процессе вычисления строит дерево решений, узлами которого являются значения Я(к -1, с - gi (ок)). Используя

это дерево, можно получить некоторое подмножество решений. Рассмотрим пример. Пусть имеется три объекта оценивания, система критериев оценивания (4, 2, 7, 3), ограничение С = 200, тогда рекурсивная функция будет иметь значения R(k, 200) = [4, 6, 13, 16, 20, 22, 29, 32, 36, 38, 42, 44], здесь k меняется от 1 до 12. Тогда алгоритм сформирует следующие решения, Rmax = 44:

[4,

[3,

3, 4, 3, 4,

3], 3],

1, 7, 3, 4, 2, 7

2, 7, 3, 4, 2, 7 [4, 2, 7, 3, 4, 2, 7, 3, 3 [4, 2, 7, 3, 4, 2, 6, 3, 4, 1, 5 [4, 2, 7, 3, 3, 2, 7, 3, 4, 1, 5 [4, 2, 6, 3, 4, 2, 7, 3, 4, 1, 5 [3, 2, 7, 3, 4, 2, 7, 3, 4, 1, 5, 3], C = 200

2, 4, 2, 4,

1, 5, 3], 3], 3], 3],

C = 198 C = 194 C = 200 C = 194 C = 200 C = 194

(1) (2)

(3)

(4)

(5)

(6) (7)

Как видно, решений может быть несколько, причем значения суммарного рейтинга равно 44, а расчетное значение затрат может быть меньше 200. В этом смысле решения (2) и (6) будут наилучшими.

Вычислительная сложность данного метода равна O(nc) . Имеются модификации этого метода, позволяющие несколько ускорить вычисления [7-9].

Генетический алгоритм решения задачи

Рассмотренный в предыдущем разделе алгоритм решения задачи модернизации контента можно применять только для системы критериев оценивания, носящей дискретный характер. Однако для случаев, когда отдельные критерии оценивания учебного контента носят непрерывный характер или когда число дискретных значений такого критерия велико, воспользоваться алгоритмом динамического программирования не представляется возможным из-за роста вычислительной сложности. В этом случае предлагается воспользоваться подходом, основанным на генетическом алгоритме. Генетический алгоритм является одним из методов глобального поиска решения многоэкстремальных задач, хотя генетический алго-

ритм не гарантирует точного решения. Однако простота реализации и получение субоптимальных решений на практике позволяют решать сложные задачи в различных предметных областях. Например, для решения задач моделирования приемопередающих антенных систем связи [11], получения оптимальных траекторий обучения в системах адаптивного обучения [12], в задачах инвестирования и определения портфеля [13, 14].

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Основная схема генетического алгоритма [15]:

Шаг 1. Формирование начальной популяции, состоящей из особей.

Шаг 2. Определение достижимости решения задачи.

Шаг 3. Анализ популяции для формирования следующего поколения.

Шаг 4. Формирование новой популяции.

Шаг 5. Переход на шаг 2.

Рассмотрим построение генетического алгоритма для рассматриваемой задачи. Особью в нашем случае будут являться значения критериев оценивания V = (уг- j} для всех объектов. На множестве

V = {уг- j } вычисляются два параметра: R - суммарный рейтинг, С - общий объем затрат. Пусть Г I = {V} - множество особей на шаге t, соответственно Rkt - суммарный рейтинг, Сы - общий объем затрат Ук.

Учитывая выявленные свойства рассматриваемой задачи - решений много, значение у особи общего рейтинга при увеличении значений критериев оценивания всегда возрастает и решение находится на границе, можно предложить следующие основные блоки генетического алгоритма:

1. Фитнес-функция оценивает близость решения (особи) к границе, если при выполнении мутации особь выходит за пределы границы С, то исходная особь становится элитной и сохраняется в популяции.

2. Функция мутации случайным образом увеличивает значения критерия оценивания для конкретного объекта особи с вероятностью 0,6%.

3. Кроссовер является одноточечным.

4. Функция селекции обеспечивает выбор лучших особей из текущей популяции на основе удаления вышедших за границу и самых дальних от границы С особей.

Статистические исследования сходимости предложенного генетического алгоритма в зависимости от числа итераций основного алгоритма представлены на рис. 3.

На рис. 3, а показана сходимость алгоритма при числе объектов оценивания 10, числе критериев оценивания 9, ограничении С = 800, истинное значение критерия 262 (прямая линия). На рис. 3, б показана сходимость алгоритма при числе объектов оценивания 20, числе критериев оценивания 9, истинное значение критерия 582, С = 2000. На рис. 3, в показана сходимость алгоритма при числе объектов оценивания 30, числе критериев оценивания 9, истинное значение критерия 991, С = 4000.

580

а

I 570

Р

560

й 55а и

¡ 540-

I

т 530

520

980960

| 940-I

I 920-

'900

880

1550

0 1500

и 0

-&1450

0

1 1400 я

§ 1350

и

I

т 1300

1250

Истин! юе ша гение

/

/ /

/

20

40

60

80

100

120 140 Число итераций

1 1

Истннт юе зна1 гение

0 20 40 60 80 100 120 140

Число итераций

в

---и-

Истине юе зна* 1енне

г

1

20

40

60

80

100 120 140

Число итераций

Рис. 3. Графики исследования сходимости генетического алгоритма от числа итераций

а

б

г

На рис. 3, г показана сходимость алгоритма при числе объектов оценивания 40, числе критериев оценивания 9, истинное значение критерия 1556, С = 8000. В каждой точке графиков производилось 7 измерений и бралось среднее значение. Как видно из графиков, 150 итераций достаточно для сходимости алгоритма. При этом ошибка определения максимума колеблется в пределах 3%.

На рис. 4 представлено исследование вычислительных свойств предложенного генетического алгоритма в зависимости от числа итераций основного цикла и размерности особи.

Число итераций Рис. 4. Графики зависимости числа основных вычислительных операций от числа объектов оценивания и числа итераций основного цикла генетического алгоритма

Полученные графики свидетельствуют о линейном росте числа операций от основных параметров генетического алгоритма.

Заключение

Рассмотренная задача относится к классу задач математического программирования и предназначена для оптимального распределения ресурсов при формировании плана создания и модернизации учебного контента.

Для решения этой задачи предлагается два алгоритма. В случае когда искомые переменные носят дискретный характер и принимают конечное число значений, данная задача сводится к задаче о рюкзаке с множественным выбором.

Второй алгоритм является универсальным и применим для разных типов искомых переменных. Он основан на применении эволюционного моделирования с учетом конкретных свойств целевой функции.

Рассмотренные алгоритмы позволяют получить приемлемые варианты решения задачи создания и модернизации учебного контента для их использования в инструментальной системе оценивания и модернизации учебного контента.

Литература

1. Городович А.В. Развитие программно-методического обеспечения технологий электронного обучения в ТУСУРе / А.В. Городович, О.Ю. Исакова, И.А. Кречетов, В.В. Кручинин, Ю.В. Морозова, В.В. Романенко, И.П. Чер-кашина // Доклады ТУСУР. - 2017. - № 3. - С. 62-69.

2. Городович А.В. Текущее состояние и проблемы модернизации контента в системе электронного обучения ТУСУР / А.В. Городович, В.В. Кручинин, М.Ю. Перминова // Современное образование: качество образования и актуальные проблемы современной высшей школы: матер. Междунар. науч.-метод. конф. - Томск, 2019. - С. 109-111.

3. Краснова Г. А. Электронное образование в эпоху цифровой трансформации / Г.А. Краснова, Г.В. Можаева. -Томск: ИД Том. гос. ун-та, 2019. - 200 с.

4. Многокритериальное оценивание электронных учебно-методических комплексов / А.В. Городович, В.В. Кручинин, М.Ю. Перминова, Ю.В. Морозова // EdCrunch. Томск: матер. междунар. конф. по новым образовательным технологиям (г. Томск, 29-31 мая 2019 г.). - Томск: ИД Том. гос. унта, 2019. - С. 103-112.

5. Нехаев И.Н. Онлайн-аналитика: верификация и улучшение структуры процесса обучения, оценка уровней сформированности предметных компетенций / И.Н. Нехаев, А.О. Илларионов // EdCrunch. Томск: матер. междунар. конф. по новым образовательным технологиям (г. Томск, 29-31 мая 2019 г.). - Томск: ИД Том. гос. ун-та, 2019. - С. 131-136.

6. Микони С.В. Теория принятия управленческих решений. - СПб.: Лань, 2015. - 448 с.

7. Martello S. Knapsack Problems: Algorithms and Computer Implementations / S. Martello, P. Toth. - New York: John Wiley & Sons, Inc., 1990. - 296 p.

8. Kellerer H. The Multiple-Choice Knapsack Problem / H. Kellerer, U. Pferschy, D. Pisinger // Knapsack Problems. -Berlin, Heidelberg: Springer, 2004. - P. 317-347.

9. Zhong T. Multiple Choice Knapsack Problem: Example of planning choice in transportation / T. Zhong, R. Young // Evaluation and Program Planning. - 2010. - Vol. 33, Iss. 2. -P. 128-137.

10. Газизов Т. Т. Эволюционное моделирование приемопередающих антенных систем связи // Информатика и системы управления. - 2016. - № 4 (50). - С. 3-10.

11. Кречетов И.А. Об одном алгоритме адаптивного обучения на основе кривой забывания / И.А. Кречетов, В.В. Кручинин // Доклады ТУСУР. - 2017. - № 1. - С. 75-80.

12. Кречетов И.А. Реализация адаптивного обучения: методы и технологии / И.А. Кречетов, В.В. Романенко, В.В. Кручинин, А.В. Городович // Открытое и дистанционное образование. - 2018. - № 3(71). - С. 33-40.

13. Ковшов Е.Е. Применение генетического алгоритма при оценке рисков инновационных проектов / Е.Е. Ковшов, О.В. Горяева // Российское предпринимательство. - 2010. -Т. 11, № 11. - С. 85-91.

14. Jin Z. A Genetic Algorithm for Investment-Consumption Optimization with Value-at-Risk / Z. Jin, Z. Yang, Q. Yuan // Constraint and Information-Processing Cost. Risks. - 2019. -№ 7(1). - 32 p.

15. Казаков П.В. Генетические алгоритмы многокритериальной оптимизации: обзор / П.В. Казаков // Информационные технологии. - 2011. - № 10(182). - С. 2-7.

Городович Андрей Викторович

Ассистент каф. технологий электронного обучения (ТЭО)

Томского государственного ун-та систем управления

и радиоэлектроники (ТУСУР)

Ленина пр-т, д. 40, г. Томск, Россия, 634050

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Тел.: +7 (382-2) 70-15-52

Эл. почта: gaw@2i.tusur.ru

Кручинин Владимир Викторович

Д-р техн. наук, профессор каф. ТЭО ТУСУРа Ленина пр-т, д. 40, г. Томск, Россия, 634050 Тел.: +7 (382-2) 70-15-52 Эл. почта: kru@2i.tusur.ru

Сущенко Сергей Петрович

Д-р техн. наук, профессор,

директор Института прикладной математики

и компьютерных наук (ИПМКН)

Национального исследовательского

Томского государственного университета (НИ ТГУ),

Ленина пр-т, д. 36, г. Томск, Россия, 634050

Тел.: +7 (382-2) 52-94-96

Эл. почта: ssp.inf.tsu@gmail.com

Gorodovich A.V., Kruchinin V.V., Suschenko S.P. Task and algorithms to conceive an action plan for the updating of learning content

This paper discusses the problem of creation and updating of learning content for university e-learning system, and approaches to it. The paper proposes a mathematical problem statement through maximization of the cumulative ratings of e-learning content elements with limits set for resources. Two solutions are proposed: for a discrete case, the problem is reduced to a knapsack problem variation and is solved using dynamic programming methods, and the general case which is addressed using the genetic algorithm. The authors have studied the genetic algorithm and defined its convergence properties and computational complexity.

Keywords: learning content, content upgrade, rating, dynamic programming algorithm, genetic algorithm, convergence, computational complexity. doi: 10.21293/1818-0442-2019-22-4-69-74

References

1. Gorodovich A.V., Isakova O.Yu., Krechetov I.A., Kruchinin V.V., Morozova Yu.V., Romanenko V.V., Cher-kashina I.P. Razvitieprogrammno-metodicheskogo obespeche-niya tekhnologij elektronnogo obucheniya v TUSURe [Evolution of technical and didactic solutions for e-learning technologies in TUSUR]. Proceedings of TUSUR University, 2017, no. 3, pp. 62-69 (in Russ.).

2. Gorodovich A.V., Kruchinin V. V., Perminova M.YU. Tekushchee sostoyanie i problemy modernizacii kontenta v sisteme elektronnogo obucheniya TUSUR [Current condition and problems of content modernization in the e-learning system of TUSUR]. Sovremennoe obrazovanie: kachestvo obrazovaniya i aktual'nye problemy sovremennoj vysshej shkoly: materialy Mezhdunar. nauch.-metod. Konf, Tomsk, 2019, pp. 109-111 (in Russ.).

3. Krasnova G.A., Mozhaeva G.V. Elektronnoe obrazovanie v epohu cifrovoj transformacii [E-education in the era of digital transformation]. Tomsk, TSU Pabl., 2019, 200 p.

4. Gorodovich A.V., Kruchinin V.V., Perminova M.YU., Morozova YU.V. Mnogokriterial'noe ocenivanie elektronnyh uchebno-metodicheskih kompleksov [Multicriteria evaluation of electronic course packets]. EdCrunch Tomsk: materialy Mezhdunar. konferencii po novym obrazovatel'nym tekhnologiyam. Tomsk, TSU Pabl., 2019, pp. 103-112 (in Russ.).

5. Nekhaev I.N., Illarionov A.O. Onlajn-analitika: veri-fikaciya i uluchshenie struktury processa obucheniya, ocenka urovnej sformirovannosti predmetnyh kompetencij [Online analytics: verification and improvement of the structure of the

process of training, evaluation of the levels of formation of subject competences]. EdCrunch Tomsk: materialy Mezhdunar. konferencii po novym obrazovatel'nym tekhnologiyam. Tomsk, TSU Pabl., 2019, pp. 131-136 (in Russ.).

6. Mikoni S.V. Teoriya prinyatiya upravlencheskih resh-enij [Management decision theory]. SPb. Lan, 2015. 448 p.

7. Martello S., Toth P. Knapsack Problems: Algorithms and Computer Implementations. New York, John Wiley & Sons Inc., 1990. 296 p.

8. Kellerer H., Pferschy U., Pisinger D. The Multiple-Choice Knapsack Problem. Knapsack Problems. - Springer, Berlin, Heidelberg, 2004, pp. 317-347.

9. Zhong T., Young R. Multiple Choice Knapsack Problem: Example of planning choice in transportation. Evaluation and Program Planning, 2010, vol. 33, no. 2, pp. 128-137.

10. Gazizov T.T. Evolyucionnoe modelirovanieprie-mop-eredayushchih antennyh sistem svyazi. Informatika i sistemy upravleniya [Modelling genetic algorithms transceiver antenna systems]. 2016, no. 4, pp. 3-10 (in Russ.).

11. Krechetov I.A., Kruchinin V.V. Ob odnom algoritme adaptivnogo obucheniya na osnove krivoj [About one algorithm of adaptive learning based on forgetting curve]. Proceedings of TUSUR University, 2017, no. 1, pp. 75-80 (in Russ.).

12. Krechetov I.A., Romanenko V.V., Kruchinin V.V., Gorodovich A.V. Realizaciya adaptivnogo obucheniya: metody i tekhnologii [Implementation of adapting learning: methods and technologies] // Open and distance education, 2018, no. 3, pp. 33-40 (in Russ.).

13. Kovshov E.E., Goryaeva O.V. Primenenie genetich-eskogo algoritma pri ocenke riskov innovacionnyh proektov [Implementation of genetic algorithms in the assessment of innovative projects risks]. Rossijskoe predprinimatel'stvo, 2010, vol. 11, no. 11, pp. 85-91 (in Russ.).

14. Jin Z., Yang Z., Yuan Q. A Genetic Algorithm for Investment-Consumption Optimization with Value-at-Risk. Constraint and Information-Processing Cost. Risks, 2019, no. 7(1), 32 p.

15. Kazakov P.V. Geneticheskie algoritmy mnogokri-teri-al'noj optimizacii. Obzor [The Genetic Algorithms for Multi-Objective Optimization. Review]. Infomacionnye tekhnologii, 2011, no. 10, pp. 2-7 (in Russ.).

Andrey V. Gorodovich

Assistant, Department of E-Learning, Tomsk State University of Control Systems and Radioelectronics (TUSUR) 40, Lenin pr., Tomsk, Russia, 634050 Phone: +7 (382-2) 70-15-52 Email: gaw@2i.tusur.ru

Vladimir V Kruchinin

Doctor of Engineering Sciences, Professor, Department of E-Learning, TUSUR 40, Lenin pr., Tomsk, Russia, 634050 Phone: +7 (382-2) 70-15-52 Email: kru@2i.tusur.ru

Sergey P. Suschenko

Doctor of Engineering, Professor,

Director of the Institute of Applied Mathematics and

Computer Science, National Research Tomsk State University

36, Lenin pr., Tomsk, Russia, 634050

Phone: +7 (382-2) 52-94-96

Email: ssp.inf.tsu@gmail.com

i Надоели баннеры? Вы всегда можете отключить рекламу.