CC BY
40
Ахмедов Б. А. старший преподаватель кафедра информатики Чирчикский государственный педагогический институт Султанов Б. доцент
кафедра информатики Чирчикский государственный педагогический институт
АНАЛИЗ И НОВЫЕ ТЕНДЕНЦИИ ИСОЛЬЗОВАНИЯ КЛАСТЕРНЫХ СИСТЕМ И ИСКУССТВЕННОГО ИНТЕЛЕКТА В
СОВРЕМЕННОЙ СИСТЕМЕ ВЫСШЕГО ОБРАЗОВАНИЯ
Аннотация: основной целью статьи является анализ существующих практик применения систем адаптивного обучения в образовании и построение концептуальной модели с учетом особенностей "Online" обучения. В соответствии с целью ставятся следующие задачи: 1) разработать адаптивные платформы, применяющиеся в «Online" системах образования; 2) определить роль преподавателя в адаптивном обучении и возможность его замещения искусственным интеллектом; 3) предложить модель адаптивного обучения.
Теоретическая основа исследования базируется на комплексе научных положений ученых в области «Online" образования и искусственного интеллекта. Методы теоретического уровня использовались для анализа и обобщения существующих интеллектуальных систем адаптирования процесса обучения, а также методологии алгоритмов обработки данных, применяемых для этого.
Ключевые слова: образование, искусственный интелект, нейросети, адаптивное обучение, базы данных, образовательный сервис, мультиагентный подход, геймификация обучения.
Akhmedov B.A. senior lecturer department of informatics Chirchik State Pedagogical Institute
Sultanov B. associate professor department of informatics Chirchik State Pedagogical Institute
ANALYSIS AND NEW TRENDS IN THE USE OF CLUSTER SYSTEMS AND ARTIFICIAL INTELLIGENCE IN THE MODERN HIGHER
EDUCATION SYSTEM
Abstract: The main purpose of the article is to analyze the existing practices of using adaptive learning systems in education and build a conceptual model, taking into account the peculiarities of "Online " learning. In accordance with the goal, the following tasks are set: 1) to develop adaptive platforms used in "Online" education systems; 2) determine the role of the teacher in adaptive learning and the possibility of replacing it with artificial intelligence; 3) propose an adaptive learning model.
The theoretical basis of the research is based on a complex of scientific positions of scientists in the field of "Online" education and artificial intelligence. Theoretical methods were used to analyze and generalize existing intelligent systems for adapting the learning process, as well as the methodology of data processing algorithms used for this.
Keywords: education, artificial intelligence, neural networks, adaptive learning, databases, educational service, multi-agent approach, learning gamification.
На сегодняшний день развитие компьютерной техники осуществило огромный скачок вперед, что дало толчок появлению новых технологий и возможности их реализации. Попытки привить компьютеру способности мыслительной деятельности связывают с определением искусственного интеллекта. Его функционирование связано с обработкой уже имеющихся данных или только поступающих. На сегодняшний день известно четыре группы математических методов интеллектуального анализа данных: 1) статистические; 2) кибернетические; 3) оптимизационные; 4) экспертные.
Наравне с медициной или инженерией немаловажной областью человеческой деятельности является образование. Успешность системы образования заключается в грамотно поставленных целях, правильно выбранных методах и средствах их реализации, анализе и своевременно внесенных в процесс коррекциях. Отдельное внимание сегодня уделяется прогнозированию [6]. Оно возможно благодаря обработке большого потока данных. На сегодняшний день это возможно с помощью методов Data Mining и Big Data [1; 4; 5; 16]. Благодаря им появилась возможность адаптировать процесс обучения под уровень учащихся.
Каждый из них способен решать определенный класс задач (анализ и ранжирование данных по степени близости к желаемым результатам, решение задач нетривиальным способом, прогнозирование и подсказки на основе имеющегося опыта, оптимизация данных), результаты чего можно наблюдать в повседневной жизни.
В ходе обучения ученики сталкиваются с большим объемом информации. Однако далеко не каждый способен ее всю усвоить (особенно самостоятельно). В данной ситуации необходимо внедрять систему с принципами адаптации курса обучения дисциплине к уровню знаний ученика на основе искусственного интеллекта (ИИ) [13; 14]. Адаптивное обучение определяется как концепция (обучающая модель), содействующая новые технологии для улучшения уровня знаний, обучающегося с учетом его индивидуальных особенностей (эмоциональное состояние, пол, способность воспринимать различные типы информации, уровень учебных навыков) [18]. Процесс обучения должен «подстраиваться» на интеллект обучающегося, определять объем его знаний и выстраивать индивидуальную траекторию обучения.
К адаптивным платформам можно отнести: 2U, Wiley, Canvas, Loud Cloud, Blackboard, Knewton, RealizeIT, Adaptcourseware, Anewspring, Geekie, Smart Sparrow [2].
Разработанная программная платформа на основе ИИ, оценивает каждый шаг, каждое действие подопечных и передает их учителю. В самом начале ученики проходят короткий тест и определяют конечную цель обучения, а программа подбирает соответствующий контент (планы курса, материал) для обучения. Если ученик что-то не понял или пропустил урок, то есть возможность вернуться и повторить теорию. При должном уровне знаний по теме материал варьируется по уровню трудности. Каждый ученик сам выбирает темп обучения. Программа постоянно собирает данные (преподаватели имеют возможность быстро вносить коррективы в курс) и учится на них (в случае подбора дальнейшего материала). Применение данной платформы в образовании позволило улучшить цифры успешной сдачи выпускных и вступительных экзаменов. Данная технология рассматривается как часть процесса (помощник учителя), а не процесс в целом.
Образовательный сервис (платформа) Knewton [17] занимается персонализацией обучения с 2008 года. Knewton - это платформа, на базе которой разрабатываются программы и приложения с адаптивной функцией. Аналитическая система позволяет ответить на такие вопросы, как: 1) что известно студенту; 2) почему он ошибся в задании; 3) какие темы для него важны; 4) прогноз успешности на данном этапе.
Технология Intelligent Adaptive Learning отслеживает действие каждого учащегося и оценивает стратегии, используемые для решения проблем. Затем программа корректирует материал урока и уровень сложности, количество подсказок, темы и темп изучения. У преподавателя есть возможность наладить обратную связь с учеником в виде своевременных подсказок (видео, графики или дополнительный материал) при затруднении ответа на вопрос, варьирования количества попыток запроса или времени бездействия.
Программа собирает огромное количество данных, в том числе не только ответы на вопросы, но и информацию о том, как часто студенты просматривали задания (теорию), где и что выбирали. Выполнение одного и того же задания для разных студентов отличается благодаря его адаптивности (персонализации контента). Программа способна определить, когда и с какой темы необходимо повторить материал. У преподавателя есть возможность индивидуализировать обучение в группе, планировать лекции на основе знаний студентов. В результате у преподавателя есть возможность спрогнозировать успешность сдачи студентом экзамена или освоение материала.
На сегодняшний день данная образовательная платформа существует как конструктор бесплатных открытых онлайн-курсов и уроков с адаптивными рекомендациями, она позволяет создавать интерактивные обучающие уроки с обратной связью и автоматической проверкой.
Такой подход имеет ряд преимуществ: во-первых, обучающийся не начинает изучение материала с начала темы или раздела, что экономит время; во-вторых, в базе данных модели обучаемого хранятся его предыдущие действия, что дает возможность в дальнейшем использовать их для анализа.
Таким образом, можно констатировать, что платформы адаптивного образования - I={Z, U, M, T, N, D}, которое должны учитывать следующие моменты:
1) Z - множество знаний, умений и навыков, цель обучения (уровень изучения дисциплины), требования к знаниям;
2) U - модель обучаемого, которая должна состоять из психологических характеристик (психологический тип должен определяться на первоначальном этапе работы с платформой), начального уровня знаний;
3) M - теоретический и практический материал, тесты;
4) T - множество вариантов построения образовательной траектории, которая должна учитывать и такие параметры, как: а) время, затраченное на изучение темы, выполнение практического задания; б) количество предоставляемых подсказок;
5) N - множество вариантов организации топологии нейро сети для анализа и прогнозирования;
6) D - база хранения личных данных, теоретического и практического материалов.
Современную цифровую обработку большого количества данных связывают с терминами Big Data, Data Mining, Learning Analytics. Каждый из этих терминов представляет собой технологию, метод или инструмент, позволяющий работать с данными. Big Data работает со структурированными и неструктурированными данными,
представляющими огромный массив информации (базу данных). К основным задачам, решаемым Big Data, относят:
1) сбор данных;
2) хранение данных;
3) работу с данными.
Таким образом, Big Data представляет собой технологию в области программного и аппаратного обеспечения, занимающуюся анализом, организацией и управлением данными. Data Mining представляет собой технологию работы с несколько структурированными данными. Основная направленность заключается в поиске скрытых (нетривиальных) взаимосвязей ограниченного большого объема данных, прогнозировании, классификации, визуализации. Learning Analytics является технологией по сбору, анализу огромного массива данных учебной деятельности с целью оптимизации обучения. «Система должна учитывать уникальные проблемы анализируемых деталей и влияние на них любых аспектов и изменений» [2].
Как видим из представленных выше определений технологий обработки данных, любая современная интеллектуальная адаптивная платформа будет строиться на их основе.
Наибольшую популярность в зарубежном образовании получила американская платформа Knewton. Можно встретить мнение авторов, что данная платформа не использует технологии Data Mining или Big Data, однако это не так: она требует применения соответствующей технологии обработки данных [15].
Личностные качества каждого индивидуальны, а соответственно, и степень усвоения материала разная. Создание и применение интеллектуальной адаптивной платформы позволит решить проблемы, связанные с индивидуализацией процесса образования. Интеллектуальная составляющая данных систем основывается на технологиях: Big Data, Data Mining, Learning Analytics. Их применение в образовании создает свои положительные аспекты:
1) для обучающихся (использовать виртуального преподавателя для подбора материала, определять темп обучения (нагрузку), выбирать индивидуальную траекторию обучения, виртуально моделировать ситуацию);
2) для преподавателя (аргументировать те или иные нововведения (выводы), выстраивать индивидуальную последовательность учебного плана и связанные с ним учебные навыки для каждого учащегося, искать скрытые закономерности, эффективнее использовать элементы групповой работы, грамотно выстраивать занятия, осуществлять прогноз успешности обучения и своевременное внесение изменения).
Когнитивные методы обучения (методы учебного понимания) - это приемы обучения, основанные на таких видах деятельности, которые
позволяют личности познавать себя и окружающий мир. Суть когнитивной технологии в обучении состоит в обеспечивающей понимание студентами учебной информации. Основная цель исследования когнитивного обучения, заключается в развитии всех умственных способностей и стратегий, делающих возможным процесс обучения и адаптации к новым ситуациям [6, ст. 48]. Акцент обучения должен сместиться в сторону ускорения обработки информации из-за его обилия, то есть, для перехода к обществу знаний, мы должны создать такую систему образования, где в массовом порядке будут преподаваться когнитивные навыки, повышающие индивидуальные способности обработки информации.
Когнитивные технологии создают условия для понимания каждым студентом входящей информации. К примеру, формировать информационную компетентность учащихся, под которой понимается совокупность умений использовать информацию, поступающую из различных источников:
- умение конспектировать, т. е. излагать собственные мысли в соответствии с нормами языка и правилами логики;
- умение аннотировать, т. е. осуществлять краткую структурированную запись содержания книг, статей, выступлений, телевидео- и других материалов;
- умение осуществлять сбор информации по заданной проблеме;
- умение осуществлять сопоставление информации, полученной из различных источников, по заданным критериям;
- умение использовать технические средства получения информации;
- умение использовать программные средства получения информации.
В новом образовании должна быть создана такая методология обучения, которая позволит массово готовить специалистов, знающих себя и свои способности, что позволит ему учиться на протяжении всей своей жизни и тем самым непрерывно повышать свою квалификацию.Онлайн-обучение нисколько не улучшает понимание учениками информации, а лишь делает процесс обучения проще и доступней. Чтобы избежать проблем в понимании, необходимо подходить к каждому студенту индивидуально или же разделить их на группы на основе их социотипов.
Психика людей может быть представлена в виде 16 возможных вариантов восприятия и обработки информации, согласно соционической концепции. Поэтому необходимо понимать, что в голове у вашего собеседника может быть установлена совершенно другая система обработки информационных данных, отличающиеся от вашей, и соответственно в любое сказанное вами слово может быть вложен абсолютно противоположный смысл для ученика. Таким образом, основой
электронного обучения в первую очередь должно быть не педагогика, а соционика.
Способности у всех к изучению чего-либо разный. Разный жизненный опыт, разные мотивации и уровень знаний. Поэтому кому-то из обучающихся программа всегда кажется слишком легкой, кому-то невыносимо трудной. Кому-то удобно воспринимать материал в одной форме, кому-то в другой. В результате, преподаватель всё время оказывается перед нерешаемой задачей: как обеспечить приемлемую успеваемость «слабых» учеников и не отбить желание учиться легким материалом у сильных? [2, с. 1]. Поэтому при подготовке к заданиям необходимо учитывать разный уровень когнитивного развития студентов и создавать задания соответствующего уровня сложности. В этом также заключается и принцип итогового контроля, в котором оценка знаний соответствует определенному уровню знаний [5, с. 49].
Новым инструментом учебного процесса уже в ближайшем будущем могут стать видеоигры. Геймификация и образовательные игры мотивируют на обучение, привносят дух соревновательности и дают освоить конкретные навыки. С помощью игр ученики с большим интересом осваивают новые области знания и получают возможность моделировать и испытывать на себе разные ситуации. Это помогает определиться с профессиональными склонностями и интересами. Игры, позволяющие создавать сложные структуры, помогают развитию креативности, а кооперативные, социальные и бизнес-игры способствуют коллективному решению задач и развитию эмоционального интеллекта.
На сегодняшний день применение искусственного интеллекта входит и в сферу образования. Создаются первые системы на основе данных технологий в области прокторинга, когда машины используя алгоритмы распознавания лиц, отслеживают сдачу студентами контрольных тестов и заданий при сдаче их в электронной среде. Одним из направлений в области образования является использование технологий искусственного интеллекта в адаптивном обучении, использование которого позволяет определить возможности формирования для каждого отдельно взятого студента индивидуальной образовательной траектории.
С точки зрения информационного подхода, искусственный интеллект - это область информационных технологий, основная задача которой разработка интеллектуальных компьютерных систем, способных решать задачи, которые традиционно решались с помощью человеческого разума, например, понимание языка, рассуждения, решение проблем. На сегодняшний день различают несколько направлений в развитии технологий искусственного интеллекта:
нейронные сети - это математическая модель, а также ее аппаратная и программная реализация, построенная по образу и подобию биологических нейронных сетей;
экспертные системы - это компьютерные системы, способные на основе технологий баз знаний и соответствующих алгоритмов заменить человека эксперта в различных областях;
естественно-языковые системы - это автоматические информационные системы, в которых для общения с пользователем используется естественный язык;
нечеткие множества - это базовое понятие нечеткой логики, в которой вместо двух значений ноль и единица рассматривается весь диапазон [0;1];
эволюционные методы и генетические алгоритмы -это эвристические алгоритмы, использующиеся для задач оптимизации, в основе которых лежат механизмы аналогичные естественному отбору в природе;
системы извлечения знаний - это новые инновационные технологии извлечения и обработки больших объемов информации, полученные из глобальных компьютерных сетей [2,5].
Сфера образования является одним из перспективных направлений использования систем искусственного интеллекта. В рейтинге перспективных направлений, в которых за счет внедрения данных технологий можно получить наилучшие показатели увеличения факторной производительности, сфера образования входит в пятерку лидеров (рис. 1). [11]
Рис. 1. Рейтинг отраслей по показателю повышения факторной производительности за счет внедрения искусственного интеллекта, в процентах.
Мировой объем рынка искусственного интеллекта в образовании в 2025 г. достигнет показателя 3,3 миллиарда долларов (рис. 2) [3,12].
Рис. 2. Динамика мирового рынка систем искусственного интеллекта в образовании.
Основным направлением применения искусственного интеллекта в сфере образования является прокторинг - это системы удаленного наблюдения за поведением испытуемого во время проведения проверочных испытаний [13, 14].
В основе искусственного интеллекта в образовании лежит основная цель сделать вычислительно точными и явными формы образовательных, психологических и социальных знаний, которые часто остаются неявными, то есть представить эти знания в формализованном виде, чтобы с помощью компьютерных программ проанализировать полученные результаты и на основе проведенного исследования получить соответствующую модель обучения. Одним из направлений искусственного интеллекта является возможность формирования адаптивных сред обучения, позволяющих на основе анализа определить индивидуальную траекторию обучаемого.
Адаптивные среды обучения - это цифровая среда обучения, адаптирующая подходы и материалы к обучению и изучению возможностей и потребностей отдельных учащихся.
Использование искусственного интеллекта в образовании должно базироваться на трех базовых подходах:
описание процесса обучения (педагогическая модель); описание дисциплины (модель предметной области); описание студента (модель обучаемого) [6,8,11].
Представим модель адаптивного обучения на основе технологий искусственного интеллекта, структура которой будет иметь следующий вид (рис. 3) [2,12,14].
В процессе обучения система обрабатывает процесс получения знаний в виде анализа достижений, ошибок, эмоционального состояния обучаемого. На основе проведенного сбора информации идет процесс анализа всех параметров процесса обучения, на основе которого происходит самообучение и усовершенствование самой системы.
На основе анализа большого объема информации система адаптивного обучения на основе технологий искусственного интеллекта способна обеспечить индивидуальную траекторию образования отдельного взятого студента по каждому предмету с учетом его возможностей и способностей.
Одним из основных направлений использования искусственного интеллекта в сфере образования являются возможности адаптивного обучения, позволяющего на основе трех базовых моделей: педагогической модели, модели обучаемого и модели предметной области, с использованием алгоритмов обработки знаний, предоставить адаптированный контент для каждого отдельно взятого студента, за счет обучения системы искусственного интеллекта на основе анализа и обработки больших объемов информации, что позволит выстроить индивидуализированную траекторию обучаемого на основе его способностей и возможностей как для изучения отдельно взятого предмета, так и для процесса формирования специалиста в той или иной области, тем самым отойти от усредненного подхода в обучении, который существует на сегодняшний день и не позволяет раскрыть все возможности обучаемого.
К важным понятиям, связанным с адаптивной технологией обучения, относят:
> адаптирующее образование - программы и курсы, ориентированные на формирование комплекса способностей,
необходимых для того, чтобы индивид мог комфортно жить и эффективно действовать в новых для него социальных условиях;
> адаптивная образовательная среда- система, способная каждому обучающемуся помочь достичь оптимального уровня интеллектуального развития в соответствии с его природными задатками и способностями;
> адаптивная образовательная модель - модернизированная массовая общеобразовательная школа для учащихся со смешанными способностями.
В ряде публикаций под «электронным обучением» понимают адаптивное (индивидуализированное) обучение, реализованное на базе всестороннего применения мульти- и гипермедиа, удалённого доступа к распределённым образовательным ресурсам на основе веб-технологий, с автоматизированным контролем и анализом результатов обучения и широким использованием разнообразных сетевых средств взаимодействия обучающихся между собой и с преподавателем [2,4].
Под адаптивностью в обучении в современной научной трактовке понимают персонификацию процесса обучения на основе создания электронных курсов, учитывающих индивидуальные особенности обучаемых, в том числе психологические особенности, восприятие, уровень начальных знаний, а также индивидуальные цели и задачи обучения. Адаптация рассматривается также как адаптивное планирование (статическая адаптация) и адаптивное взаимодействие (динамическая адаптация). Адаптивное планирование в вузе на этапе подготовки индивидуализированного учебно-методического материала позволяет реализовать адаптацию, как в группе студентов, так и к отдельному студенту, обучающемуся по индивидуальному плану. В процессе информационного взаимодействия при динамической адаптации осуществляется как изменение содержание и способов представления учебно-методических материалов, так и всесторонняя настройка системы для конкретного студента.
Адаптивное обучение в вузе обладает рядом преимуществ по сравнению с классическими методиками обучения:
снижение нагрузки на студента и уменьшение общего времени обучения за счёт отображения только действительно необходимой студенту информации;
возможность расширения целевой аудитории за счёт включения в обучающий курс информации, рассчитанной на студентов с различным начальным уровнем подготовки;
возможность реализации более удобных средств контроля над действиями студента [6].
Адаптация достигается на основе использования модели обучаемого, составляющими которой являются цели обучения, начальные знания в области обучения, индивидуальные особенности обучаемого. Реализация
моделей адаптивного обучения базируется на современных подходах программированного обучения на основе пакета прикладных программ, метод экспертных оценок, мультиагентный подход, создание комплексных систем обучения. Программированное обучение в электронных учебно-методических материалах на основе использования пакета прикладных программ осуществляется по принципу разделения библиотеки стандартных программ и программ, управляющих ресурсами машины и собственно библиотекой. Для воздействия и пользователя с системой используется диалоговый компонент со специальным входным языком, позволяющим давать чёткие команды вызова обучающей системе.
Метод экспертных систем позволяет реализовывать возможность не закладывать априори последовательность шагов обучения, поскольку она строится самой системой в процессе её функционирования, что позволяет формировать для каждого обучаемого индивидуальный план обучения. Данные обучающие системы способны выполнять параметрическую и структурную адаптации.
Мультиагентный подход позволяет реализовать возможность адаптации всех уровней (параметрическая, структурная, адаптация объекта управления, адаптация целей), что позволяет обеспечить управление объектом- обучаемым на всех этапах процесса обучения. Основа этого подхода- построение системы как совокупности агентов. Каждый из агентов имеет семантическое описание своего поля деятельности (свою структуру, свои знания), и соответствует экспертной системе с традиционной структурой. Агент обладает всеми свойствами экспертных систем, а также памятью своей деятельности, имеет собственные ресурсы для достижения собственных целей, взаимодействия с другими агентами и разрешения конфликтов с целями других агентов для достижения общих целей. Это позволяет свободно выбирать те цели, которые преследуются на данный момент объектом управления, и соответственно целям выбирать тот эталон (представленный соответствующим агентом), соответствие которому достигается моделью обучаемого на данный момент. Таким образом, для каждой конкретной задачи обучения составляется определённый коллектив агентов, что говорит о смене структуры и целей решающей системы в зависимости от поставленной задачи.
Важную роль в развитии современных высокоинтеллектуальных образовательных технологий играют также системы адаптивной гипермедиа, которые применяют различные виды моделей пользователя для приспосабливания под его индивидуальные характеристики содержимого и ссылок страниц гипермедиа.
Выделяются две технологии в адаптивной гипермедиа:
адаптивное представление (поддержка посредством создания (не)видимых ссылок ориентации и навигации обучающегося в гиперпространстве):
адаптивная поддержка в навигации (приспособление содержимого страницы гипермедиа к целям, знаниям пользователя, а также к другой информации, хранящейся в модели пользователя)
В настоящее время проводятся исследования, направленные на эволюцию базовых моделей, отражавших традиционный квалификационный подход к организации процесса, в сторону компетентностного подхода, учитывающего способности обучаемых применять знания, умения и личностные качества для успешной профессиональной деятельности. В связи с этим особую актуальность приобретают вопросы, связанные с построением «психологического портрета личности», а также с эффективным учётом личностных характеристик студента при построении моделей обучаемого и модели обучения, поскольку это напрямую связано с реализацией компетенций, определяющих, по сути, набор видов деятельности, которые должен осуществлять обучаемый в будущем.
При построении базовых эвристических моделей, в частности модели обучаемого, предусмотрен учёт влияния личностных характеристик на адаптивную модель обучения. Суть этого процесса заключается в динамической модификации стратегии обучения в соответствии с текущей моделью обучаемого, то есть осуществляется подбор и упорядочивание наиболее эффективных на данном этапе обучающих воздействий с учётом выявленных личностных характеристик.
Таким образом, интеллектуально ориентированные образовательные технологии раскрывают новые пути повышения качества образовательных услуг, оказываемых вузом в условиях информатизации современного общества за счёт обеспечения индивидуального подхода к студенту, поддержки в решении задачи интеллектуального анализа решений с интерактивной обратной связью. Использование указанных технологий значительно экономит и рационализирует время преподавателя, усиливает управленческие и коммуникативные аспекты учебного процесса за счёт технологии оптимального подбора моделей обучаемых.
Использованные источники:
1. Ахмедов, Б. А. (2021). Задачи обеспечения надежности кластерных систем в непрерывной образовательной среде. Eurasian Education Science and Innovation Journal, 1(22), 15-19.
2. Ахмедов, Б. А. (2021). Динамическая идентификация надежности корпоративных вычислительных кластерных систем. Academic Research in Educational Sciences, 2(3), 495-499.
3. Ахмедов, Б. А. (2020). О развитии навыков интерактивных онлайн-курсов в дистанционных условиях современного общества (модель-программа для преподавателей образовательных учреждений). Universum: технические науки, 12-1 (81).
4. Akhmedov, B. A. (2021). Cluster methods for the development of thinking of
students of informatics. Academy, 3(66), 13-14.
5. Akhmedov, B. A. (2021). Innovative cluster model for improving the quality of education. Academic Research in Educational Sciences, 2(3), 528-534.
6. Akhmedov, B. A. (2021). Information technologies in Cluster systems: a competence approach. Universum: технические науки, 4 (85
7. Ахмедов, Б. А. (2020). Математические модели оценки характиристик качества и надежности программного обеспечения. Eurasian Education Science And Innovation Journal, 3(10), 97-100.
8. Akhmedov, B. A. (2021). Development of network shell for organization of processes of safe communication of data in pedagogical institutions. Scientific progress, 1(3), 113-117.
