Научная статья на тему 'Балльно-рейтинговая система современного университета: много(не)однозначность "точных цифр" оценивания знаний студентов'

Балльно-рейтинговая система современного университета: много(не)однозначность "точных цифр" оценивания знаний студентов Текст научной статьи по специальности «Науки об образовании»

CC BY
73
6
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
БАЛЛЬНО-РЕЙТИНГОВАЯ СИСТЕМА / КОМПЕТЕНТНОСТЬ / ОЦЕНИВАНИЕ / АКАДЕМИЧЕСКАЯ УСПЕВАЕМОСТЬ / ВЫСШАЯ ШКОЛА

Аннотация научной статьи по наукам об образовании, автор научной работы — Александров А.А.

В работе исследуются методологические проблемы создания балльно-рейтинговой системы оценивания знаний в рамках университета. Показаны достоинства и недостатки различных вариантов системы балльно-рейтинговой системы. Выявлены характеристики данной системы, общие походы к ее формированию, учитывающие интересы как высшего учебного заведения, так и студентов. В результате работы показано, что ключевым инструментом создания балльно-рейтинговой системы является формализация процедуры оценки, которая позволяет в значительной степени избежать негативных аспектов субъективности оценивания.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Балльно-рейтинговая система современного университета: много(не)однозначность "точных цифр" оценивания знаний студентов»

Балльно-рейтинговая система современного университета: много(не)однозначность «точных цифр» оценивания знаний студентов

Александров Алексей Анатольевич

доцент, кандидат исторических наук, проректор по учебной и научной работе, Московский городской университет управления Правительства Москвы, AleksandrovAA1@edu.mos.ru

В работе исследуются методологические проблемы создания балльно-рейтинговой системы оценивания знаний в рамках университета. Показаны достоинства и недостатки различных вариантов системы балльно-рейтинговой системы. Выявлены характеристики данной системы, общие походы к ее формированию, учитывающие интересы как высшего учебного заведения, так и студентов. В результате работы показано, что ключевым инструментом создания балльно-рейтинговой системы является формализация процедуры оценки, которая позволяет в значительной степени избежать негативных аспектов субъективности оценивания.

Ключевые слова: балльно-рейтинговая система, компетентность, оценивание, академическая успеваемость, высшая школа

Оценка степени и уровня освоения студентами образовательной программы - важнейший вопрос для современного университета. От эффективного его решения зависит готовность молодёжи к ответственной практической деятельности. Оценки - условие официального признания выпускников вуза профессионалами, а значит допуска новых поколений к высококвалифицированному труду, от результатов которого зависит слишком многое в условиях современной высокотехнологичной экономики. Речь идёт об одном из факторов работы университетов, влияющих на готовность профессиональных сообществ России к выполнению задач устойчивого развития, достойной конкуренции на мировом экономическом рынке.

Объективная и справедливая оценка работы студентов значима для личностного и гражданского становления человека. Отметим нравственный, социально-психологический аспект темы. Честная оценка важна для усиления индивидуальных «общекультурных компетенций», если использовать формулировки федеральных государственных образовательных стандартов высшего образования, не меньше, чем для общепрофессиональных и профессиональных компетенций выпускников. Количественные и качественные показатели труда - индикатор не только сильных сторон, но и зон роста, ориентир для саморазвития.

Оценка преподавателем студента важна для рабочей атмосферы в учебной группе, университете в целом, психологического климата вуза, которые в той или иной мере воспроизводится выпускниками в их повседневном взаимодействии с сотрудниками и деловыми партнёрами.

Оценивание работы студенчества - актуальная научная проблема педагогики высшей школы, изучение которой связано со стремительными общественными изменениями, воздействием циф-ровизации на все сферы деятельности человека, в том числе на социальными коммуникациями.

В российском высшем образовании широкое распространение получает балльно-рейтинговая система оценивания знаний студентов (далее -БРС), которая имеет давнюю историю становления как в нашей стране, так и за рубежом, но повседневной реальностью в отечественных вузах стала за последние двадцать пять лет.

Цель статьи - предложить для обсуждения характеристику практических аспектов применения БРС в современных российских университетах.

В научной периодике высшей школы идёт активная дискуссия о позитивном и негативном эф-

о О го -о т

т

т х х О т

П

т Д А

х т о т; О т

О сл

А

ы О

го А

X

^

т

фекте БРС1. Основой эмпирической базы служит практическая педагогическая работа автора с 1995 г. последовательно в трёх вузах, активно применявших различные формы и элементы БРС: Российском государственном гуманитарном университете, МГИМО (Университете) МИД России, Московском городском университете управления Правительства Москвы (МГУУ).

БРС МГУУ основано на стобалльной шкале, предусматривающей подсчет баллов, полученных студентом в процессе выполнения всех видов учебной работы (в том числе самостоятельной работы, экзаменов). Оценки выставляются определённое число раз в семестр (в МГУУ, например, пять) в семестр. Итоговая оценка (определяемая путём перевода в традиционную пятибалльную систему по понятному всем алгоритму) по дисциплине складывается из суммы баллов, полученных студентом в течение семестра и на зачёте (экзамене).

В некоторых вузов определённой суммы баллов, полученных в течение семестра достаточно, чтобы получить итоговый результат без сдачи экзамена или зачёта как самостоятельной процедуры. Подобный подход исключает необходимый, на наш взгляд, этап аттестации - обобщение материалов семестра, всей совокупности проделанных работ, систематизации информации. Сама по себе процедура экзамена или семинара важна как особый этап интеллектуальной работы, подведения итога учебной деятельности отличного от того, что проверяется текущим контролем. Причём важна она и для студентов, которые показывают отличные результаты. Именно тем, кто активно работал в семестре, нужно не упустить возможность систематизировать все материалы и обобщить их. Иначе может возникнуть иллюзия, что лекций, семинаров, самостоятельной работы для подготовки к текущему контролю достаточно для того, чтобы освоить программу конкретной дисциплины.

Важно подчеркнуть, что какой бы низкий балл студент не получил за работу в семестре нет никаких оснований не допускать его к экзамену и зачёту. Но ответ на экзамене или зачёте (традиционный устный ответ на 2-3 вопроса) нельзя

о

с ^

00

0 сч

<0

01

1 Белова С.Н. Балльно-рейтинговая система оценки качества подготовки студентов как элемент системы менеджмента качества образовательного процесса в вузе // Сибирский педагогический журнал. 2008. № 2. С. 70-81; Бугрова О.Л., Мотова Л.Л. Балльно-рейтинговая система оценки успеваемости студентов: предложения к размышлению // Седьмые Азаровские чтения. Библиотека в информационной среде региона: стратегии формирования и поддержки материалы Всероссийской научно-практической конференции. Самара: Самарская государственная академия культуры и искусств. 2011. С. 24-33; Соколова М.А. Балльно-рейтинговая система: слепое следование западным стандартам или эффективная система оценки знаний студента? // Вестник Нижегородской правовой академии. 2017. № 13 (13). С. 75-77. Чистякова С.Л. Международная балльно-рейтинговая система в действии // Перспективы, организационные формы и эффективность развития сотрудничества российских и зарубежных вузов III Ежегодная международная научно-практическая конференция. Технологический университет. 2015. С. 333-336.

формально приравнивать к подлинному результату освоения учебной дисциплины. Оценка компетенций, знаний, умений и навыков возможна только с помощью всей совокупности учебных работ, предусмотренных программой.

Принципы и процедуры текущего контроля, промежуточной и итоговой аттестации регулируется нормами права2. На их основании формируются правила университетов. Академическая свобода предполагает возможность кафедр и преподавателей применять авторские подходы в системе оценивания труда студентов при соблюдении обязательных положений нормативных правовых и вузовских актов.

Преподаватель применяет авторскую методику работы со студентами. Она определяется многими факторами, например:

способностью преподавателя использовать научные достижения его отрасли знания и педагогики;

техническими возможностями электронной информационно-образовательной среды вуза;

университетской традицией, в которой сформировался преподаватель как педагог высшей школы и учёный;

социально-психологическими характеристиками самого преподавателя, студентов;

социальными реальностями, мотивацией и целями всех участников отношений в сфере образования.

Одна из важных задач университета - создание единой общей БРС при возможности простого применения авторских уникальных методов работы преподавателя. Это означает, что минимальные правила (критерии и частотность оценки, сроки, процедура подсчёта и оформления, доступность информации) должны соблюдаться всеми профессорами и преподавателями. При этом конкретные виды оцениваемых работ (решение задач и кейсов, письменный или устный анализ научной литературы, участие в деловой игре, ответы на вопросы на семинаре, защита проекта и проч.) фактически определяется кафедрами в авторских рабочих программах учебных дисциплин. Преподаватель свободен как профессионал в своём творческом процессе совместной работы со студентами. При этом важно помнить, что его решения и решения кафедры непосредственно влияют на права и законные интересы студентов, их семей, работодателей, заказчиков по договорам об обучении при платном обучении, казны при бюджетном финансировании вуза. Именно поэтому важна эффективная, разумная и добросовестная формализация процедуры оценки, которая позво-

2 Ст. 58-59 Федерального закона от 29.12.2012 № 273-Ф3 (ред. от 03.08.2018) "Об образовании в Российской Федерации"; приказ Минобрнауки России от 29.06.2015 № 636 (ред. от 28.04.2016) "Об утверждении Порядка проведения государственной итоговой аттестации по образовательным программам высшего образования - программам бакалавриата, программам специалитета и программам магистратуры"; федеральные государственные образовательные стандарты высшего образования.

ляет в значительной степени избежать негативных аспектов субъективности оценивания. БРС должна быть понятна всем, чтобы обеспечить эффективное взаимодействие всего университетского сообщества.

Дружественность, если использовать термин, часто применяемый к компьютерным программам, интуитивное понимание системы, простота определения результата исключительно важны. Ведь БРС предназначена для оценки труда ещё не очень опытных молодых людей, первокурсников, применяется в потенциально стрессовой ситуации аттестации. Зачастую БРС предназначено для студентов, не имеющих склонности к математическим подсчётам («гуманитариям»). Именно поэтому следует избегать более сложные алгоритмы подсчёта баллов чем простое суммирование. Несомненный положительный эффект сложных алгоритмов (например, введение коэффициента каждого отдельного задания, перевод первичных баллов в итоговые с использованием математических формул, «блокирующие» оценки) сводится на нет кажущейся их непрозрачностью и психологическим эффектом «неожиданности» итогового результата. БРС - тот самый случай, когда действует гармония простоты. Сумма баллов понятна, проста и именно поэтому её достаточно для подсчёта итоговой оценки.

Наиболее эффективна БРС, которая позволяет гармонично совместить текущий контроль выполнения программы с промежуточной аттестацией. Если максимальная оценка по учебной дисциплине 100 баллов, то число баллов набранных в течение семестра (учебного модуля) может достигать 50. Именно мотивация студента на работу в семестре - одна из задач БРС.

Экзамены и зачёты в большинстве случаев служат одномоментной констатацией уровня знаний, умений, навыков и компетенций студента. Несмотря на известные исключения3 это сравнительно быстрая проверка знаний на конкретный момент времени.

К сожалению, в прошлом в ряде вузов процедура проведения зачётов и экзаменов вызывал обоснованные упрёки в поверхностности и даже профанации. Чуть ли не двадцать студентов могли получить отличную оценку в течение 60 минут экзаменационного времени. Не меньше вреда приносил пресловутый вопрос «кто знает на тройку?» и радостное получение удовлетворительной оценки неподготовленными учащимися. Благодаря потере авторитета подобные «экзаменаторы» практически вывелись из университетского мира. Сказалась и девальвация дипломов подобных вузов, падение набора в них. Несомненную положительную роль сыграла принципиальная позиция Рособрнадзора.

Резонный вопрос - а разве БРС - панацея от халтуры и профанации? Вспоминается услышан-

3 Защита на экзамене проекта, многочасовая беседа с про-

фессором-энтузиастам по всем без исключения вопросам учебной программы и проч.

ная несколько лет назад от опытного профессора фраза: «есть вузы, в которых студенты делают вид, что учатся, а профессора - что учат». Может ли БРС противостоять кризису, если он разъедает университет как социальный институт? Ответ очевиден.

Очевидно, БРС - лишь организационный механизм оценивания. Он может быть сфальсифицирован как и любая система, процедура, как подделан любой, даже самый защищённый документ, электронный ресурс. Равнодушие рождает только равнодушие, если оно распространено в университетской среде, то никакие электронные системы не помогут.

Достоинство БРС в том, что при наличии реального желания всех участников вузовского процесса очевиден фактически в режиме реального времени результат процесса обучения. Понятно, что «король голый» становится не на заседании ГАК, а в первом же семестре обучения. Оперативность оценивания - несомненное достоинство БРС. Заинтересованные студенты понимают, что необходимо нарастить усилия, тогда, когда ещё возможно улучшить итоговую оценку (точнее было бы сказать: когда ещё есть время для полноценного освоения программы).

Кроме того, БРС возможна сегодня только в электронном виде. Это позволяет сделать прозрачным процесс не только проставления оценки, но и её формирования, что даёт положительный педагогический результат. Очевидны лидеры и аутсайдеры, прогнозируемы итоговые результаты. Оценка, а точнее - сам процесс её формирования, доступны - с соблюдением всех требований законодательства - всей группе, всем заинтересованным лицам.

Своевременность оценки, информирование о ней студента, предотвращение возникновения академической задолженности при способности студента к обучению - вот одно из главных следствий БРС.

Несомненным плюсом является понятное студенту, преподавателям, администрации вуза, всем заинтересованным лицам соотношение итоговой оценки по дисциплине с процессом работы в течение определённого периода обучения. От оценки за определённый «момент» времени осуществляется переход к оцениванию продолжительного периода времени (семестра, модуля).

Университеты призваны способствовать у студентов развитию навыков планомерной и систематической работы, тайм-менеджмента. Ведь настоящий профессионал - стайер, дистанция которого определяется продолжительностью профессиональной жизни. Деловая репутация нарабатывается годами, а не в результате получасового ответа на экзамене или собеседовании. Выпускник должен уметь управлять собою, планировать свой труд на полгода, год, большие сроки. Он должен уметь работать в команде, взаимодействовать с руководителем (учебная группа -зачастую первый профессиональный коллектив для студента).

о О го -о т

т

т х х О т

П

т

Д А

х т о т; О

т О

сл

А

ы О

го А

X

^

т

Преподавателю важно продуманно определить даты фиксации оценок в течение семестра и строго соблюдать сроки проставления оценок. Отношение преподавателя к самому процессу обучения, в том числе и к объективной оценки учебной работы, несомненно сообщается студентам, в известной степени предопределяет их отношение к профессиональному труду.

БРС влияет на мотивацию к активной аудиторной работе, также как и к самостоятельной подготовке к занятиям. Именно поэтому следует отказаться от проставления каких-либо баллов за сам факт присутствия на лекции, семинаре или практикуме. Студент должен посещать занятия не потому, что это важно с точки зрения дисциплинарной, а потому, что только на очном занятии осуществляется определённая образовательной программой совместная работа преподавателя и студентов. Именно результат работы оценивается БРС, а не факт явки на занятия. В этом контексте следует рассматривать оценку и всех видов контактной работы в университете4.

Балл за работу на соответствующей контрольной временной точке - это не столько балл за «контрольную работу». Данный балл показывает оценку преподавателем качества выполнения определённого процента учебной программы. Приведём пример. Каждая из полученных студентом за семестр пяти оценок отмечает уровень освоения двадцати процентов программы. Именно поэтому важна строгая периодичность определения результатов аудиторной и самостоятельной работы, решения задач, тренингов, тестирований, подготовки презентаций, докладов и сообщений, проектов, устных и письменных работ.

БРС помогает наладить в университете эффективный мониторинг качества освоения дисциплины тысячами студентами. Этому способствует соответствующая настройка электронной информационно-образовательной среды вуза, которая показывает данные отстающих студентов в течение первых недель обучения, а не через месяцы после завершения сессии. В целом БРС - следствие массового высшего образования и цифровизации общества. Как и со всяким процессом, затрагивающим фактически неограниченный круг лиц, важно учитывать, что подлинное образование всегда не только систематично, но индивидуально. Звукозапись достигла фантастического уровня, но некто не отменяет «живых» концертов музыкантов, как и не закрывает театров из-за наличия качественного кинематографа. Живое общение профессуры и студенчества -условие существования современного университета - так же как и применение новейших электронных ресурсов, видеокурсов.

БРС как система неоднократного и равномерного контроля работы студента в течение семест--

с

4 П. 28 Порядка организации и осуществления образователь-°о ной деятельности по образовательным программам высшего о образования - программам бакалавриата, программам специ-алитета, программам магистратуры. Утвержден приказом Ми-'§1 нистерства образования и науки Российской Федерации от 5 2 апреля 2017 г. № 301.

ра делает очевидным, что отдельной дисциплиной может считаться только курс, который включает необходимое и достаточное число аудиторной и иной контактной работы.

Стобалльная система позволяет более качественно соотносить достижения студентов, точнее показывать выдающиеся и отличные результаты. Именно поэтому БРС система является рейтинговой. Она позволяет назначать целый ряд дополнительных стипендий действительно достойным учащимся, точнее ориентирует работодателей.

И именно с рейтинговой составляющей связана, пожалуй, главная опасность абсолютизации БРС. Пословица говорит, что яд отличается от лекарства только концентрацией. Непродуманное внедрение БРС среди амбициозных студентов провоцирует «борьбу за балл», нездоровую конкуренцию, которая мало имеет отношения к настоящей науке и образованию. Студенты попавшие «вниз списка» могут испытать стресс, который приведёт не только выходу из зоны комфорта, но может подорвать человека веры в себя. Педагогика и психология знает сложности «рей-тингования» для различных типов личности. БРС как и вся система оценивания требует исключительного внимания преподавателя.

Как уже отмечалось в литературе, одна из проблема БРС - проблема соотношения баллов за работу в семестре и на экзамене. Студент, получивший мало баллов за работу в семестре, теряет шансы получить хорошую итоговую оценку - фактически он теряет мотивацию к отличному ответу на экзамене5. Думается, что польза БРС носит долговременный характер как для отдельного студента, так и для всего вуза. Во-первых, в будущем такой студент будет сразу нацелен на качественную работу, во-вторых, если баллов за семестр маловато, то только отличный ответ на экзамене предотвратит получение итоговой двойки.

Процесс внедрения БРС - исключительно сложный процесс. Важно предусмотреть такие детали как:

процедуру и сроки выполнения заданий студентами, которые пропустили срок сдачи по уважительной причине,

расчёт понятных и простых в использовании таблиц баллов текущего контроля, зачёта и успеваемости с тем, чтобы соблюдена была логика образовательного процесса.

Итак, БРС может способствовать: формированию у студентов мотивации к систематической и плановой работе, своевременной оценке знаний, пониманию всеми критериев выставления оценок,

мониторингу качества освоения дисциплины, получению объективных данных для стимулирования студентов.

5 Оськин С.А. Система кредитных единиц и балльно -рейтинговая система оценки знаний студентов в современном вузе // Материалы научно-методической конференции СевероЗападного института управления. 2010. № 1. С. 185-186.

БРС - только один из элементов сложного механизма управления, который необходим современному университету. Накопленный российской высшей школой опыт применения данной системы заслуживает дальнейшего изучения и профессионального обсуждения.

Литература

1. Федеральный закон от 29.12.2012 № 273-Ф3 (ред. от 03.08.2018) "Об образовании в Российской Федерации".

2. Приказ Минобрнауки России от 29.06.2015 № 636 (ред. от 28.04.2016) "Об утверждении Порядка проведения государственной итоговой аттестации по образовательным программам высшего образования - программам бакалавриата, программам специалитета и программам магистратуры"; федеральные государственные образовательные стандарты высшего образования.

3. Порядок организации и осуществления образовательной деятельности по образовательным программам высшего образования - программам бакалавриата, программам специалитета, программам магистратуры. Утв. приказом Министерства образования и науки Российской Федерации от 5 апреля 2017 г. № 301

4. Белова С.Н. Балльно-рейтинговая система оценки качества подготовки студентов как элемент системы менеджмента качества образовательного процесса в вузе // Сибирский педагогический журнал. 2008. № 2. С. 70-81.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

5. Бугрова О.Л., Мотова Л.Л. Балльно-рейтинговая система оценки успеваемости студентов: предложения к размышлению // Седьмые Азаровские чтения. Библиотека в информационной среде региона: стратегии формирования и поддержки материалы Всероссийской научно-практической конференции. Самара: Самарская государственная академия культуры и искусств. 2011. С. 24-33.

6. Оськин С.А. Система кредитных единиц и балльно -рейтинговая система оценки знаний студентов в современном вузе // Материалы научно-методической конференции Северо-Западного института управления. 2010. № 1. С. 179-186.

7. Соколова М.А. Балльно-рейтинговая система: слепое следование западным стандартам или эффективная система оценки знаний студента? // Вестник Нижегородской правовой академии. 2017. № 13 (13). С. 75-77.

8. Чистякова С.Л. Международная балльно-рейтинговая система в действии // Перспективы, организационные формы и эффективность развития сотрудничества российских и зарубежных вузов III Ежегодная международная научно-практическая конференция. Технологический университет. 2015. С. 333-336.

9. Перцев В. Гимназическое образование в России: из уроков истории // Alma mater (Вестник высшей школы). 2006. № 5. С. 55.

10. Борченко И.Д. Проблема конвергенции и преобразования в образовании // В сборнике: Проблемы культурного образования. Материалы

V всероссийской заочной научно-практической конференции / Под ред. В.М. Кузнецова, С.Н. Трошкова. 2015. С. 18-19.

11. Сысоева Е.В. Моделирование системы управления при взаимодействии субъектов образовательного процесса // Педагогический журнал. 2017. Т. 7. № 1A. С. 57-68.

12. Попова Е.В. Роль Российской академии наук в национальной инновационной системе // Инновации. 2008. № 1. С. 3-10.

Modern university score-rating system: polysemy and unambiguity of «exact numbers» of students' knowledge assessment Aleksandrov A.A.

Moscow Metropolitan Governance University The paper examines the methodological problems of score-rating system creating a for assessing knowledge within the university. The advantages and disadvantages of various options for a point-rating system are shown. The characteristics of this system, general approaches to its formation, considering the interests of both higher education institution and students, are revealed. As a result of the work, it is shown that a key tool for creating a score-rating system is the formalization of the assessment procedure, which allows one to a large degree avoid the negative aspects of the subjectivity of assessment. Keywords: score-rating system, competence, assessment,

academic performance, higher education References

1. Federal Law of December 29, 2012 No. 273-FZ (as amended on

03.08.2018) "On Education in the Russian Federation".

2. Order of the Ministry of Education and Science of Russia No.

636 dated June 29, 2015 (as amended on April 28, 2016) "On approval of the procedure for conducting state final certification for higher education educational programs - undergraduate programs, specialty programs and graduate programs"; federal state educational standards of higher education.

3. The order of organization and implementation of educational

activities in educational programs of higher education -undergraduate programs, specialty programs, graduate programs. Approved by order of the Ministry of Education and Science of the Russian Federation of April 5, 2017 No. 301

4. Belova S.N. Point-rating system for assessing the quality of students' training as an element of the quality management system of the educational process in a higher school // Siberian Pedagogical Journal. 2008. No. 2. P. 70-81.

5. Bugrova OL, Motova L.L. Point-rating system for assessing student performance: proposals for reflection // Seventh Azarovskie reading. Library in the information environment of the region: the strategy of forming and supporting materials of the All-Russian scientific-practical conference. Samara: Samara State Academy of Culture and Arts. 2011. p. 24-33.

6. Oskin S.A. The system of credit units and score-rating system

for assessing the knowledge of students in a modern university // Proceedings of the scientific and methodological conference of the North-West Institute of Management. 2010. No. 1. P. 179-186.

7. Sokolova M.A. Point-rating system: blind adherence to Western

standards or an effective system for assessing student knowledge? // Bulletin of the Nizhny Novgorod Law Academy. 2017. № 13 (13). Pp. 75-77.

8. Chistyakova S.L. International point-rating system in action //

Prospects, organizational forms and the effectiveness of the development of cooperation between Russian and foreign universities III Annual International Scientific and Practical Conference. University of Technology. 2015. p. 333-336.

9. Pertsev V. Gymnasium education in Russia: from the lessons of

history // Alma mater (Bulletin of higher education). 2006. No. 5. P. 55.

10. Borchenko I.D. The problem of convergence and transformation in education // In the collection: Problems of cultural education. Materials of the V All-Russian Extramural Scientific and Practical Conference / Ed. V.M. Kuznetsova, S.N. Troshkova. 2015.S. 18-19.

11. Sysoeva E.V. Modeling the control system in the interaction of subjects of the educational process // Pedagogical journal. 2017.V. 7. No. 1A. S. 57-68.

12. Popova E.V. The role of the Russian Academy of Sciences in the national innovation system // Innovations. 2008. No. 1. S. 3-10.

О О го -о m

m

m

X X О m

П

m

Д А

m о т; О

m О

m

-o

А

u О

го А

X

s m

i Надоели баннеры? Вы всегда можете отключить рекламу.