CC BY
17
Перспективы Науки и Образования
Международный электронный научный журнал ISSN 2307-2334 (Онлайн)
Адрес выпуска: pnojournal.wordpress.com/archive19/19-04/ Дата публикации: 31.08.2019 УДК 37.013
М. В. Слепцова
Выбор экспертов для проведения педагогической экспертизы в Е-!еаттд
Переход от «классических» форм организации образовательного процесса к Е-!еаттд, приводит к существенным изменениям места и роли всех участников образовательного процесса. Место педагога - источника знаний - занимают тьюторы, техническую базу образовательного процесса обеспечивают 1Т-специалисты, методическую работу выполняют специалисты в области построения индивидуальных образовательных траекторий. Значительно изменяется цель организации педагогической экспертизы в Е-!еаттд. Если в «классических» формах организации образовательного процесса педагогическая экспертиза направлена на оценку достижений студента, то в Е-!еаттд основной задачей педагогической экспертизы становится уточнение и дальнейшая формализация его индивидуальной образовательной цели исходя из личных предпочтений, а также перспектив развития выбранной им сферы человеческой деятельности, технологий и общества, рынка труда. Соответственно, изменяются требования к специалистам-экспертам, привлекаемым для проведения педагогической экспертизы, что, в свою очередь, приводит к изменениям методов отбора специалистов-экспертов. На основе проведенного эксперимента по адаптации метода «Снежного кома» для отбора специалистов-экспертов и формирования экспертных групп для проведения педагогической экспертизы в Е-!еаттд, предложены изменения с целью его реализации в новых условиях. Приводятся данные об эффективности метода в зависимости от первоначального выбора кандидата в специалисты-эксперты. Делается вывод о необходимости первоначального отбора кандидатов в специалисты-эксперты из непосредственного окружения, социальной среды студента, а также привлечения в качестве экспертов тьюторов, преподавателей, организаторов образовательного процесса. Полученные результаты сравниваются с результатами аналогичных исследований, опубликованных в отечественной и мировой научной литературе.
Ключевые слова: Е-!еаттд, педагогическая экспертиза, метод «Снежного кома», специалист-эксперт, экспертная группа, индивидуальная образовательная цель, социальная среда
Ссылка для цитирования:
Слепцова М. В. Выбор экспертов для проведения педагогической экспертизы в Е-!еаттд // Перспективы науки и образования. 2019. № 4 (40). С. 473-483. сЬк 10.32744/р$е.2019.4.36
Perspectives of Science & Education
International Scientific Electronic Journal ISSN 2307-2334 (Online)
Available: psejournal.wordpress.com/archive19/19-04/ Accepted: 17 June 2019 Published: 31 August 2019
M. V. SLEPTSOVA
Selection of experts for pedagogical expertise in E-learning
The transition from the «classical» forms of organization of the educational process to E-learning, leads to significant changes in the place and role of all participants in the educational process. The place of the teacher - the source of knowledge - is occupied by Tutors, the technical base of the educational process is provided by IT-specialists, methodical work is performed by specialists in the field of building individual educational trajectories. Significantly changes the purpose of the organization of pedagogical expertise in E-learning. If in the «classical» forms of organization of the educational process, pedagogical expertise is aimed at assessing the achievements of the student, in E-learning the main task of pedagogical expertise is to clarify and further formalize its individual educational goals based on personal preferences, as well as prospects for the development of the chosen sphere of human activity, technology and society, the labor market. Accordingly, the requirements for experts involved in the pedagogical expertise are changing, which, in turn, leads to changes in the methods of selection of experts. On the basis of the experiment on the adaptation of the method of «snow-ball» for the selection of experts and the formation of expert groups for pedagogical expertise in E-learning, proposed changes in order to implement it in the new environment. The data on the effectiveness of the method depending on the initial choice of the candidate for experts are given. The conclusion is made about the need for initial selection of candidates for experts from the immediate environment, the social environment of the student, as well as the involvement of Tutors, teachers, organizers of the educational process as experts. The results are compared with the results of similar studies published in the national and world scientific literature.
Key words: E-learning, pedagogical expertise, Snowball method, expert, expert group, individual educational goal, social environment
For Reference:
Sleptsova, M. V. (2019). Selection of experts for pedagogical expertise in E-learning. Perspektivy nauki i obrazovania - Perspectives of Science and Education, 40 (4), 473-483. doi: 10.32744/ pse.2019.4.36
_Введение
ереход системы образования от классических форм организации образовательного процесса к электронному обучению (здесь и далее - E-learning), влечет значительные изменения места и роли субъектов в образовательном процессе: от преподавателя - источника знаний - к тьютору, от декана - к менеджеру образовательного процесса, от эксперта, привлекаемого для оценки соответствия текущего состояния образовательного процесса некоему стандарту - к специалисту-эксперту, помогающему формализовать индивидуальную образовательную цель студента, учесть прогноз развития рынка труда и перспективные уровни профессиональных компетенций, достижение которых студентом гарантирует востребованность молодого специалиста по окончании процесса обучения.
С изменением задач, соответственно, изменяются и подходы к отбору специалистов-экспертов из широкого круга кандидатов, а также методы формирования экспертных групп.
Известные на сегодняшний день методы отбора специалистов-экспертов и формирования экспертных групп, в основе которых лежат методы профессионального отбора, не в полной мере способны обеспечить получение качественного прогноза состояния рынка труда и, соответственно, постановки индивидуальных образовательных целей студентов, в силу присущих им особенностей, связанных, в том числе и со способами отбора экспертов.
Таким образом, разработка методов отбора специалистов-экспертов из широкого круга кандидатов, и формирования из них экспертных групп, с целью определения индивидуальных образовательных целей студентов на основе прогноза развития рынка труда, является актуальной педагогической проблемой.
Роль и место педагогической экспертизы, стоящие перед ней задачи, обусловленные специфическими особенностями E-learning, рассматриваются в работах Диденко А.В. [3], Дочкина С.А. [5], Сергеева А.Г. [6], Загвоздкиной М.В. [7], Касатеева П.А. [8], Кухаренко В.Н. [9], Рубина Ю. [13], Aparicio M. [21], Birzina R. [23], Gubanov D. [26].
В работах Денисовой А.Л. [2], Добренькова В.И. [4], Соколовского С.С. [19], Grundmann R. [25] показано, что основным моментом, влияющим на качество проводимой педагогической экспертизы является отбор экспертов и формирование экспертных групп. «Из всех вопросов, которые приходится решать в процессе экспертной оценки ..., главным является вопрос выбора экспертов» [19]. Методам отбора экспертов для проведения педагогической экспертизы из широкого круга кандидатов посвящены работы Воеводиной Е.И. [1], Мельник П.Б. [11], Ярошенко Н.Н. [20], Kurz-Milcke Е. [27] в которых рассматриваются методы «Объективной оценки компетентности», «Метод списков» или взаимного оценивания экспертов, метод «Снежного кома», апостериорные методы и ряд других.
Однако, на сегодняшний день ни один из предлагаемых исследователями методов отбора экспертов и организации экспертных групп не может быть применен в E-learning. Связано такое положение дел с тем, что в большинстве работ задача отбора специалистов-экспертов для проведения педагогической экспертизы в E-learning рассматривается исследователями как частный случай теории профессионального отбора [10; 16]. В этом случае эксперт, как «внешний» так и «внутренний», или группа
экспертов отбирается без учета мнения объекта проведения экспертизы. Если в иных отраслях человеческой деятельности это нормально, то для педагогики вопрос доверия учащегося эксперту и, соответственно, формирование потребности следовать его рекомендациям, является фундаментальным фактором эффективности организации образовательного процесса. При организации Е-1еагп^ «особая роль отводится работе механизма самоорганизации, а именно, способности к целеполаганию, прогнозированию, планированию и т. д. Как показывает практика, полная самостоятельность, приводящая к положительному исходу, достигается только при наличии осознанной потребности личностного самосовершенствования, развитого логического мышления, умений адекватно оценивать свои внутренние силы и полученные результаты» [22].
Кроме того, ни один из указанных методов не может быть применен к задаче педагогической экспертизы в Е-1еагп^ - создание формализованного описания индивидуальной образовательной цели студента [28-31].
Поэтому вопрос формирования экспертной группы ... является не только вопросом профессионального отбора, сколько вопросом создания команды единомышленников, способных пусть с большей погрешностью, но консолидировано, поставить индивидуальную образовательную цель Е-1еагп^ для студента [15].
Таким образом, имеет место противоречие между необходимостью отбора специалистов-экспертов для организации педагогической экспертизы в Е-1еагп^ и отсутствием апробированного метода отбора экспертов из широкого круга кандидатов, обеспечивающего высокую эффективность организации образовательного процесса.
_Материалы и методы
Целью проводимого нами в 2014-2018 годах в Воронежском государственном педагогическом университете исследования явилась разработка и адаптация известных методов отбора специалистов-экспертов для организации педагогической экспертизы в Е-1еагп^.
Контингент исследования составили более 3 612 студентов первых курсов образовательных учреждений г. Воронежа. Из них студентов первого курса Воронежского государственного педагогического университета 2076 человек, Воронежского государственного университета 446 человек, Воронежского опорного технического университета 472 человека, Воронежский институт МВД России - 228, Воронежского государственного медицинского института - 218, иных образовательных организаций г. Воронежа - 172 человека.
Каждому студенту было предложено формализовать индивидуальную образовательную цель путем привлечения специалистов-экспертов и создания соответствующей экспертной группы. От студента требовалось описание индивидуальной образовательной цели в произвольной форме как описание профессиональной ситуации, в которой он проявит себя как компетентный специалист по окончании процесса обучения. Затем предлагалось выбрать 1 человека - эксперта, способного, с точки зрения студента, создать экспертную группу, перед которой ставилась задача формализовать описание индивидуальной образовательной цели студента путем выделения 6 наиболее востребованных в описываемой студентом ситуации компетенций и уровней их развития на количественной шкале, при наличии у студента которых можно считать индивидуальную образовательную цель достигнутой.
Формирование экспертной группы осуществлялось методом «Снежного кома».
Суть метода состоит в том, что на первом этапе студент произвольно выбирает одного из, по его мнению, несомненных специалистов-экспертов, способных помочь ему в формализации его индивидуальной образовательной цели. Выбранный студентом эксперт понимается в этом случае как лицо принимающее решение (ЛПР). На второй итерации выбранного студентом специалиста-эксперта просят назвать 3 фамилии людей, которые, также, по его мнению, являются специалистами-экспертами, необходимыми для проведения педагогической экспертизы. На следующем этапе задача поиска новых специалистов-экспертов, передается вновь привлеченным лицам и так до той поры, пока среди названных не перестанут появляться новые фамилии. Тогда считаем, что все специалисты-эксперты, действительно необходимые для проведения педагогической экспертизы, найдены, и есть возможность перейти непосредственно к извлечению экспертных знаний.
Извлечение экспертных знаний нами проводилось в форме анкетирования. Согласование экспертных мнений проводилось путем прямого ранжирования упоминаемых специалистами-экспертами компетенций и соотносимых с ними количественных шкал. С целью упрощения обработки экспертной информации и получения квадратных матриц количественных значений компетенций, размерность матриц принималась равной количеству экспертов в экспертной группе.
Успешность выбора экспертов и проведения педагогической экспертизы оценивалось как уровень согласия студентов с результатами педагогической экспертизы непосредственно после получения результатов. По истечении 1 года проводился опрос студентов о том, насколько рекомендации специалистов-экспертов используются ими в процессе получения образования. Цель эксперимента считалась достигнутой, если студент использовал рекомендации специалистов-экспертов и был с ними согласен.
_Результаты исследования
Выявлено, что из общего количества принимавших участие в работе студентов первых курсов, только 4,4% смогли достаточно полно и точно, до уровня, пригодного для формализации, описать свою индивидуальную образовательную цель. Наилучшие показатели здесь у студентов образовательных организаций системы органов внутренних дел, министерства обороны, для которых доля студентов 1 курса, достигала 8,9% от общего числа студентов 1 курса. Довольно высокие показатели отмечаются у студентов 1 курса инженерных специальностей всех образовательных учреждений высшего профессионального образования - до 8,1% от общего числа студентов 1 курса. Наихудшие результаты показывают студенты, поступившие на гуманитарные направления, в том числе и в будущие педагоги - студенты 1 курса Воронежского государственного педагогического университета. Доля студентов 1 курса среди них, способных самостоятельно сформулировать индивидуальную образовательную цель, за все годы исследований не превышала 2,1%.
Особенно важно, что в указанном исследовании, студентов 1 курса спрашивали об индивидуальной образовательной цели применительно к текущему времени. Учитывая, что обучение длится не один год, правильнее ставить не текущие, а перспективные индивидуальные образовательные цели, достижение которых студентом обеспечит его востребованность на рынке труда по окончании обучения. Количество
студентов 1 курса, способных сформулировать перспективную индивидуальную образовательную цель, стремится к нулю и не превысило статистическую погрешность обработки данных.
Основным этапом, существенно влияющим на результаты отбора экспертов, является выбор первого эксперта. Здесь нами в классическую процедуру были внесены ряд изменений, обусловленных следующими соображениями.
1. Студентам, как и людям вообще, проще мыслить образами. Если «количественное» и даже «качественное» описание индивидуальной образовательной цели студента вызывает у него большие сложности, то образ, к которому он стремиться, на кого хочет походить в своей дальнейшей деятельности, представляется исследователям моментально. Поэтому в качестве первого кандидата в специалисты-эксперты было предложено выбирать человека из близкой студенту социальной среды - его непосредственного круга общения.
2. Ограничили число итераций при выборе специалистов-экспертов количеством 20. Если до 20 итерации не удавалось сформировать экспертную группу, то мы считали эксперимент неудачным и предлагали студенту выбрать иного человека в качестве первого кандидата в специалисты-эксперты. Это ограничение было связано с особенностями метода «Снежного кома», позволяющего бесконечно расширять список кандидатов в специалисты-эксперты до тех пор, пока не будет упоминаться ни одной новой фамилии. Наши исследования ограничены временными рамками и доступными нам материальными средствами, поэтому мы были вынуждены ввести указанное ограничение. Следует отметить, что доля неудачных попыток формирования экспертной группы составляла не более 3,7% от общего количества попыток, что позволяет оценить данное ограничение как не повлиявшее существенно на полученные результаты.
Таким образом, каждый из студентов, участников эксперимента, определял одного из известных ему специалистов как первого кандидата в специалисты-эксперты и описывал ситуацию, образ, эталон, стремление к которому подвигло его на обучение в образовательном учреждении. Далее выбранный первым специалист-эксперт называл следующие фамилии специалистов, которые, по его мнению, способны формализовать образовательную цель студента. Каждый из вновь выбранных называл ещё несколько фамилии и так до того момента, когда новые фамилии не появлялись, либо срабатывало ограничение по количеству итераций.
В процессе проведения эксперимента среди первыми названных кандидатов в специалисты-эксперты можно выделить три основные группы: яркие образы, такие как Билл Гейтс, Стивен Джобс, Алексей Гордеев (на время проведения исследований - Губернатор Воронежской области) и прочие представители крупного бизнеса, политических партий, деятели культуры и искусства; люди из непосредственного окружения студента, его социальной среды, родственники, как правило, предприниматели или высококвалифицированные специалисты, обеспечивающие высокий уровень финансовой и социальной независимости; тьюторы, преподаватели образовательных учреждений, и иные специалисты в области образования. Первая группа кандидатов в специалисты-эксперты была выбрана в 14,2% случаев от общего количества проводимых экспериментов, вторая группа кандидатов в специалисты-эксперты была выбрана студентами в 54,2% случаев, на третью группу пришлось 31,6% случаев. Понятно, что привлечь к участию в эксперименте Стивена Джобс или Алексея Гордеева не представлялось возможным и студентами назывались иные кандидатуры до того момента,
пока кандидат не соглашался на участие в эксперименте. Во втором и третьем случае трудностей с привлечением кандидатов в специалисты-эксперты не зафиксировано.
Однако, наилучшие результаты были показаны в случае, когда в качестве первоначально в качестве специалиста-эксперта привлекают человека из непосредственно окружающей студента социальной среды. Если в первом случае процент согласия студента с мнениями привлекаемых специалистов-экспертов об индивидуальной образовательной цели составил не более 9,8%, то во втором случае итоговый результат превысил 71,6%, а в третьем - 64,8%.
Тьюторы, преподаватели и менеджеры образовательного процесса были выбраны студентами на первом этапе проведения педагогической экспертизы всего в 31,6% случаев, что говорит, на наш взгляд, о крайне низкой в глазах студентов оценке представителей образовательных учреждений как специалистов-экспертов. Но в то же время, процент согласия студента с мнениями привлекаемых специалистов-экспертов об индивидуальной образовательной цели для экспертных групп, в составе которых находился тьютор или менеджер образовательного процесса, составил 64,8%, что говорит о высоком уровне профессионализма среди преподавательского состава образовательных учреждений.
Полученные в ходе проведения эксперимента результаты в той или иной степени были использованы подавляющим большинством (более 91,6%) принимавших участие в исследованиях студентов. При этом в экспертных группах, формирование которых начиналось с выбора в качестве специалиста-эксперта публичных лиц, процент удовлетворенности результатом со стороны студентов составил от 27% до 33% и с течением времени имел тенденцию к снижению. В экспертных группах, формирование которых начиналось с привлечения специалиста-эксперта из непосредственно окружающей студента социальной среды, процент удовлетворенности результатом со стороны студентов составил от 67% до 83% и был относительно стабилен с течением времени. В экспертных группах, формирование которых начиналось с привлечения в качестве специалиста-эксперта тьютора, преподавателя и иных специалистов в области образования, процент удовлетворенности результатом со стороны студентов составил от 56% до 68% и также был относительно стабилен с течением времени.
Обобщенные данные представлены в табл. 1.
Таблица 1
Зависимость между выбором эксперта на 1 этапе педагогической экспертизы и достигнутыми образовательными результатами
Обобщенные группы экспертов Частота выбора на 1 этапе Доля студентов, выразивших согласие с результатами педагогической экспертизы по формализации индивидуальной образовательной цели Доля студентов, заявивших о достижении ими поставленной образовательной цели (по результатам процесса обучения в вузе)
Яркие образы 14,2% 9,8% 27% - 33%
Непосредственное окружение студента 54,2% 71,6% 67% - 83%
Тьюторы, преподаватели, специалисты в области образования 31,6% 64,8%. 56% - 68%
_Обсуждение результатов
В общем случае можно сказать, что предлагаемый метод отбора экспертов позволяет достичь поставленных целей: обеспечить отбор авторитетных для студента специалистов-экспертов из числа широкого круга кандидатов, способных помочь ему формализовать индивидуальную образовательную цель, обеспечив, тем самым, индивидуализацию образовательного процесса, связь его с прогнозом рынка труда, максимального удовлетворения образовательных потребностей студента. Наилучшие результаты достигаются, если на первом этапе педагогической экспертизы выбираются кандидаты в специалисты-эксперты из окружающей эксперта социальной среды или тьюторов, преподавателей соответствующего образовательного учреждения, т.е. когда образ, цель образовательного процесса для студента наглядна ему, близка и понятна. В общем случае можно утверждать, что чем ближе социальная среда студента и выбираемого им на первом этапе специалиста-эксперта, тем меньше общее количество привлекаемых к работе экспертов, выше совпадение мнений между ними, между обобщенным мнением экспертной группы и студентом относительно его индивидуальной образовательной цели. Но и в этом случае основной проблемой практической реализации предлагаемого метода в педагогических исследованиях является отсутствие ограничений на количество привлекаемых специалистов-экспертов [14]. По результатам проводимого исследования установлено, что включение в экспертную группу более 10 специалистов-экспертов, экспертная группа неизбежно распадается на несколько подгрупп, и, как следствие, возникает проблема согласования экспертных мнений не только между экспертной группой и студентом, но и внутри экспертной группы [17]. Аналогичные выводы сделаны Dorofeyuk А.А. [24], YagerJ. [32], Орловым А.И. [12] на основании проводимых исследований в теории управления, педагогике и психологии. Также следует отметить, что метод «Снежного кома» достаточно трудоемок и требует значительных временных затрат для его практической реализации. Основным направлением дальнейших исследований является алгоритмизация метода, что позволит автоматизировать процесс отбора экспертов, формирования экспертных групп, извлечения и обработки экспертных знаний для формализации индивидуальной образовательной цели студента в E-learning.
Заключение
Стремительное развитие «цифровой экономики», требует переориентации педагогической экспертизы с контрольной на прогнозную функцию. Соответственно, изменяются подходы к отбору специалистов-экспертов, привлекаемых для проведения педагогической экспертизы.
Известные методы профессионального отбора, применяемые для отбора специалистов-экспертов, не могут быть в полной мере применены к задаче педагогической экспертизы в E-learning - создание формализованного описания индивидуальной образовательной цели студента.
Эффективность проведения педагогической экспертизы и корректность получаемых результатов, в случае применения для выбора экспертов метода «Снежного кома», напрямую зависят от первого этапа - выбора первого эксперта или ЛПР.
Проводимые нами исследования показывают, то наиболее правильный подход в этом случае - привлечение в качестве ЛПР к педагогической экспертизе лиц из ближайшего социального окружения студента или специалиста в области образования.
В этом случае, существенно повышается точность формализованного описания образовательной цели студента, доля студентов, заявивших о достижении ими поставленной образовательной цели максимальна, что позволяет повысить эффективность образовательного процесса в Е-1еагп^.
ЛИТЕРАТУРА
1. Воеводина Е.И. Методы подбора и отбора участников экспертной группы // Электронный научный журнал. 2016. № 9 (12). С.341-344.
2. Денисова А.Л., Зайцев Е.В. Теория и практика экспертной оценки товаров и услуг: Учебное пособие. Тамбов: Изд-во Тамбовского государственного технического университета, 2002. 72 с.
3. Диденко А.В., Аксенова Н. В. Оценка эффективности внедрения e-learning // Профессиональное образование в России и за рубежом. 2015. №1 (17). С. 91-96.
4. Добреньков В.И., Кравченко А.И. Методы социологического исследования: Учебник. М.: ИНФРА-М, 2004. 768 с.
5. Дочкин С.А., Мичурина Е.С., Тупикина Г.Г. E-learning в вузовском обучении: особенности и сложность реализации // Вестник КемГУ. 2015. № 2-3 (62). С. 38-42.
6. Введение в электронное обучение: монография / А. Г. Сергеев, И. Е. Жигалов, В. В. Баландина; Владим. Гос. университет имени Александра Григорьевича и Николая Григорьевича Столетовых. Владимир: Изд-во ВлГУ, 2012. 182 с.
7. Загвоздкина М. В., Стымковский В.И. E-learning: новые задачи для преподавателя вуза // Высшее образование в России. 2015. № 7. С. 150-155.
8. Касатеев П. А. Применение систем обучения e-Learning в России: предпосылки и необходимость // Вестник СГТУ. 2012. №1. С. 226.
9. Кухаренко В. Н. Подготовка преподавателей университета к работе в среде e-Learning // Высшее образование в России. 2010. № 10. Р.126-131.
10. Киселева Е. В. Профессиональное экспертное сообщество в педагогической экспертизе: характеристики, требования, потенциал // Сибирский педагогический журнал. 2013. № 5. С.216-219.
11. Мельник П.Б. Методика формирования экспертных пулов и групп для проведения экспертно-аналитических исследований // Инноватика и экспертиза: научные труды. 2017. № 1(19). С.39-54.
12. Орлов А.И. Теория экспертных оценок в нашей стране // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2013. №93. С. 1-11.
13. Рубин Ю. Развитие системы внешнего образовательного аудита и его особенности в организации е-Learning // Высшее образование в России. 2008. № 11. С. 45-50.
14. Слепцова М.В. Определение оптимального числа экспертов для проведения экспертизы в области непрерывного педагогического образования // Известия Воронежского государственного педагогического университета. 2015. № 4(269). С. 21-23.
15. Слепцова М.В. Особенности формирования экспертной группы для оценивания достигнутых результатов обучения в области технологического образования // Современные исследования социальных проблем. 2015. № 4. С.56-75.
16. Слепцова М.В. Применение экспертных систем в процессе обучения учащихся учебному предмету «Технология» // Вестник Орловского государственного университета. Серия: новые гуманитарные исследования. 2014. № 2 (37). С. 79-83.
17. Слепцова М.В. Согласование экспертных мнений для математической модели учебного предмета «Технология» // Научное мнение. 2014. № 7. С. 320-326.
18. Слепцова М.В., Мелашенко Т.В. Особенности выбора экспертов для проведения педагогической экспертизы // Мир науки. 2015. № 1. С.5.
19. Соколовский С.С. Методы менеджмента качества. Квалиметрия: учебно-методическое пособие для студентов высших учебных заведений. Минск: БНТУ, 2008. 160 с.
20. Ярошенко Н.Н. Социально-культурная деятельность: Парадигмы, методология, теория: Монография. М.: МГУКИ, 2000. 204 с.
21. Aparicio M., Bacao F., Oliveira T. An e-Learning Theoretical Framework. Educational Technology & Society, 2016, 19 (1), 292-307.
22. Belova E. A. Specifics of use of electronic educational resources with elements of autodidactics for personal
development. Integratsiya obrazovaniya = Integration of Education. 2015, vol. 19, no. 4, pp. 117-126. DOI: 10.15507/1991-9468.081.019.201504.117
23. Birzina R., Fernate A., Luka I., Maslo I., Surikova S. E-learning as a Challenge for Widening of Opportunities for Improvement of Students' Generic Competences // E-Learning and Digital Media. Vol 9, Issue 2, pp. 130 - 142. doi: 10.2304/elea.2012.9.2.130
24. DorofeyukA.A., Pokrovskaya I. V., Chernyavkii A. L. Expert Methods to Analyze and Perfect Management Systems // Automation and Remote Control. 2004. Volume 65, Issue 10, pp 1675-1688. doi: 10.1023/B:AURC.000
25. Grundmann R. The Problem of Expertise in Knowledge Societies // Minerva. 2017. Volume 55. Issue 1. pp 25-48. doi: 10.1007/s11024-016-9308-7
26. Gubanov D., Korgin N., Novikov D., RaikovA. E-Expertise: Modern Collective Intelligence. Switzerland: Springer, 2014. 112 c. doi: 10.1007/978-3-319-06770-4
27. Kurz-Milcke E., Gigerenzer G. Experts in Science and Society. New York: Kluver academic publishers, 2004. 322c. doi: 10.1007/b105826
28. Lee, S., Barker, T., & Suresh Kumar, V. Effectiveness of a Learner-Directed Model for e-Learning. Educational Technology & Society, 2016, 19 (3), 221-233.
29. Noskova T.N., Pavlova T.B., Yakovleva O.V. Analysis of domestic and international approaches to the advanced educational practices in the electronic network environment. Integratsiya obrazovaniya = Integration of Education. 2016; 4(20): 456-467. DOI: 10.15507/1991-9468.085.020.201604.456-467
30. Sleptsova M.V. Formation of students' social competence in a virtual education environment // Education and Information Technologies. 2018. pp.1-12. doi: 10.1007/s10639-018-9798-z
31. Sleptsova M.V., Sokolova N.V. Formalization of Students' Individual Educational Objectives for E-Learning // Astra Salvensis, VI (2018), Special Issue, p. 67-74.
32. Yager J., Kunkle R., Fochtmann L.J. Who's your Expert? The use of expert opinion to substantiate the development of recommendations on the practice of the American psychiatric Association // Acad Psychiatry. 2014.V.38. I.3. PP 376-382. doi: 10.1007/s40596-014-0046-6
REFERENCES
1. Voevodina E.I. Methods of selection and selection of members of the expert group. Electronic scientific journal, 2016, no. 9 (12), pp. 341-344. (in Russ.)
2. Denisova A.L., Zaitsev E.V. Theory and practice of expert evaluation of goods and services: Textbook. Tambov, Publishing House of the Tambov State Technical University, 2002. 72 p. (in Russ.)
3. Didenko A.V., Aksenova N.V. Evaluation of the effectiveness of the introduction of e-learning. Vocational education in Russia and abroad, 2015, no. 1 (17), pp. 91-96. (in Russ.)
4. Dobrenkov V.I., Kravchenko A.I. Methods of sociological research: Textbook. Moscow, INFRA-M Publ., 2004. 768 p. (in Russ.)
5. Dochkin S.A., Michurina E.S., Tupikina G.G. E-learning in university education: features and complexity of implementation. Bulletin of KemSU, 2015, no. 2-3 (62), pp. 38-42. (in Russ.)
6. Introduction to e-learning: monograph / A. G. Sergeev, I. E. Zhigalov, V. V. Balandina; Vladim. Gos. University named after Alexander Grigoryevich and Nikolai Grigoryevich Stoletov. Vladimir, VlSU Publishing House, 2012. 182 p. (in Russ.)
7. Zagvozdkina M.V., Stymkovsky V.I. E-learning: new challenges for a university teacher. Higher education in Russia, 2015, no. 7, pp. 150-155. (in Russ.)
8. Kasateev P. A. Application of e-Learning training systems in Russia: prerequisites and necessity. Bulletin of SSTU, 2012, no. 1, p. 226. (in Russ.)
9. Kukharenko V. N. Training university teachers for work in the e-Learning environment. Higher Education in Russia. 2010, no. 10, pp. 126-131. (in Russ.)
10. Kiseleva E.V. Professional expert community in pedagogical expertise: characteristics, requirements, potential. Siberian Pedagogical Journal, 2013, no. 5, pp. 216-219. (in Russ.)
11. Melnik P.B. Methods of forming expert pools and groups for conducting expert analytical studies. Innovation and Expertise: scientific works, 2017, no. 1 (19), pp. 39-54. (in Russ.)
12. Orlov A.I. Theory of expert assessments in our country. Political Mathematical Network Electronic Scientific Journal of the Kuban State Agrarian University, 2013, no. 93, pp. 1-11. (in Russ.)
13. Rubin Yu. Development of an external educational audit system and its features in the organization of e-Learning. Higher Education in Russia, 2008, no. 11, pp. 45-50. (in Russ.)
14. Sleptsova M.V. Determination of the optimal number of experts for conducting an examination in the field of continuous pedagogical education. Bulletin of the Voronezh State Pedagogical University, 2015, no. 4 (269), pp. 21-23. (in Russ.)
15. Sleptsova M.V. Features of the formation of an expert group to assess the achieved learning outcomes in the field of technological education. Modern studies of social problems, 2015, no. 4, pp. 56-75. (in Russ.)
16. Sleptsova M.V. The use of expert systems in the process of teaching students the subject "Technology". Bulletin of the Orel State University. Series: New Humanitarian Studies. 2014. No. 2 (37). S. 79-83. (in Russ.)
17. Sleptsova M.V. Coordination of expert opinions for the mathematical model of the subject "Technology". Scientific opinion, 2014, no. 7, pp. 320-326. (in Russ.)
18. Sleptsova M.V., Melashenko T.V. Features of the choice of experts for pedagogical examination. World of Science,
2015, no. 1, p. 5. (in Russ.)
19. Sokolovsky S.S. Quality management methods. Qualimetry: teaching aid for students of higher educational institutions. Minsk, BNTU Publ., 2008. 160 p. (in Russ.)
20. Yaroshenko N.N. Socio-cultural activity: Paradigms, methodology, theory: Monograph. Moscow, MGUKI Publ., 2000. 204 p. (in Russ.)
21. Aparicio M., Bacao F., Oliveira T. An e-Learning Theoretical Framework. Educational Technology & Society, 2016, vol. 19 (1), pp. 292-307.
22. Belova E. A. Specifics of use of electronic educational resources with elements of autodidactics for personal development. Integratsiya obrazovaniya = Integration of Education. 2015, vol. 19, no. 4, pp. 117-126. DOI: 10.15507/1991-9468.081.019.201504.117
23. Birzina R., Fernate A., Luka I., Maslo I., Surikova S. E-learning as a Challenge for Widening of Opportunities for Improvement of Students' Generic Competences. E-Learning and Digital Media. 2012, vol. 9, Issue 2, pp. 130-142. doi: 10.2304/elea.2012.9.2.130
24. Dorofeyuk A.A., Pokrovskaya I. V., Chernyavkii A. L. Expert Methods to Analyze and Perfect Management Systems. Automation and Remote Control, 2004, vol. 65, Issue 10, pp. 1675-1688. doi: 10.1023/B:AURC.000
25. Grundmann R. The Problem of Expertise in Knowledge Societies. Minerva, 2017, vol. 55, issue 1, pp. 25-48. doi: 10.1007/s11024-016-9308-7
26. Gubanov D., Korgin N., Novikov D., RaikovA. E-Expertise: Modern Collective Intelligence. Switzerland, Springer, 2014. 112 p. doi: 10.1007/978-3-319-06770-4
27. Kurz-Milcke E., Gigerenzer G. Experts in Science and Society. New York, Kluver academic publishers, 2004. 322 p. doi: 10.1007/b105826
28. Lee, S., Barker, T., & Suresh Kumar, V. Effectiveness of a Learner-Directed Model for e-Learning. Educational Technology & Society, 2016, vol. 19 (3), pp. 221-233.
29. Noskova T.N., Pavlova T.B., Yakovleva O.V. Analysis of domestic and international approaches to the advanced educational practices in the electronic network environment. Integratsiya obrazovaniya = Integration of Education,
2016, no. 4(20), pp. 456-467. DOI: 10.15507/1991-9468.085.020.201604.456-467
30. Sleptsova M.V. Formation of students' social competence in a virtual education environment. Education and Information Technologies, 2018, pp.1-12. doi: 10.1007/s10639-018-9798-z
31. Sleptsova M.V., Sokolova N.V. Formalization of Students' Individual Educational Objectives for E-Learning. Astra Salvensis, VI, 2018, Special Issue, pp. 67-74.
32. Yager J., Kunkle R., Fochtmann L.J. Who's your Expert? The use of expert opinion to substantiate the development of recommendations on the practice of the American psychiatric Association. Acad Psychiatry, 2014, vol. 38, issue 3, pp. 376-382. doi: 10.1007/s40596-014-0046-6
Информация об авторе Слепцова Марина Викторовна
(Россия, Воронеж) Кандидат педагогических наук, доцент Начальник отдела мониторинга качества образования Воронежский государственный педагогический университет E-mail: 79304014250@yandex.ru
of Education Quality Monitoring Department Voronezh State Pedagogical University
Information about the author
Marina V. Sleptsova
(Russia, Voronezh)
E-mail: 79304014250@yandex.ru
PhD in Pedagogical Sciences, Associate Professor
Head
