CC BY
120
ISSN 2304-120X
ниепт
научно-методический электронный журнал
Пименов В. В., Сорокина О. А. Развитие системы педагогического тестирования студентов по профессиональным дисциплинам // Концепт. -2015. - № 04 (апрель). - ART 15123. - 0,5 п. л. - URL: http://e-koncept.ru/2015/15123.htm. - Гос. рег. Эл № ФС 77-49965. - ISSN 2304-120X.
ART 15123
УДК 378.146
Пименов Владимир Владимирович,
кандидат экономических наук, профессор кафедры экономики недвижимости ФГБОУ ВО «Государственный университет по землеустройству», г. Москва pimenov@zeml.ru
Сорокина Ольга Анатольевна,
кандидат экономических наук, доцент кафедры экономики недвижимости ФГБОУ ВО ««Государственный университет по землеустройству», г. Москва sorokinaoa81 @gmail.com
Развитие системы педагогического тестирования студентов по профессиональным дисциплинам
Аннотация. Даны основные вопросы оценки качества педагогического тестирования. Приведен фрагмент математико-статистического анализа качества тестовых заданий и теста по дисциплине «Участковое землеустройство». Предложены дальнейшие шаги по совершенствованию педагогических измерений в рамках компетентностного подхода в федеральных государственных образовательных стандартах.
Ключевые слова: педагогическое тестирование, оценка качества, компетент-ностный подход, тесты, тестирование.
Раздел: (01) педагогика; история педагогики и образования; теория и методика обучения и воспитания (по предметным областям).
В настоящее время педагогическое тестирование понимается не только как оценочное средство, но и как индивидуальное, личностно ориентированное средство обучения, развития и воздействия на студентов.
Исследования в области использования заданий в тестовой форме показали их важное преимущество над традиционными методами контроля и оценки знаний студентов.
Педагогическое тестирование отличается от обычных способов контроля знаний своей массовостью, быстротой, эффективностью, экономичностью труда преподавателей и студентов. Немаловажным свойством тестов является их унифицированность. При этом тесты должны быть качественными и грамотными, то есть отвечать современным достижениям теории и практики тестирования.
Тесты, несомненно, более полно охватывают содержание учебных дисциплин благодаря значительному количеству заданий. Планирование тестов должно происходить на основе подробной спецификации заданий, изучения целей обучения и содержания учебной дисциплины. Кроме того, необходимо учитывать баланс и пропорции тем, предложенных в рабочей программе дисциплины.
Было бы ошибкой считать, что педагогическое тестирование свободно от недостатков. Самый большой из них - сложность разработки валидных заданий в тестовой форме.
На этапе составления тестов повысить их валидность и надежность возможно с помощью учета предъявляемых к ним требований.
Спецификация теста по дисциплине «Участковое землеустройство» состоит из разделов, которые должны быть охвачены тестированием (см. табл. 1).
1
ISSN 2Э04-120Х
ниепт
научно-методический электронный журнал
Пименов В. В., Сорокина О. А. Развитие системы педагогического тестирования студентов по профессиональным дисциплинам // Концепт. -2015. - № 04 (апрель). - ART 15123. - 0,5 п. л. - URL: http://e-koncept.ru/2015/15123.htm. - Гос. рег. Эл № ФС 77-49965. - ISSN 2304-120X.
Таблица 1
Спецификация теста по профессиональной дисциплине «Участковое землеустройство»
Раздел дисциплины Требования к уровню освоения дисциплины Количество тестовых заданий
1 2 3 4 5 6
Роль и задачи участкового землеустройства 2 - 3 1 2 2 11
Классификация рабочих проектов 1 4 2 1 - 2 12
Общий порядок разработки, согласования, экспертизы и утверждения рабочих проектов 1 - 2 5 2 3 14
Раздел дисциплины Требования к уровню освоения дисциплины Количество тестовых заданий
1 2 3 4 5 6
Сметное дело в землеустройстве 1 - 2 2 2 3 38
Состав, содержание и порядок разработки рабочих проектов улучшения кормовых угодий - 1 - 1 - - 8
Состав, содержание и порядок разработки рабочих проектов создания и устройства территории орошаемых культурных пастбищ - 1 - 1 - - 12
Итого 10 12 15 15 7 9 145
Требования к уровню освоения соответствуют рабочей программе по дисциплине «Участковое землеустройство» для бакалавра по направлению подготовки 120700 «землеустройство и кадастры» направленности (профиля) 120700.68 «землеустройство» и для удобства представления в таблице пронумерованы.
Студент должен знать:
- законодательные, нормативно-правовые акты и официальные рекомендации, регламентирующие методику разработки и обоснования рабочих проектов в землеустройстве (1);
- основные виды и классификации рабочих проектов (2);
- отечественный и зарубежный передовой опыт разработки рабочих проектов (3);
- содержание, порядок разработки, согласования, экспертизы и утверждения рабочих проектов (4).
Уметь:
- принимать эффективные технико-экономические решения, разрабатывать рабочие проекты, отвечающие современным требованиям и условиям рационального использования земель, функционирования сельскохозяйственных организаций (5);
- разрабатывать технологию осуществления инженерных мероприятий по улучшению использования и охраны земель (6);
- самостоятельно приобретать новые знания по методике участкового землеустройства и практике её развития, а также творчески использовать теоретические знания и практические навыки в процессе последующего обучения и профессиональной деятельности (7);
2
ISSN 2304-120X
ниепт
научно-методический электронный журнал
Пименов В. В., Сорокина О. А. Развитие системы педагогического тестирования студентов по профессиональным дисциплинам // Концепт. -2015. - № 04 (апрель). - ART 15123. - 0,5 п. л. - URL: http://e-koncept.ru/2015/15123.htm. - Гос. рег. Эл № ФС 77-49965. - ISSN 2304-120X.
- использовать научные методы исследования и обоснования капиталообразующих инвестиций, моделировать денежные потоки и осуществлять их дисконтирование, проводить проектный анализ согласно рекомендуемой методике (8);
- применять различные методы оценки эффективности капиталообразующих инвестиций (9).
Владеть:
- специальной терминологией данной дисциплины и профессиональной аргументацией при выборе и оценке землеустроительных, технологических и других решений (10);
- навыками сметно-финансовых расчётов и определения экономической эффективности рабочих проектов (11);
- методикой составления и обоснования рабочих проектов (12).
База тестовых заданий [1] состоит из 145 вопросов, каждый из которых предлагался для решения студентам.
Спецификация теста дает представление о количестве заданий по разделам дисциплины и целям обучения. Наиболее важной и широкой темой является «Сметное дело в землеустройстве», в связи с чем ей соответствует 28% тестовых заданий, которые направлены на удовлетворение 1, 3 и 4-го требований к уровню освоения дисциплины.
Доля каждого раздела дисциплины устанавливается заранее с учетом запланированного количества часов учебной работы и трудоемкости, что позволяет контролировать охват тестом тем и целей обучения студентов.
Педагогическое тестирование по предмету «Участковое землеустройство» оценено нами за период с 2007 по 2014 г. Тесты прошли 590 студентов V курса факультета землеустройства.
В тесте содержатся задания всех четырех форм: с выбором одного или нескольких правильных ответов; на установление соответствия; на установление правильной последовательности.
Критерий зачета - 60% выполненных заданий и более. Оценка «удовлетворительно» ставилась при правильном решении от 60 до 74% заданий, «хорошо» - 7589%, «отлично» - 90-100%.
Среднее время тестирования составило 1 ч 25 мин, причем отличные результаты студенты получали гораздо быстрее - за 1 ч. Наибольшая продолжительность тестирования составила 3 ч 27мин.
Наихудший результат среди студентов - 3 правильных ответа, наилучший -98 правильных ответов.
Средний балл тестирования 590 студентов равен 72, что свидетельствует о среднем уровне знаний студентов, среди которых «неудовлетворительно» получили 24%, «удовлетворительно» - 29%, «хорошо» - 37% и «отлично» - 10%. Данную информацию иллюстрирует табл. 2, где представлены сгруппированные частоты распределения баллов.
Таблица 2
Сгруппированное частотное распределение баллов
Балл 0-30 30-59 60-74 75-89 90-100
Частота 10 14 29 37 10
После получения результатов тестирования нужно оценить качество и валидность тестов с помощью их статистической обработки. Основными параметрами результатов испытуемых являются индивидуальный суммарный балл испытуемого,
3
ISSN 2Э04-120Х
ниепт
научно-методический электронный журнал
Пименов В. В., Сорокина О. А. Развитие системы педагогического тестирования студентов по профессиональным дисциплинам // Концепт. -2015. - № 04 (апрель). - ART 15123. - 0,5 п. л. - URL: http://e-koncept.ru/2015/15123.htm. - Гос. рег. Эл № ФС 77-49965. - ISSN 2304-120X.
средний балл по выборке студентов, дисперсия, среднеквадратичное отклонение, распределение индивидуальных баллов, мода и медиана.
При определении статистических характеристик заданий на основе результатов тестирования оценивают корреляцию задания с индивидуальным суммарным баллом испытуемых, т. е. его дифференцирующую способность и трудность.
Трудность заданий в тестовой форме - характеристика задачи теста, отражающая статистический уровень ее решаемости в данной выборке стандартизации. Показателем трудности тестового задания как статистической трудности (p) является доля лиц, решивших и не решивших задание. Чаще всего трудность задания определяется процентом тестируемых, давших правильный ответ. Чем легче задание, тем выше этот процент. Если только 20% тестируемых (р = 0,20) решили задачу, ее можно оценить как трудную для данной выборки, если 80% (р = 0,80) - как легкую.
При выборе слишком трудных заданий качество теста снижается в связи с небольшим числом правильных решений, повышенной вероятностью случайной оценки, влиянием неудач на работу тестируемых.
Слишком простые задания приведут к однообразию результатов, их незначительной вариативности, затрудняющей оценивание, могут вызвать негативное отношение к тесту.
Основная задача анализа трудности заданий в тестовой форме сводится к выбору оптимальных по сложности пунктов теста и упорядочиванию отдельных заданий в нем. Обычно задания располагают в порядке нарастания трудности, так, чтобы тестируемый студент начинал с легких заданий и затем переходил к более сложным. Такое расположение дает тестируемому больше уверенности и снижает вероятность того, что он затратит слишком много времени на трудные для него задания.
Статистические результаты тестирования 590 обучающихся студентов по дисциплине «Участковое землеустройство» представлены в виде карт решаемости заданий на рис. 1 и 2.
Рис. 1. Карта решаемости заданий профессиональной дисциплины «Участковое землеустройство»
4
ISSN 2304-120X
ниепт
научно-методический электронный журнал
Пименов В. В., Сорокина О. А. Развитие системы педагогического тестирования студентов по профессиональным дисциплинам // Концепт. -2015. - № 04 (апрель). - ART 15123. - 0,5 п. л. - URL: http://e-koncept.ru/2015/15123.htm. - Гос. рег. Эл № ФС 77-49965. - ISSN 2304-120X.
Рис. 2. Карта решаемости групп заданий по разделам профессиональной дисциплины
«Участковое землеустройство»
Изображенный на рис. 2 график позволяет сделать вывод о неравномерной трудности групп заданий. Самой легкой группой заданий является пятая («Сметное дело в землеустройстве»): доля студентов, давших здесь правильный ответ, близка к 80%; также к легким можно отнести 1,2, 3 и 4-е задания, чьи темы - «Общий порядок разработки, согласования, экспертизы и утверждения рабочих проектов. Принципы и составные части рабочего проектирования», «Классификация рабочих проектов», «Роль и задачи участкового землеустройства», «Состав, содержание и порядок разработки рабочих проектов улучшения кормовых угодий».
Высоким уровнем трудности можно охарактеризовать 9, 10 и 11 -е задания, их темы - «Состав, содержание и порядок разработки рабочих проектов защиты земель от эрозии», «Осуществление рабочих проектов и авторский надзор», «Обоснование рабочих проектов и оценка их эффективности».
Оценка трудности тестовых заданий произведена по формуле 1:
tj =
Rj
N
(1)
где tj - доля правильных ответов на j-е задание; Rj - количество студентов, выполнивших j-е задание верно; N - число студентов в тестируемой группе; j - номер задания теста, j=1,2,..., n.
В работе над тестами необходимо стремиться сбалансировать задания по трудности. Такой баланс теста, когда уровень трудности отдельных заданий имеет некоторый умеренный разброс, но в среднем составляет 50%, можно представить в виде гистограммы (см. рис. 3).
Дифференцирующая способность тестового задания - это способность разделять сильных и слабых студентов.
Показатели дифференцирующей способности и трудности также характеризуют валидность заданий в тестовой форме, которая определяет соответствие теста целям тестирования. Считается, что если дифференцирующая способность меньше 0,3, то данное задание является невалидным и требуется проанализировать его формулировку и варианты ответов.
5
ISSN 2Э04-120Х
ниепт
научно-методический электронный журнал
Пименов В. В., Сорокина О. А. Развитие системы педагогического тестирования студентов по профессиональным дисциплинам // Концепт. -2015. - № 04 (апрель). - ART 15123. - 0,5 п. л. - URL: http://e-koncept.ru/2015/15123.htm. - Гос. рег. Эл № ФС 77-49965. - ISSN 2304-120X.
16
14
12
10
10 20 30 35 40 45 50 55 60 65 70
Наблюдаемые баллы
75
80 85
90
Р 8
6
4
2
0
Рис. 3. Гистограмма сбалансированности по трудности теста по профессиональной дисциплине
«Участковое землеустройство»
Для оценки качества заданий в тестовой форме нами был рассчитан коэффициент дифференцирующей способности К}. Для этого на основе полученных баллов выделены две контрастные группы испытуемых (27% слабых и 27% сильных студентов). Коэффициент Kj определяется по формуле 2:
К = Рс - Рсл (2)
где Рс и Рсл - процент от общего числа студентов, сдававших тест, в сильной и слабой группах, правильно ответивших на данное j-е задание.
Если Kj > 0,4 - задание эффективное; 0,30 < Kj > 0,39 - удовлетворительное; 0,20 < Kj > 0,29 - задание следует доработать, усложнить; Kj < 0,19 - задание легкое, не обладает дифференцирующей способностью, его необходимо проанализировать и переработать; Kj < 0 - задание непонятное, так как и слабая, и сильная группы студентов отвечают неправильно.
Ежегодно по результатам оценки качества теста выявляются необходимые изменения в тестовых заданиях. Большинство заданий отвечают всем предъявляемым требованиям и эффективно решают задачи по измерению уровня индивидуальных учебных достижений, но часть заданий требует анализа и совершенствования.
Обычно переработка заключается в следующем:
1) необходимо предоставить выбор нескольких правильных ответов вместо одного, добавить или изменить дистракторы;
2) задания нужно усложнить (добавить и усложнить дистракторы);
3) задания необходимо перефразировать, так как они студентам непонятны.
По результатам оценки качества теста было выявлено, что 75 заданий отвечают
всем предъявляемым требованиям и эффективно решают задачи по измерению уровня индивидуальных учебных достижений. Оставшиеся 25 заданий требуют анализа и совершенствования, из них 18 заданий необходимо доработать (предоставить выбор нескольких правильных ответов вместо одного, добавить или изменить дистракторы), 5 заданий нужно усложнить (добавить и усложнить дистракторы), 2 задания студентам непонятны.
6
ISSN 2304-120X
ниепт
научно-методический электронный журнал
Пименов В. В., Сорокина О. А. Развитие системы педагогического тестирования студентов по профессиональным дисциплинам // Концепт. -2015. - № 04 (апрель). - ART 15123. - 0,5 п. л. - URL: http://e-koncept.ru/2015/15123.htm. - Гос. рег. Эл № ФС 77-49965. - ISSN 2304-120X.
После доработки предлагается упорядочить задания в тесте по возрастанию уровня сложности. Задания необходимо распределить на основе определенного коэффициента трудности по трем группам: А - базовые задания, Б - средней сложности задания, В - сложные задания. При этом правильные ответы на тесты разных групп нужно приравнять к разному количеству баллов (А - 1 балл, Б - 2 балла, В - 3 балла).
В связи с тем что оптимальное время тестирования составляет 1 ч, а большинство студентов справились с тестом за 1,5 ч, предлагается уменьшить количество решаемых заданий до 67 штук, выбираемых случайным способом из 3 групп сложности в следующей пропорции: А - 50%, Б - 30%, В - 20%.
Предлагаемая система оценки качества заданий в тестовой форме позволяет на этапе анализа и корректировки решить проблему составления надежных и валидных тестовых задач, но требует постоянного совершенствования.
В настоящее время в Российской Федерации происходит модернизация высшей школы путем введения нового поколения федеральных государственных образовательных стандартов. При оценке качества учебных достижений бакалавров и магистров в первую очередь нужно учитывать освоение ключевых компетенций. В ходе аттестации будут оцениваться не только знания, умения и навыки, но и степень освоения достаточно большого набора общекультурных и профессиональных компетенций.
В ФГБОУ ВО «Государственный университет по землеустройству» переходят к созданию компетентностных тестов, которые носят межпредметный характер, интегрируют в себе целую совокупность способностей, в том числе и способность применять полученные знания и умения в решении широких практических задач в будущей профессиональной деятельности после окончания учебного заведения.
В качестве результирующего показателя следует использовать многомерные шкалы, которые по специальным методикам объединяются в одной вертикальной шкале.
Сложным вопросом при составлении и анализе компетентностных тестов является обоснование того, что тестовые задания направлены именно на измерение конкретной компетенции, особенно если она имеет общекультурный характер. Подтверждением этого являются табл. 3 и 4, в которых представлены образовательные результаты, соответствующие профессиональным компетенциям бакалавра по направлению подготовки 120700 «землеустройство и кадастры» направленности (профиля) «Землеустройство».
Каждый раздел дисциплины соотносится с 2-3 компетенциями, одна из них может быть общекультурной, другие - профессиональными. В свою очередь, каждая компетенция состоит из нескольких образовательных результатов: студент знает, умеет, владеет навыками.
Таким образом, база тестовых заданий для специальной дисциплины «Участковое землеустройство» должна быть разбита на 11 разделов и направлена на оценку 17 образовательных результатов.
Большую помощь в вопросе создания подобных многомерных шкал оценки результатов тестирования могут оказать методы факторного анализа и главных компонентов. Эти близкие по инструментарию методы позволяют снизить размерность исследуемого пространства, сжать информацию, что дает возможность наглядно интерпретировать эконометрические модели. Статистические методы подразумевают определение меньшего числа обобщенных показателей, не коррелирующих между собой, что позволяет выявить внутренние, объективно существующие закономерности в информационных системах, которые не поддаются непосредственному наблюдению.
7
ISSN 2Э04-120Х
ниепт
научно-методический электронный журнал
Пименов В. В., Сорокина О. А. Развитие системы педагогического тестирования студентов по профессиональным дисциплинам // Концепт. -2015. - № 04 (апрель). - ART 15123. - 0,5 п. л. - URL: http://e-koncept.ru/2015/15123.htm. - Гос. рег. Эл № ФС 77-49965. - ISSN 2304-120X.
На основе выявленных обобщенных показателей можно определить, каким компетенциям, образовательным результатам и в каком объеме отвечают тестовые задания.
Разработка компетентностных тестов и их оценка с помощью факторного анализа является следующим шагом ученых кафедры землеустройства Государственного университета по землеустройству в системе педагогического тестирования.
Таблица 3
Матрица соотнесения тем/разделов учебной дисциплины/модуля и формируемых в них профессиональных и общекультурных компетенций
№ Темы, разделы дисциплины Общее количество часов Компетенции
О ю hk О 1 hi 1= ПК-2 ПК-6
1 Роль и задачи участкового землеустройства 5 + +
2 Классификация рабочих проектов 4 +
3 Общий порядок разработки, согласования, экспертизы и утверждения рабочих проектов. Принципы и составные части рабочего проектирования 6 + + +
4 Сметное дело в землеустройстве 12 + + +
5 Состав, содержание и порядок разработки рабочих проектов улучшения кормовых угодий 8 + +
6 Состав, содержание и порядок разработки рабочих проектов создания и устройства территории орошаемых культурных пастбищ 8 + +
7 Состав, содержание и порядок разработки рабочих проектов создания и устройства территории садов 8 + +
8 Состав, содержание и порядок разработки рабочих проектов землевания малопродуктивных угодий 8 + +
9 Состав, содержание и порядок разработки рабочих проектов защиты земель от эрозии 8 + +
10 Обоснование рабочих проектов и оценка их эффективности 8 + + +
11 Осуществление рабочих проектов и авторский надзор 6 + +
Итого 81 10 3 6 3 2
8
Пименов В. В., Сорокина О. А. Развитие системы педагогического тестирования студентов по профессиональным дисциплинам // Концепт. -2015. - № 04 (апрель). - ART 15123. - 0,5 п. л. - URL: http://e-koncept.ru/2015/15123.htm. - Гос. рег. Эл № ФС 77-49965. - ISSN 2304-120X.
У научно-методический г электронный журнал
Таблица 4
Образовательные результаты, соответствующие компетенциям
ЗНАТЬ:
Индекс компетенции Индекс образовательного результата Образовательный результат
ОК-1 З-1 Постановка цели и выбор путей ее достижения
ОК-5 З-1 Нормативно-правовые документы в сфере землеустройства
Индекс компетенции Индекс образовательного результата Образовательный результат
ПК-1 З-1 Основы рационального использования и охраны земельных ресурсов
ПК-2 З-1 Мероприятия по снижению антропогенного воздействия на территорию в пределах конкретного землепользования
ПК-6 З-1 Методики разработки проектных, предпроектных и прогнозных материалов (документов) по использованию и охране земельных ресурсов и объектов недвижимости
УМЕТЬ:
ОК-1 У-1 Ставить цель и выбирать пути ее достижения
ОК-5 У-1 Использовать в своей деятельности нормативные правовые документы в сфере земельно-имущественных отношений, кадастра недвижимости, землеустройства и мониторинга земель
ПК-1 У-1 Рационально использовать земельные ресурсы
ПК-2 У-1 Проводить мероприятия по снижению антропогенного воздействия на территорию в пределах конкретного землепользования, муниципального образования, субъекта Федерации
ПК-6 У-1 Разрабатывать технико-экономическое обоснование установления границ объектов землеустройства, в том числе землепользований, землевладений, земельных участков иных правообладателей недвижимости
У-2 Использовать способы определения площадей административно-территориальных образований
У-3 Производить отвод земель государственным, коммерческим и другим организациям
ВЛАДЕТЬ:
ОК-1 В-1 культурой мышления, способностью к обобщению, анализу, восприятию, систематизации информации
ОК-5 В-1 навыками использования нормативно-правовых документов в сфере землепользования
ПК-1 В-1 методами землеустроительного проектирования
ПК-2 В-1 способностью использовать знания о земельных ресурсах страны и мира
ПК-6 В-1 способностью использовать знание методик разработки проектных, предпроектных и прогнозных материалов (документов) по использованию и охране земельных ресурсов
О ISSN 2304-12С
ниегтг
Ссылки на источники
1. Участковое землеустройство. Задания в тестовой форме [Текст] / сост. В. В. Пименов, О. А. Сорокина, П. А. Комаров. - М.: ГУЗ, 2006. - 40 с.
9
ISSN 2Э04-120Х
ниепт
научно-методический электронный журнал
Пименов В. В., Сорокина О. А. Развитие системы педагогического тестирования студентов по профессиональным дисциплинам // Концепт. -2015. - № 04 (апрель). - ART 15123. - 0,5 п. л. - URL: http://e-koncept.ru/2015/15123.htm. - Гос. рег. Эл № ФС 77-49965. - ISSN 2304-120X.
Vladimir Pimenov,
Candidate of Economic Sciences, Professor at the chair of Real Estate Economy, State University of Land Planning, Moscow pimenov@zeml.ru Olga Sorokina,
Candidate of Economic Sciences, Professor at the chair of Real Estate Economy, State University of Land Planning, Moscow sorokinaoa81 @gmail.com
System of students’ pedagogical testing in professional disciplines at State University of Land Planning
Abstract. The paper deals with the basic questions of quality estimation of pedagogical testing. The authors show a fragment of mathematical-statistical analysis of test on discipline”Parsel land use planning”. It is necessary to conduct the correction of pedagogical test on the basis of the results of the analysis of test tasks, among which are difficulty, balance of test, differentiating ability. The steps for improvement of pedagogical measurements are proposed within the framework of competence-based approach in the Federal State Educational Standards.
Key words: pedagogical testing, estimation of quality, competence-based approach, test, testing. References
1. Pimenov, V. V., Sorokina, O. A. & Komarov, P. A. (eds.) (2006) Uchastkovoe zemleustrojstvo. Zadanija v testovoj forme, GUZ, Moscow, 40 p. (in Russian).
Рекомендовано к публикации:
Горевым П. М., кандидатом педагогических наук, главным редактором журнала «Концепт»
Поступила в редакцию 22.04.15 Получена положительная рецензия 24.04.15
Received Received a positive review
Принята к публикации 24.04.15 Опубликована 30.04.15
Accepted for publication Published
© Концепт, научно-методический электронный журнал, 2015 © Пименов В. В., Сорокина О. А. , 2015
www.e-koncept.ru
10
