CC BY
73
УДК 378.146
М. С. Седов, Н. Е. Соколов, Е. В. Соколова
ИССЛЕДОВАНИЕ ВЛИЯНИЯ ФОРМЫ ПРОВЕДЕНИЯ ПЕДАГОГИЧЕСКОГО ТЕСТА НА ОБЪЕКТИВНОСТЬ ОЦЕНКИ
Аннотация.
Актуальность и цели. В настоящее время во многих отечественных вузах ведется планомерная работа по широкомасштабному применению тестов в учебном процессе. При этом в ряде вузов тестирование проводится в традиционном бланковом варианте. Противники компьютерного тестирования приводят аргумент о том, что оно вносит искажения в такие важнейшие характеристики тестов, как валидность и надежность, что не позволяет признать полученные результаты адекватными. Исследование, результаты которого отражены в настоящей статье, было предпринято с целью проверки гипотезы о том, что при контроле знаний студентов вузов, обучающихся по экономическим и техническим направлениям подготовки, проведение педагогического тестирования в компьютерной форме не приводит к негативному искажению результатов тестирования по сравнению с традиционным бланковым тестированием на бумажных носителях.
Материалы и методы. Для проверки гипотезы был проведен эксперимент, методика которого была разработана в соответствии с методами оптимального планирования эксперимента и подробно описана в статье. Эксперимент проводился в трех вузах, в 15 учебных группах, списочный состав которых составил 257 студентов. В эксперименте приняли участие студенты 1-4 курсов, обучающиеся по направлениям подготовки «Прикладная информатика», «Бизнес-информатика» и «Менеджмент».
Результаты. Полученные в ходе эксперимента данные были обработаны статистическими методами и интерпретированы на предмет проверки выполнения гипотезы исследования.
Выводы. Проведенное исследование подтвердило гипотезу о том, что компьютерная форма тестирования не вносит негативных искажений в результаты оценки знаний студентов, обучающихся на направлениях подготовки экономического и технического профиля.
Ключевые слова: педагогическое тестирование, бланковое тестирование, компьютерное тестирование, контроль знаний учащихся.
M. S. Sedov, N. E. Sokolov, E. V. Sokolova
RESEARCH OF THE INFLUENCE OF PEDAGOGICAL TEST FORMAT ON ASSESSMENT OBJECTIVITY
Abstract.
Background. Many higher education institutions widely use tests in the educational process. Some higher education institutions conduct blank form testing. Some scientists consider that computer testing distorts such characteristics of tests as validity and reliability. They don't recognize results of such testing adequate. The aim of this research is to check a hypothesis that pedagogical computer testing doesn't distort results.
Materials and methods. In order to check the hypothesis the authors carried out an experiment, the methodology of which had been developed in accordance of experiments optimal planning methods, and is described in the article in detail. The experiment was conducted in three higher education institutions, in 15 educational
groups, 257 students took part in it. The experiment was carried out among students of 1-4 courses majoring in "Applied Informatics", "Business informatics" and "Management".
Results. The data obtained during the experiment were processed by statistical methods and interpreted to check of the research hypothesis validity.
Conclusions. The conducted research has confirmed the hypothesis that the computer form of testing doesn't bring negative distortions in results of knowledge assessment of students studying at economic and technical programs.
Key words: pedagogical testing, blank testing, computer testing, control of students knowledge.
Можно констатировать, что в настоящее время педагогическое тестирование является необходимым элементом организации учебного процесса. Тесты применяются повсеместно и получили широкое распространение на всех уровнях отечественного образования. В высшей школе тестирование является одной из основных форм организации контроля остаточных знаний, а требования к наличию тестов в составе фондов оценочных средств (ФОС) описаны в документах, регламентирующих процедуру аккредитации образовательного учреждения. В средней школе тесты являются основной формой заданий при проведении государственной итоговой аттестации (ГИА) и единого государственного экзамена (ЕГЭ). Столь широкое распространение педагогических тестов вызвано рядом объективных и субъективных факторов, анализу которых посвящены исследования отечественных и зарубежных ученых, обзор которых выполнен в работах авторов настоящей статьи [1], их повторное перечисление выходит за рамки настоящей работы. Следует лишь еще раз отметить, что требования к применению тестов при поведении итогового контроля знаний во многом регламентированы на государственном уровне, поэтому вне зависимости от личного отношения к педагогическим тестам как к форме оценки знаний учащихся их применение является необходимым условием, которое должно реализовываться всеми отечественными образовательными учреждениями.
Понимание факта необходимости применения педагогических тестов привело к тому, что во многих отечественных вузах ведется планомерная работа по широкомасштабному применению этой формы контроля знаний в учебном процессе. В этих образовательных учреждениях применение педагогических тестов является обязательным, а тестирование становится основной, а часто и единственно разрешенной формой проведения экзаменов и зачетов. Не единичны случаи, когда тесты и компьютерные системы тестирования стали неотъемлемыми элементами систем менеджмента качества, а результаты тестов позволяют принимать обоснованные решения по организации и оптимизации учебного процесса [2, 3].
Анализ отечественного опыта применения педагогических тестов в качестве основной формы проведения промежуточного и итогового контроля позволил выявить проблему в технологии проведения тестирования. Несмотря на существование большого количества компьютерных сред, предоставляющих широкие возможности по организации и проведению тестирования, в ряде вузов тестирование проводится в традиционном письменном варианте. В этом случае тесты, состоящие из заранее отобранных тестовых вопросов, распечатываются, затем выдаются для заполнения студентам, а после этого
проверяются вручную. Такая форма тестирования получила название бланковой [4]. Результаты тестирования хранятся в архивах и, в случае необходимости, их обработка осуществляется вручную.
Апологеты такого подхода к проведению тестирования приводят три основных аргумента в качестве доводов против применения компьютерных тестовых систем:
1) тестирование в компьютерной форме вносит искажения в такие важнейшие характеристики тестов, как валидность и надежность, что не позволяет признать полученные результаты адекватными;
2) результаты компьютерного тестирования не могут являться основанием для выставления итоговой оценки, так как не могут быть официально задокументированы;
3) вероятность утечки тестов и, как следствие, вероятность неадекватной оценки знаний студентов выше при компьютерной технологии.
Аргументация о юридической неправомочности результатов документирования компьютерного тестирования и низком уровне информационной безопасности не выдерживает никакой критики и показывает лишь правовую и техническую неподготовленность людей, которые ее приводят. Более того, при выполнении требований стандартов по информационной безопасности и наличии избыточного банка тестовых вопросов опасность утечки тестов перестает быть критичной в принципе [5].
Аргумент о том, что компьютерная форма тестирования вносит искажения в результаты оценки, по мнению авторов настоящей статьи, также является необоснованным, однако это мнение необходимо подтвердить. Было предпринято исследование, целью которого являлась проверка гипотезы о том, что при контроле знаний студентов вузов, обучающихся по экономическим и техническим направлениям подготовки, проведение педагогического тестирования в компьютерной форме не приводит к негативному искажению результатов тестирования по сравнению с традиционным бланковым тестированием на бумажных носителях.
Как видно из формулировки гипотезы, авторы не претендуют на абсолютизацию тезиса о том, что форма тестирования вообще не влияет на результаты оценки. Мы, безусловно, признаем, что форма представления материала и способ выдачи тестовых заданий воспринимается разными социальными группами по-разному, так как эти группы могут различаться и родом своей деятельности, и уровнем компьютерной грамотности. Этот факт доказан в работах классиков тестологии А. Анастази, М. Родригез, Л. Руднер и др. [6]. Более того, мы готовы признать, что компьютерное тестирование в случае аудитории с низким уровнем ИТ-грамотности может привести к искажению результатов тестирования. Поэтому в предпринятом исследовании у нас была задача доказать правомерность применения компьютерных тестов не вообще, а в современном вузе для контроля знаний студентов, которые в рамках компетенций своих будущих профессий должны обладать базовым уровнем ИТ-грамотности.
Для проверки гипотезы был проведен эксперимент. Площадкой для него стали три Санкт-Петербургских вуза:
- Петербургский государственный университет путей сообщения Императора Александра I;
- Международный банковский институт;
- Санкт-Петербургский филиал Финансового университета при Правительстве Российской Федерации.
Эксперимент проводился в 15 учебных группах, списочный состав которых составил 257 студентов.
Отбор групп для участия в эксперименте был не случаен. Были отобраны группы, обучающиеся по трем разным направлениям подготовки: «Бизнес-информатика», «Прикладная информатика» и «Менеджмент». Такой состав направлений подготовки обоснован тем, что студенты этих направлений обладают разным уровнем ИТ-грамотности. Направление «Прикладная информатика» готовит выпускников технической направленности. Студенты этих групп обладают заведомо более высокими ИТ-компетенциями. Направление «Бизнес-информатика» является интегральным. Обучающиеся на этом направлении студенты получают квалификацию «экономист», но в то же время обладают высоким базовым уровнем компьютерной грамотности. Студенты направления подготовки «Менеджмент» имеют типовой для всех направлений экономического цикла уровень освоения ИТ-дисциплин.
Второй фактор, который учитывался при отборе групп для участия в эксперименте, - курс, на котором учатся студенты. Можно предположить, что студенты старших курсов имеют более высокий уровень сформированно-сти ИТ-компетенций, чем их коллеги с младших курсов. Распределение студентов (учебных групп) по годам обучения и направлениям подготовки отражено в табл. 1.
Таблица 1
Распределение студентов по курсам и направлениям подготовки
Направление подготовки Курс
I II III IV
Количество студентов (групп)
Прикладная информатика 11 (1) 33 (2) 19 (2) -
Бизнес-информатика 78 (3) 15 (1) 21 (1) 18 (1)
Менеджмент 24 (1) - 19 (2) 19 (1)
Тестирование проводилось по дисциплинам, имеющим одинаковый уровень методической обеспеченности учебно-методическими материалами (УММ), для устранения возможного влияния данного фактора на результат прохождения теста. По каждой из дисциплин в распоряжении студентов был комплект УММ в составе рабочей учебной программы, учебного пособия по дисциплине [7-9], презентации, практикума и хрестоматии. Структура и состав всех элементов УММ стандартны и соответствуют требованиям, описанным в работе [10].
Технология проведения эксперимента была следующая. В ходе семестра студенты учебных групп, задействованных в эксперименте, проходили текущее тестирование. Каждая из групп была протестирована в рамках эксперимента не менее четырех раз. При проведении текущего контроля знаний группа студентов разбивалась на две подгруппы. Студенты первой подгруппы выполняли тест в традиционной (бланковой) форме, а второй - в компьютерной. В ходе следующего тестирования подгруппы менялись местами, и
первая подгруппа выполняла письменный тест, а вторая - компьютерный. Таким образом, каждый участвовавший в эксперименте студент дважды сдавал тест на компьютере и два раза - в традиционной бланковой форме.
Для чистоты эксперимента структура и состав тестовых заданий были полностью идентичны, т.е. разница была только в форме выдачи тестовых вопросов и режиме ввода ответов. Отбор заданий для теста осуществлялся в соответствии с методикой, которая гарантирует отсутствие в тесте двух и более вопросов, проверяющих одно и то же понятийное подмножество, и вопросов разного уровня абстракции [11].
Для устранения рисков ошибки интерпретации результатов контроля проверка письменных и компьютерных тестов проводилась вручную по единому алгоритму. Результаты оценки заносились в итоговую ведомость.
Обработка результатов эксперимента в срезах групп, курсов и направлений подготовки выполнялась по методике, предложенной в [4]. Отличием применяемой в исследовании методики обработки данных было то, что полученные результаты тестирования нормировались в 100-балльную шкалу, что позволило сравнивать результаты разных тестов по разным дисциплинам. Для нормированных данных были определены величины минимального и максимального балла за тест и вычислены значения:
- первого квартиля ^25);
- медианы;
- третьего квартиля ^75).
Результаты были сведены в таблицу (рис. 1).
А В С DEFGHI J
1 Курс в Направление подготовки □ Дисциплина В № теста В Q0 (MIN) В Q25 В Медиа на (Q&0 В Q75 В Q10D (МАХ) В Тип тестирования (Б/К) в
2 1 курс БИ РИКТ 1 3 21 40 55 65 Бланковый
3 1 курс БИ РИКТ 1 0 32 47 59 71 Компьютерный
4 1 курс БИ РИКТ 2 12 32 45 57 S1 Бланковый
5 1 курс БИ РИКТ 2 3 23 35 53 77 Компьютерный
6 1 курс БИ РИКТ 3 17 21 37 52 S7 Бланковый
7 1 курс БИ РИКТ 3 14 27 43 49 34 Компьютерный
а 1 курс БИ РИКТ 4 21 31 54 69 37 Бланковый
Э 1 курс БИ РИКТ 4 21 30 49 73 92 Компьютерный
10 1 курс 1 14 51 63 72 Бланковый
11 ^^^ 63 71 Компьютер'
S3
БИ 32
4 курс БИ Упр.Пр. 29 41 53
69 4 курс БИ Упр.Пр. 2 24 32 50 „.шпьютерный
70 4 курс БИ Упр.Пр. 3 33 39 46 72 Бланковый
71 4 курс БИ Упр.Пр. 3 27 41 51 68 87 Компьютерный
72 4 курс БИ Упр.Пр. 4 36 43 55 75 94 Бланковый
73 4 курс БИ Упр.Пр. 4 39 46 55 72 94 Компьютерный
74 4 курс М Упр.Изм. 1 0 12 27 37 47 Бланковый
75 4 курс м Упр.Изм. 1 5 15 31 39 55 Компьютерный
76 4 курс м Упр.Изм. 2 3 15 30 40 55 Бланковый
77 4 курс м Упр.Изм. 2 7 14 28 42 53 Компьютерный
78 4 курс м Упр.Изм. 3 0 18 34 51 63 Бланковый
79 4 курс м Упр.Изм. 3 5 21 41 49 65 Компьютерный
80 4 курс м Упр.Изм. 4 11 20 34 51 67 Бланковый
81 4 курс м Упр.Изм. 4 14 26 43 55 69 Компьютерный л
Рис. 1. Фрагмент таблицы обработки результатов компьютерного и бланкового тестирования в экспериментальных группах
Полученные данные анализировались в срезах:
- направлений подготовки;
- курсов;
- учебных дисциплин, по которым проводилось тестирование.
Графическая интерпретация результатов эксперимента в указанных
срезах представлена на гистограммах (рис. 2, 3, 4), которые наглядно иллюстрируют состоятельность гипотезы о том, что компьютерная форма проведения не вносит существенных искажений в результаты педагогического тестирования. Как видно из гистограмм, параметры распределения результатов бланкового и компьютерного тестирования очень близки для групп, находящихся в одинаковых условиях. Значительную вариативность параметров оценки для разных дисциплин (рис. 4) можно объяснить тем, что уровень групп, принимавших участие в эксперименте, был очень разным (рис. 2). Наилучшая успеваемость была зафиксирована у групп, обучающихся на направлении подготовки «Прикладная информатика». Это обусловлено тем, что в эти группы был наивысший конкурс при поступлении, а среди студентов были только те, кто обучался в одном вузе с первого курса. Худшие показатели были у групп направления подготовки «Бизнес-информатика» и «Менеджмент». Это можно объяснить тем, что среди групп, принимавших участие в эксперименте, были группы, которые были сформированы после осуществления слияния вузов. Студенты этих групп имели более низкий уровень подготовки и мотивации, что сказалось на уровне их оценок.
Рис. 2. Гистограмма сравнения результатов компьютерного и бланкового тестирования в группах разных направлений подготовки: БИ, М, ПИ - направления подготовки. БИ - бизнес-информатика; М - менеджмент; ПИ - прикладная информатика (в экономике)
Рис. 3. Гистограмма сравнения результатов компьютерного и бланкового тестирования в группах разных годов обучения
1Е 5= = 1S 5= s 1Е 5= 1S 5= s 1Е 1S
jjj л 1 1 1
о о. о Q. О о. о О. о о. о о. о о. о о. о о. о Q.
я 1 л | га 1 я 1 га 1 га 1 га | га 1 га 1 га 1
ш ш |Д ш ш ■д ш ш ш ш
I 1 I I 1 i ° 1 1 I i
* * == * == *
АП ИСЭ МБП МиТПрИС ОТС ПрИС РИКТ СМК Упр.Изм. Упр.Пр.
Рис. 4. Гистограмма сравнения результатов компьютерного и бланкового тестирования в группах, изучающих разные дисциплины: АП - Архитектура предприятия; ИСЭ - Информационные системы в экономике; МБП - Моделирование бизнес-процессов; ОТС - Общая теория систем; МиТПрИС - Методология и технология проектирования информационных систем; ПрИС - Проектирование информационных систем; РИКТ - Рынок информационных компьютерных технологий; СМК - Система менеджмента качества; Упр. Изм. - Управление изменениями; Упр. Пр. - Управление проектами
Для результатов компьютерного и бланкового тестирования по разным дисциплинам рассчитан линейный коэффициент корреляции, который по всем, кроме одной, дисциплинам имеет значение, превышающее 0,8 (табл. 2). Это также подтверждает состоятельность выдвинутой гипотезы о том, что компьютерная форма проведения теста не вносит негативных искажений в его результаты.
Таблица 2
Дисциплина/ Тип теста Среднее значение
Q0 (Мин. балл) Q25 Медиана «50) Q75 Q100 (Макс. балл) Коэффициент корреляции
Архитектура предприятия 0,97
Бланковый 3,5 12,0 12,8 12,0 10,0
Компьютерный 5,5 11,0 11,8 10,0 10,3
Информационные системы в экономике 0,98
Бланковый 6,8 9,0 25,3 9,3 11,8
Компьютерный 8,0 11,0 22,5 9,8 10,3
Моделирование бизнес-процессов 0,98
Бланковый 22,8 7,0 21,3 17,3 19,3
Компьютерный 23,3 5,3 22,0 19,3 18,0
Методология и технология проектирования информационных систем 0,99
Бланковый 28,0 10,5 12,5 17,8 17,5
Компьютерный 27,8 10,0 12,5 18,3 17,5
Общая теория систем 0,99
Бланковый 34,0 11,8 9,5 15,8 15,0
Компьютерный 34,8 13,5 8,5 14,8 14,0
Проектирование информационных систем 0,99
Бланковый 52,3 9,8 10,5 7,3 13,3
Компьютерный 48,3 12,0 9,8 11,5 11,8
Рынок ИКТ 0,68
Бланковый 13,3 13,0 17,8 14,3 21,8
Компьютерный 9,5 18,5 15,5 15,0 22,5
Управление качеством 0,87
Бланковый 2,8 13,5 15,0 13,5 15,0
Компьютерный 6,5 12,5 16,8 10,5 15,0
Управление изменениями 0,79
Бланковый 3,5 12,8 15,0 13,5 13,3
Компьютерный 7,8 11,3 16,8 10,5 14,3
Управление проектами 0,99
Бланковый 28,0 10,5 12,5 18,8 18,3
Компьютерный 27,8 10,0 12,5 18,3 16,0
Анкетирование, проведенное среди студентов, принимавших участие в эксперименте, показало, что отношение учащихся к форме проведения тестирования во многом зависит от развитости ИТ-инфраструктуры в вузе. Так, подавляющее количество студентов Международного банковского института, обладающего наиболее развитой ИТ-инфраструктурой, отметили, что для них
предпочтительным является тестирование в компьютерной форме. Студенты других вузов, принимавших участие в эксперименте, отметили, что для них более удобной является бланковая форма тестирования. Анализ причин такого ответа показал, что негативное отношение студентов к компьютерному тесту вызвано не столько формой его проведения, сколько неудобством при доступе к сетевому ресурсу и проблемами с неэффективно настроенными политиками безопасности локальной вычислительной сети. Сама по себе форма компьютерного теста негативной оценки у этих студентов не вызывала.
Подводя итоги проведенному исследованию, можно сделать вывод, что сформулированная нами гипотеза о том, что при контроле знаний студентов вузов, обучающихся по экономическим и техническим направлениям подготовки, проведение педагогического тестирования в компьютерной форме не приводит к негативному искажению результатов тестирования по сравнению с традиционным бланковым тестированием на бумажных носителях, подтвердилась.
Это позволило авторскому коллективу приступить ко второй части исследования, задачей которого является выявление влияния от применения интеллектуальных компьютерных систем контроля знаний учащихся на уровень усвоения студентами учебного материала.
Список литературы
1. Карпухин, Н. В. Электронное обучение (организация, методика, технология и практика применения в МБИ) : моногр. / Н. В. Карпухин, Т. С. Карпова, Б. И. Ры-пин, Н. Е. Соколов, А. И. Стригун, А. Д. Тазетдинов. - СПб. : Изд-во АНО ВПО «Международный банковский институт», 2008.
2. Калязина, Д. М. Обоснование выбора платформы для обучения студентов экономических вузов основам Business Process Management / Д. М. Калязина, Н. Е. Соколов, А. Е. Федорова // Известия высших учебных заведений. Поволжский регион. Гуманитарные науки. - 2014. - № 4 (32). - С. 211-218.
3. Соколов, Н. Е. Информационные системы класса BPMS - эффективный инструмент современного бизнеса / Н. Е. Соколов // Актуальные проблемы экономики и новые технологии преподавания (Смирновские чтения) : сб. тр. Междунар. на-уч.-практ. конф. / АНО ВПО «Международный банковский институт». - СПб. : МБИ, 2012. - С. 100-102.
4. Семенов, С. П. Сравнение результатов бланкового и компьютерного тестирования / С. П. Семенов, В. Д. Серегин, П. Б. Татаринцев // Вестник Югорского государственного университета. - 2011. - № 3 (22). - С. 31-44.
5. Махов, А. М. Разработка и использование тестовых заданий : метод. рекомендации для преподавателей / А. М. Махов, Н. Е. Соколов. - СПб. : Изд-во СПбГУП, 2002. - 24 с.
6. Абрамян, Г. В. Таксономия, классификация и методология анализа целей обучения информатике и информационным технологиям в условиях глобализации образования / Г. В. Абрамян, Г. Р. Катасонова // Фундаментальные исследования. -2014. - № 8 (7). - С. 1647-1652.
7. Лукавый, А. П. Моделирование бизнес-процессов / А. П. Лукавый, Н. Е. Соколов, А. Б. Еловиков. - СПб. : Скифия-Принт, 2014.
8. Соколов, Н. Е. Методология и технология проектирования информационных систем / Н. Е. Соколов, В. А. Кокунов. - СПб. : Скифия-Принт, 2014.
9. Соколов, Н. Е. Архитектура предприятия / Н. Е. Соколов, В. А. Кокунов, С. В. Солоненко. - СПб. : Скифия-Принт, 2014.
10. Карпухин, Н. В. Методические материалы по разработке элементов электронного учебно-методического комплекса / Н. В. Карпухин, Б. И. Рыпин, Н. Е. Соколов, А. И. Стригун. - СПб. : МБИ, 2006.
11. Соколов, Н. Е. Методика компьютерного адаптивного тестового контроля знаний учащихся (в курсе информатики) : дис. ... канд. пед. наук / Соколов Н. Е. -СПб., 2000.
References
1. Karpukhin N. V., Karpova T. S., Rypin B. I., Sokolov N. E., Strigun A. I., Tazetdinov A. D.
Elektronnoe obuchenie (organizatsiya, metodika, tekhnologiya i praktika primeneniya v MBI): monogr. [Electronic education (organization, methods, technology and practice of MBI application): monograph]. Saint-Petersburg: Izd-vo ANO VPO «Mezhdunarod-nyy bankovskiy institut», 2008.
2. Kalyazina D. M., Sokolov N. E., Fedorova A. E. Izvestiya vysshikh uchebnykh zavede-niy. Povolzhskiy region. Gumanitarnye nauki [University proceedings. Volga region. Humanities]. 2014, no. 4 (32), pp. 211-218.
3. Sokolov N. E. Aktual'nye problemy ekonomiki i novye tekhnologii prepodavaniya (Smir-novskie chteniya): sb. tr. Mezhdunar. nauch.-prakt. konf. [Topical problems of economics and new teaching technologies (Smirnovskie reading)]. ANO VPO «Mezhduna-rodnyy bankovskiy institut». Saint-Petersburg: MBI, 2012, pp. 100-102.
4. Semenov S. P., Seregin V. D., Tatarintsev P. B. Vestnik Yugorskogo gosudarstvennogo universiteta [Bulletin of Yugra State University]. 2011, no. 3 (22), pp. 31-44.
5. Makhov A. M., Sokolov N. E. Razrabotka i ispol'zovanie testovykh zadaniy: metod. rekomendatsii dlya prepodavateley [Development and usage of tests: methodological recommendations for teachers]. Saint-Petersburg: Izd-vo SPbGUP, 2002, 24 p.
6. Abramyan G. V., Katasonova G. R. Fundamental'nye issledovaniya [Fundamental research]. 2014, no. 8 (7), pp. 1647-1652.
7. Lukavyy A. P., Sokolov N. E., Elovikov A. B. Modelirovanie biznes-protsessov [Business process modeling]. Saint-Petersburg: Skifiya-Print, 2014.
8. Sokolov N. E., Kokunov V. A. Metodologiya i tekhnologiya proektirovaniya informatsi-onnykh sistem [Information system design methods and technology]. Saint-Petersburg: Skifiya-Print, 2014.
9. Sokolov N. E., Kokunov V. A., Solonenko S. V. Arkhitekturapredpriyatiya [Enterprise structure]. Saint-Petersburg: Skifiya-Print, 2014.
10. Karpukhin N. V., Rypin B. I., Sokolov N. E., Strigun A. I. Metodicheskie materialy po razrabotke elementov elektronnogo uchebno-metodicheskogo kompleksa [Methodological materials on electronic educational complex' elements development]. Saint-Petersburg: MBI, 2006.
11. Sokolov N. E. Metodika komp'yuternogo adaptivnogo testovogo kontrolya znaniy uchashchikhsya (v kurse informatiki): dis. kand. ped. nauk [Student knowledge computer adaptive testing methods: dissertation to apply for the degree of the candidate of pedagogical sciences]. Saint-Petersburg, 2000.
Седов Максим Сергеевич аспирант, ассистент, кафедра математики и моделирования, Петербургский государственный университет путей сообщения Императора Александра I (Россия, г. Санкт-Петербург, Московский пр., 9)
E-mail: maarcss@gmail.com
Sedov Maksim Sergeevich Postgraduate student, assistant, sub-department of mathematics and modeling, Petersburg State Transport University
(9 Moskovsky avenue, Saint-Petersburg, Russia)
Соколов Николай Евгеньевич кандидат педагогических наук, доцент, кафедра математики и моделирования, Петербургский государственный университет путей сообщения Императора Александра I (Россия, г. Санкт-Петербург, Московский пр., 9)
E-mail: n_e_sokolov@mail.ru
Соколова Екатерина Васильевна аспирант, ведущий специалист Центра подготовки кадров высшей квалификации, Санкт-Петербургский государственный университет аэрокосмического приборостроения (Россия, г. Санкт-Петербург, ул. Большая Морская, 67)
E-mail: dissovety_guap@mail.ru
SokolovNikolay Evgen'evich Candidate of pedagogical sciences, associate professor, sub-department of mathematics and modeling, Petersburg State Transport University (9 Moskovsky avenue, Saint-Petersburg, Russia)
Sokolova Ekaterina Vasilyevna Postgraduate student, leading expert of the Center of high proficiency personnel training, Saint-Petersburg State University of Aerospace Instrumentation (67 Bolshaya Morskaya street, Saint-Petersburg, Russia)
УДК 378.146 Седов, М. С.
Исследование влияния формы проведения педагогического теста на объективность оценки / М. С. Седов, Н. Е. Соколов, Е. В. Соколова // Известия высших учебных заведений. Поволжский регион. Гуманитарные науки. - 2015. - № 4 (36). - С. 269-279.
