CC BY
36
УДК 51-77
И. И. Еремина, Л. А. Пимукова
МАТЕМАТИЧЕСКАЯ МОДЕЛЬ ОПЫТНО-ЭКСПЕРИМЕНТАЛЬНОЙ ПРОВЕРКИ
ДИАГНОСТИЧЕСКОЙ ПРОГРАММЫ ФОРМИРОВАНИЯ
ИНФОРМАЦИОННО-КОММУНИКАЦИОННОЙ И ПРОФЕССИОНАЛЬНОЙ КОМПЕТЕНТНОСТИ
БУДУЩИХ ИТ-ПРОФЕССИОНАЛОВ
Ключевые слова: информационно-коммуникационная компетентность, информационная образовательная среда, математическая модель обработки эксперимента, будущие ИТ-профессионалы.
В статье рассматривается математическая модель обработки экспериментальных данных диагностической программы формирования информационно-коммуникационной компетентности: модуль статистической обработки ключевых составляющих в информационной образовательной среде, принципы и критерии оценивания элементов информационно-коммуникационной компетентности средствами профессиональной карты.
Key words: information and communication competence, information educational environment, a mathematical model for the
processing of the experiment, the future IT-professionals.
In the article the mathematical model of the experimental data processing diagnostic program for forming of information and communication competence: the statistical processing of the key components of the information educational environment, principles and criteria of evaluation elements of information and communication competence means of professional card.
Среди различных математических методов особую роль в научных исследованиях играет математическое моделирование, поскольку оно позволяет точно фиксировать структурные изменения любой системы и отражать их в количественной форме. Математические модели необходимы для анализа эффективности функционирования образовательных систем, прогнозирования и проектирования их развития. Обращение же к моделям, отражающим закономерности процесса обучения, позволяет управлять, в том числе и, процессом формирования информационно-коммуникационной и
профессиональной компетентности студентов будущих ИТ-профессионалов, учитывая меру влияния различных факторов в условиях информационной образовательной среды, определяющих его успешность.
В настоящее время представлен достаточно обширный математический аппарат для моделирования педагогических объектов (семантические сети, алгебраические методы и др.). Однако в процессе диагностики информационно-коммуникационной и профессиональной компетенции методы математического
моделирования не нашли адекватного своей значимости применения, несмотря на то, что суть процесса формирования компетентностей неразрывно связана с моделированием.
Для проверки диагностической программы формирования информационно-коммуникационной и профессиональной компетентности будущих ИТ-профессионалов в условиях информационной образовательной среды федерального университета был проведен педагогический эксперимент, который состоял в том, исследователи применили свою методику в работе с будущими ИТ-профессионалами и провели измерение показателей
сформированности компетентностей,
свидетельствующих о качестве методики.
Известно, что современные студенты легче справляются с заданиями репродуктивного характера, однако они демонстрируют низкий уровень ориентированности на сложные ситуации и применения правильных управленческих решений в ИТ-среде. Это, в свою очередь, требует формирования определенного уровня
информационно-коммуникационной компетентности (ИКК) студентов, позволяющей им полноценно использовать ИКТ в условиях глобальной компьютеризации человечества. Об эффективности применения информационных технологий можно говорить лишь при условии, когда будущий специалист, мотивирован на их использование, имеет широкий кругозор, владеет программными средствами как общего, так и профессионального назначения, может определить роль и место информационных технологий в своей профессии.
Традиционная форма обучения не в полной мере обеспечивает подготовку
высококвалифицированного специалиста, умеющего работать в условиях компьютеризации сферы деятельности с быстро меняющейся техникой и технологией. Причины этого - не подготовленность современного специалиста. Поэтому становится актуальной проблема поиска методов, форм и средств подготовки будущих ИТ-профессионалов, отвечающих современным требованиям.
Эффективным средством решения такого рода проблем служит информационная образовательная среда (ИОС). Одним из направлений использования ИОС является ее применение, как средства, способствующего развитию информационно-коммуникационной
компетенции, что позволяет привлекать внимание
студентов к особенностям прорабатываемого содержания конкретными примерами и связанными с ними процессами.
Одна из наиболее известных и распространенных систем управления электронным обучением, способная при правильном учебно-методическом обеспечении развивать ИКК является ЬМБ МооШе (модульная объектно-ориентированная динамическая учебная среда). МооШе это успешно действующий и непрерывно развивающийся проект. В настоящее время, на базе системы МооШе организовано дистанционное и электронное обучение во многих крупнейших университетах мира, из 193 стран. Работа с ИОС на платформе ЬМ8 МооШе предоставляет студенту возможность получать значительную индивидуальную помощь в обучении; возможность образовательной среды регистрировать и оценивать результаты индивидуальной работы студента, оказывает серьезное влияние на самооценку студентом возможности его продвижения в изучаемом материале; осуществлять обратнуя связь при помощи гиперссылок, которая оказывается чрезвычайно полезной для каждого студента в отдельности; наличие в основе ИОС мультимедийных и интерактивных технологий значительно повышает уровень восприятия предлагаемой информации.
В КФУ ИОС на базе ЬМ8 МооШе функционирует несколько лет и накоплены определенный опыт работы с нею, а также наблюдения и выводы о влиянии ИОС на учебный процесс и его активных участников - студентов и преподавателей. Основным средством проверки уровня сформированности информационно-коммуникационной и профессиональной
компетентности является итоговый тест по каждому предложенному разделу и решение ситуационных задач.
Необходимо отметить, что одним из важных достоинств тестовых технологий является возможность получения объективных
характеристик, позволяющих оценить качество тестов и их составляющих — тестовых заданий (вопросов).
Эти характеристики рассматриваются и обосновываются в теории педагогических измерений. То, что тесты и составляющие их вопросы многократно используются для больших групп испытуемых, позволяет использовать статистические методы при обработке их результатов для вычисления целого ряда характеристик. Эти величины с помощью теории педагогических измерений могут
интерпретироваться для оценки качества тестов. В основе системы сбора статистики используется метрическая система Раша, позволяющая говорить о качестве педагогических измерений.
Проблема, однако, в том, что статистическая обработка результатов тестирования, вычисления и последующей интерпретации необходимых характеристик являются довольно сложными. Это является серьезным препятствием для
использования этих характеристик широким кругом преподавателей, использующих в своей деятельности задания в тестовой форме, но в большинстве своем не являющихся специалистами в области математической статистики.
В этой связи, одним из достоинств системы управления обучением МооШе является то, что у нее имеются встроенные средства для осуществления такой обработки и вычисления разнообразных характеристик тестов. Тем не менее, к сожалению, приходится констатировать, что в настоящее время мало кто из преподавателей знает и, тем более, практически использует в своей практике эти возможности для оценки качества своих тестовых материалов.
Рассмотрим наиболее важные, на наш взгляд, характеристики оценивания ИКК, которые автоматически формирует система МооШе 2.6.4 по результатам выполнения тестов испытуемыми.
Все характеристики разделены на две группы: первая относится к тесту в целом, вторая — к каждому вопросу или категории вопросов, присутствующему в тесте.
Характеристиками, позволяющими
оценивать качество теста в целом, являются следующие величины.
- Средняя оценка испытуемых — среднее арифметическое по оценкам всех выполняющих тест студентов.
1
Т = з X т.
8 эев
где £ — множество студентов, выполнявших тест, Ts
— оценка за тест ^-го студента.
- Медиана — срединное значение оценок испытуемых Ts.
Именно эта методика легла в основу формирования итоговой таблицы данных пользователя по тесту.
- Стандартное отклонение оценок за тест
— это общепринятая мера вариации полученных испытуемыми тестовых баллов для конкретной группы испытуемых. Оно характеризует дифференцирующую способность теста, то есть его способность разделять испытуемых в группе по уровню подготовки. Эта характеристика определяется по формуле
80^ з-г 5<Т-- Т)2
- Коэффициенты асимметрии и эксцесса
— меры характеризующие отличие формы распределения полученных испытуемыми тестовых баллов от нормального распределения.
- Коэффициент надежности теста, еще называемый альфа Кронбаха
X №)-Р 1-<в - 1)^-
С1С = 100
Р -1
X <Тз - Т)2
где р — номер тестового задания из множества заданий теста Р.
Это средний разброс результатов каждого студента при ответе на все вопросы теста.
/
Чем меньше разброс результатов каждого студента при ответе на вопросы теста по отношению к разбросу суммарных оценок за тест в целом, тем вопросы теста являются более согласованными.
- Стандартная ошибка — оценивает фактор везения и указывает границы погрешности для оценки студента за тест:
ER
SE = — SD 100
Если стандартная ошибка 10% и студент набрал 60% от максимальной оценки, тогда его подлинная оценка будет располагаться в интервале от 50% до 70%.
В теории педагогических измерений считается, что в более хорошем тесте средний арифметический балл испытуемых равен медианному значению оценок используемых заданий, коэффициенты асимметрии и эксцесса не отклоняются от значений для стандартной кривой нормального распределения результатов. Также хорошо, если значения среднего арифметического, моды и медианы совпадают. Это признак точной нацеленности общего уровня трудности теста на уровень подготовленности испытуемых. Так же совпадающие средние значения шкальных баллов, показатели асимметрии и эксцесса позволяют корректно сравнивать распределения результатов по разным тестам.
Вторая группа параметров позволяет оценивать качество конкретных тестовых заданий (вопросов), составляющих тест.
- Индекс легкости — процент студентов, которые ответили на конкретный вопрос теста правильно. Для i-го тестового задания он
определяется по формуле Fi = xi , при
использовании 100-бальной шкалы для оценивания, где усреднение осуществляется по всем испытуемым, выполнившим это задание.
- Стандартное отклонение — характеризует разброс значений оценок испытуемых при ответе на конкретный вопрос теста.
- Случайно угаданная оценка — оценка, которую мог бы получить студент при случайном угадывании ответов.
- Предполагаемый вес — вес, который преподаватель назначил тестовому заданию при формировании сценария теста.
- Эффективный вес — это характеристика того, какова фактическая доля в итоговой оценке студентов за тест определяется конкретным вопросом.
Средствами, заложенными в системе Moodle, проведена статистическая оценка качества вопросов.
Важной статистической характеристикой дифференцирующей способности тестовых заданий, которую позволяют вычислять средства Moodle, является Коэффициент Дифференциации (КД). Считается, что задание обладает достаточной дифференцирующей способностью, если коэффициент дифференциации имеет значение больше или равное 30%.
Анализ величины КД для рассматриваемого случая показал, что 14% использованных в эксперименте тестовых заданий не удовлетворяют этим требованиям (КД < 30%), более того, у одного задания, значение этого коэффициента имеет отрицательное значение (-40,69%), что свидетельствует о явных дефектах вопроса. Статистическая оценка базы тестовых вопросов, позволяет корректировать тест.
Важнейшей характеристикой теста является его надежность, характеризующая
воспроизводимость результатов тестирования и их точность. Коэффициент надежности, это корреляционный коэффициент, показывающий степень совпадения результатов тестирования осуществленного в одинаковых условиях одним и тем же тестом. Надежность теста зависит от ошибки измерений. Когда ошибка отсутствует, коэффициент надежности равен единице. Если измеренный тестовый балл полностью обусловлен ошибкой измерения, то надежность теста равна нулю. Согласно статистической оценке анализируемого теста, ошибка для него составила 5,66%, а коэффициент внутренней согласованности — 95.90%.
Учитывая полученную ранее информацию о качестве тестовых заданий, была проведена статистическая оценка теста с исключением «некачественных» вопросов по разным параметрам.
По результатам анализа можно сделать следующие выводы:
- для тестов, построенных на элементарных («легких») вопросах известные методы повышения надежности не дают ожидаемых результатов;
- малое количество заданий в базе вопросов и в самом тесте приводит к ненадежной оценке качества теста и создает условия для невозможности применения методик его улучшения.
Таким образом, описанная выше и реализованная в сетевой системе управления обучением Moodle система анализа статистических результатов тестирования внутри учебного курса может служить как эффективным инструментом контроля качества создаваемых преподавателем тестовых материалов диагностики
сформированности ИККи профессиональной компетентности со стороны руководства учебного учреждения, так и удобным инструментом для самого преподавателя в процессе совершенствования теста и тестовых заданий для увеличения качества обучения и контроля успеваемости.
Рассмотрим описание и анализ итогов экспериментальной проверки применения информационной образовательной среды КФУ на платформе LMS Moodle и методологию оценки уровня информационно-коммуникационной
компетентности студента (в том числе студента-выпускника) на примере будущих ИТ-профессионалов, подготовка которых
осуществляется по образовательным программам ФГОС ВПО нового поколения.
С целью проведения исследования было организовано 2 группы испытуемых - 255 студентов по 4-м ИТ-направлениям для диагностики формирования ИКК в процессе обучения будущих ИТ-профессионалов в соответствии с их будущими должностными функциями.
В качестве первичного определения полноты теоретических знаний и практических умений в области информатики и ИТ были взяты результаты ЕГЭ по дисциплине «Информатика и ИКТ». Применение критерия Пирсона (х2) при сопоставлении результатов тестирования контрольной и экспериментальной, (таблица 1) позволило сделать вывод об однородности состава групп. Следует отметить некоторое незначительное различие сформированности знаний и умений студентов в зависимости от времени поступления в вуз, что может объясняться демографическими обстоятельствами и ориентацией современной школы на подготовку учащихся к ЕГЭ. Критерий Пирсона позволяет ответить на вопрос о том, закономерно ли различие в распределении частот, с которыми встречаются разные значения признака в двух выборках. Чем большим оказывается расхождение между сопоставляемыми
распределениями, тем больше эмпирическое (вычисляемое) значение х2эксп, при его превышении Х2кр (определяемое по таблице для конкретных условий эксперимента) принимается гипотеза H1.
Для проверки эффективности
формирования профессиональной ИКК в ИТ-сфере, учебно-методических комплексов и реализации выдвинутых педагогических условий формирования профессиональной ИКК инженера-программиста нами на базе Набережночелнинского института ФГАОУ ВПО КФУ составлена профессионально-технологическая карта. Она содержит перечень необходимых ИТ-профессионалу компетенций, направленных на формирование ИКК. В ней выделены, конкретизированы и классифицированы главнейшие формы реализации требований формирования и развития ИКК ИТ-профессионала по 9 тесно взаимосвязанным типам компетенций (среди которых I-VI - взяты из основных образовательных программ высшего
профессионального образования по подготовки 230700.62 Прикладная 080500.62 Бизнес-информатика, Прикладная математика и информатика).
Для студентов профессионально-технологическая карта является программированной основой деятельности, направленной на формирование ИКК. Она перспективно знакомит обучаемых с предстоящими целями работы, к реализации которых студенты приступают по мере профессиональной развитости, выбирая при этом доступные методы для решения задачи.
В качестве конечных результатов (на четвертом курсе) были взяты итоговые баллы сформированности ИКК и профессиональной компетентности с профессионально-
технологической карты студента.
Из предложенных ниже диаграмм 1 и 2
видно, что развитие ИКК студентов экспериментальной группы выше, чем у контрольной группы.
направлениям информатика, 010400.62
Рис. 1 - Результаты развития ИКК контрольной и экспериментальной групп за каждый курс
Рис. 2 - Результаты обработки профессионально-технологической карты формирования информационно-коммуникационной компетентности для контрольной и экспериментальной групп 1 и 4-го курсов
В основу диагностической программы была положена комплексная экспертная оценка проектов, портфолио, информационно-технологической
деятельности в ситуациях неопределенности. Результаты анализа диагностической программы
формирования ИКК студентов в представлены в таблице 1.
Таблица 1. Значение х2 - критерия Пирсона для сопоставления результатов обучения
Нач. Кон.
Контр.гр. Экспер. гр. Контр.гр. Экспер. гр.
«3» 73% 80% 32% 16%
«4» 24% 17% 67% 70%
«5» 3% 3% 1% 14%
х2 1,33 12,93
Превышение экспериментального значения X2 - критерия Пирсона над критическим (Х2кр=5,99146) в конце опытно-поисковой работы, позволяет считать достоверно доказанным, что применение предложенной методики формирования ИКК обеспечивает повышение уровня полноты теоретических знаний и практических умений в области информатики и информационных технологий, что говорит о сформированности у будущих ИТ-профессионалов когнитивно-деятельностного компонента ИКК.
Для определения сформированности личностного компонента ИКК будущих ИТ-специалистов использовались следующие эмпирические методы исследования: наблюдение, беседа, анкетирование, анализ отчетной документации студентов по производственной практике и другие.
Для проведения количественного оценивания сформированности ИКК был использован квалиметрический анализ,
позволяющий определить интегрированный коэффициент (К) уровня сформированности рассматриваемой компетентности будущих ИТ-специалистов.
Методом экспертной оценки были определены весовые коэффициенты каждой составляющей ИКК: а=0,2 (ИКК, выделенные в ФГОС); Ь=0,3 (ИКК, выделенные работодателями); с=0,25 (ценностно-мотивационный компонент); ¿=0,25 (рефлексивно-проектировочный компонент), при этом:
а+b+c+d=1.
В качестве экспертов выступили 15 преподавателей информатики и предметных дисциплин; начальники ИТ-отделов фирм, где студенты проходили практику и сами студенты.
В настоящем исследовании была определена формула для нахождения интегрированного коэффициента уровня
сформированности ИКК:
К= (аК1 +bК2+сК3+dK4) *100%,
где К1,К2,К3К4 — коэффициенты, характеризующие сформированность выделенных нами
составляющих.
Коэффициент, характеризующий
сформированность одной из составляющих, определяется отношением:
К1=п1/п,
где п1— число составляющих освоенных студентом; п — общее число выделенных составляющих.
С использованием метода экспертных оценок были выделены уровни сформированности ИКК будущих ИТ-профессионалов:
К < 70% — пользовательский, К в пределах от 70% до 90% — технологический, К более 90% — профессиональный.
Следует отметить, что пользовательский уровень характеризуется наличием у студентов информационно-коммуникационной компетентности, регламентированных ФГОС ВПО. Технологический и профессиональный уровни сформированности ИКК, кроме указанных компонентов предполагают наличие компетенций работодателя, которые в свою очередь состоят из ценностно-мотивационного и рефлексивно-проектировочного блока.
В ходе опытно-поисковой работы экспертам и студентам предлагались диагностические таблицы. Результаты заполненных таблиц были обобщены и сделаны выводы об уровнях сформированности ИКК.
Таблица 2 - Результаты распределения студентов (%) по уровням формирования ИКК
Уровни формирования информационно-коммуникационной компетентности Учебные курсы
1 курс 2 курс 3 курс 4 курс
Пользовательский уровень 100% 95% 60% 12%
Технологический уровень 0% 5% 40% 57%
Профессиональный уровень 0% 0% 0% 31%
Анализ таблицы позволяет сделать вывод, что у большей части студентов преобладает технологический уровень информационно-коммуникационной компетентности, т.е. будущие ИТ-профессионалы могут использовать
информационные и сетевые технологии в профессиональной деятельности, в том числе в условиях неопределенности ИТ-среды.
Таким образом, приведенные
экспериментальные данные позволяют заключить, что использование предложенного комплекса формирования ИКК в условиях ИОС федерального университета обеспечивает развитие ИКК до высшего профессионального уровня будущих ИТ-профессионалов. Использование вышеизложенной методики позволяет получить объективную информацию о качестве подготовки студентов (выпускников) вузов на основе измерения уровня сформированности их компетенций и оценить соответствие этого уровня требованиям ФГОС
нового поколения. Высокая надежность полученных данных обеспечивается не только тем, что для расчёта уровня сформированности компонентов компетентности используются диагностические средства, качество которых удовлетворяет научно обоснованным критериям, но и предусмотренной возможностью контроля этого качества в процессе заполнения расчёта.
Литература
1. Irina I. Eremina, Gulnara A. Gareeva, Guzaliya R. Mingazova. Information educational environment of the Federal University as one of the leading directions of the improvement of the modern system of professional training of future IT-professionals. Зарубежный научный журнал « Eastern-European Scientific Journal », Выпуск «Eastern-European Scientific Journal», 2013 № 3 / гл. Редактор Moneth M. AURIS Kommunikations- und Verlagsgesellschaft mbH, электронная версия размещена на сайте www.auris-verlag.de
2. Атанасян, С.Л. Формирование информационной образовательной среды педагогического вуза: Автореф. дис. ... д-ра пед. наук / С.Л. Атанасян; Учреждение Российской академии образования «Институт содержания и методов обучения». — М., 2009. — 49 с.
3. Гусева В.Е. Интернет как информационно-образовательная гуманитарная среда современного общества. / В.Е. Гусева // Научный журнал КубГАУ. — 2006. — №24(8).
4. Елизаров В.И., Галеев Э.Р., Мущинин А.В., Смолин Н.Г., Валеев И.М. Состав и структура распределенного компьютерного тренажера. Вестник Казанского технологического университета. Раздел: Управление, информатика и вычислительная техника. 2013. № 20. С. 288-292.
5. Ерёмина И.И., Садыкова А.Г. Теоретические основы и принципы построения информационной образовательной среды федерального университета подготовки IT-профессионалов и ее практическая реализация // Электронный научный журнал «Образовательные технологии и общество» 2013. том 16, №3. / Издательство: официальный журнал Международного Форума "Образовательные Технологии и Общество". С.631-644. ISSN 1436-4522, электронная версия размещена на сайте http://ifets.ieee.org/russian/periodical/V_163_2013EE.html
6. Новые педагогические и информационные технологии в системе образования: учеб. Пособие для студ. высш. учеб. заведений / Е.С. Полад, М.Ю. Бухаркина, М.В. Моисеева, А.Е. Петров; под ред. Е.С. Полад. - 4-е изд., стер. - М.: Издательский центр «Академия», 2009. -272 с.
7. Стариченко Б.Е. Обработка и представление данных педагогических исследований с помощью компьютера / Урал, гос. пед. ун-т. Екатеринбург, 2004. 108 с.
8. Хасанова Г.Ф. E-learning в подготовке инженеров для полимерных производств. Вестник Казанского технологического университета. Раздел: Педагогическая и научная деятельность. 2013. № 4. С. 389-394.
© И. И. Еремина - к.п.н., доцент кафедры математики НХТИ КНИТУ, егетшаи@уаМех.ги; Л. А. Пимукова - старший преподаватель кафедры естественнонаучных дисциплин Набережночелнинского (филиала) КНИТУ - КАИ им.А.Н.Туполева, рптикоуа.МтПа@Ьк.ш.
