CC BY
21
5. Суханова И.Ф. Закономерности развития интеграционных отношений России в условиях становления рыночной экономики: дисс. докт. эконом. наук. М.: 2001. С. 29.
6. Третьяк В.П. Квазиинтеграция: природа, формы проявления.// Современные проблемы экономической теории. М.: МГУ. 2004. 84 с.
7. Уорнер М., Витцель М. Виртуальные организации. Новые формы ведения бизнеса в XXI веке. М.: Добрая книга, 2005. 296 с.
8. Шерешева М.Ю. Межорганизационные сети в системе форм функционирования современных отраслевых рынков: дисс. докт. эконом. наук. - М.: 2006. С. 86.
9. Goldman S.L., Nagel R.N., Preiss, K. (1994) Agile Competitors and Virtual Organizations. New York: Van Nostrand Reinhold Pub. Wiley. 414 p.
10. http://www.3dnews.ru
УДК 631
ИНТЕРНЕТ-ЭКЗАМЕН И ТЕСТИРОВАНИЕ КАК ЭЛЕМЕНТ УПРАВЛЕНИЯ КАЧЕСТВОМ ОБРАЗОВАТЕЛЬНЫХ УСЛУГ
О.В.Парфентьева1
Сибирская академия права, экономики и управления, 664025, г. Иркутск, ул. Сурикова, 21.
Рассмотрены: методика проведения и анализ результатов Интернет - экзамена в образовательном учреждении на примере тестирования студентов НОУ ВПО «Сибирская академия права, экономики и управления». По результатам тестирования студентов предложены возможные варианты управленческих решений, направленных на повышение качества образовательных услуг. Библиогр.3 назв.
Ключевые слова: совершенствование организации управления в сфере услуг в условиях рынка; методология развития бизнес-процессов и бизнес - планирования в сфере услуг; управление производственной программой в различных условиях хозяйствования подразделения организации; теоретические и методологические основы эффективности развития предприятий; отраслей и комплексов народного хозяйства.
AN INTERNET-EXAM AND TESTING AS ELEMENTS OF MANAGEMENT OF QUALITY OF EDUCATIONAL
SERVICES
O.V. Parfentjeva
Siberian Academy of Law, Economics and Management 21 Surikov St., Irkutsk, 664025
The author considers the procedure and the analysis of the Internet-exam results in an educational institution on example of testing of students in the Private Educational Institution of Higher Professional Education "Siberian Academy of Law, Economics and Management". Based on the results of students' testing the author suggests possible variants of management solutions directed at the enhancement of the quality of educational services. 3 sources.
Key words: perfection of the management organization in the sphere of services under market conditions; methodology of development of business-processes and business-planning in the sphere of services; production program control under different conditions of management of an organization subdivision; theoretical and methodological bases of the efficiency of enterprise development; branches and complexes of national economy.
В свете решений Болонского процесса на первое место среди приоритетов в сфере высшего профессионального образования выдвинуто обеспечение качества образования и системы управления им. Качество образовательных услуг находит свое отражение в реализации требований государственного образовательного стандарта в процессе обучения. Существуют различные методики оценки качества образовательных услуг: в процессе Интернет - экзамена; на основе аттестационных педагогических измерительных материалов; на основе аттестационных тестов, применяемых в процессе комплексной оценки деятельности образовательного учреждения.
Одним из эффективных методов определения качества образования является Интернет - экзамен в сфере высшего профессионального образования. Ос-
новная задача проведения экзамена заключается в выявлении степени освоения основной образовательной программы и соответствия полученных студентами знаний требованиям государственных образовательных стандартов. При этом определяющую роль играют знания, полученные не отдельным студентом, а всей группой, которая представлена в выборке. При проведении экзамена используется методика, близкая к методике проведения аттестационных педагогических измерений.
Рассмотрим педагогический анализ результатов тестирования студентов на основе дисциплинарного подхода на примере НОУ ВПО «Сибирская академия права, экономики и управления». Федеральный Интернет-экзамен проводился в январе 2008 года, на тот момент вуз имел статус института. В режиме off-line
1Парфентьева Ольга Васильевна, кандидат экономических наук, доцент, тел.: (3952)201952, e-mail: [email protected] Parfentjeva Olga Vasiljevna, a candidate of economical sciences, an associate professor, tel.: (3952)201952, e-mail: [email protected]
было получено сто процентов результатов тестирования студентов.
Непременным условием качества образования является освоение учащимися всех циклов дисциплин по основным образовательным программам. Такой подход далеко не случайный. Цель высшего профессионального образования заключается не только в том, чтобы дать определенную сумму профессиональных знаний и навыков, но и сделать все для всестороннего развития личности. По циклу общих гуманитарных и социально-экономических дисциплин высшего профессионального образования тестирование проводилось по трем дисциплинам. Процент студентов, освоивших 100% дидактических единиц, по дисциплине «Отечественная история» составил 62%. По дисциплинам «Культурология» и «Философия» -значительно выше - 92%. Цифры показывают, что качество подготовки соответствует требованиям государственного образовательного стандарта.
По циклу общих математических и естественнонаучных дисциплин по специальности 080109 «Бухгалтерский учет, анализ и аудит» выявлялась степень освоения дисциплины «Концепции современного естествознания». Процент студентов, освоивших 100% дидактических единиц, составил 54%.Следовательно, качество подготовки соответствует требованиям государственного образовательного стандарта. Диаграмма ранжирования вуза по показателю освоения дисциплины «Статистика» приведена по циклу общепрофессиональных дисциплин. Несмотря на сложность дисциплины, показатель степени освоения достаточно высокий - 77%,что соответствует требованиям государственного образовательного стандарта.
Далее дается более детальный анализ степени освоения дисциплин. В частности, устанавливается два критерия степени освоения дисциплины: К1 - процент студентов, освоивших 100% дидактических единиц, и К2 -процент студентов, освоивших 70% дидактических единиц, то есть условно освоивших дисциплину. Неполный процент освоения дисциплины обеспечивает такой уровень подготовки, который позволяет в процессе дальнейшего обучения и практической деятельности повысить качество за счет самостоятельного изучения. То есть у студентов заложены основополагающие знания, которые необходимо расширять и углублять в дальнейшем. Таким образом, выделяются уже три критерия степени освоения дисциплины. Если не менее 50% студентов, которые участвовали в Интернет - экзамене, освоили 100% дидактических единиц, то дисциплина освоена. Если не менее 50% студентов освоили не менее 70% дидактических единиц, то дисциплина освоена условно. Если более 50% студентов, участвовавших в Интернет -экзамене, освоили менее 70% всех дидактических единиц, то дисциплина не освоена.
Выводы по освоению цикла дисциплин могут быть представлены только в том случае, если сумма часов тестируемых дисциплин составляет не менее половины объема часов, отводимых государственным образовательным стандартом на изучение дисциплин цикла. Цикл дисциплин может быть признан освоенным,
освоенным условно либо не освоен. Результаты тестирования студентов наглядно представляются в виде диаграмм ранжирования основных образовательных программ вузов по показателю освоения дисциплины на соответствие требованиям государственных образовательных стандартов программ в различных вузах, которые приняли участие в Интернет - экзамене.
В качестве примера рассмотрим результаты тестирования студентов основной образовательной программы 080109 .65 «Бухгалтерский учет, анализ и аудит». На диаграммах показаны три уровня освоения дисциплин. Нижний квартиль Х % показывает уровень, выше которого по этому показателю находится 75% образовательных учреждений этой группы. Средний уровень М - это медиана, которая соответствует 50% уровню освоения дисциплины. Верхний квартиль Х % показывает уровень, выше которого по этому показателю находится 25% вузов данной группы.
По дисциплине «Философия» процент студентов, освоивших 100% дидактических единиц (К1), составил 92%, процент студентов, освоивших не менее 70% дидактических единиц (К2), составил 100%. По дисциплине «Концепции современного естествознания» процент студентов, освоивших 100% дидактических единиц (К1), составил 54%, процент студентов, освоивших не менее 70% дидактических единиц (К2), составил 92%. По дисциплине «Статистика» процент студентов, освоивших 100% дидактических единиц (К 1), составил 77%. Процент студентов, освоивших не менее 70% дидактических единиц (К2), составил 100%.
В диаграмме ранжирования основных образовательных программ вузов по показателю освоения дисциплины «Философия» на соответствие требованиям государственных образовательных стандартов по укрупненной группе специальностей 080000- Экономика и управление в Интернет - экзамене приняли участие 475 вузов по 926 основным образовательным программам. НОУ ВПО «Сибирская академия права, экономики и управления» (ранее институт) находится в центральной зоне выборки. 92% полученных результатов расположены выше медианы, то есть выше результатов половины представленных вузов и ниже верхнего квартиля, то есть 25% вузов с более высокими показателями. Это говорит о том, что степень освоения дисциплины достаточно высока и, несомненно, соответствует требованиям государственного образовательного стандарта.
По дисциплине «Концепции современного естествознания» в Интернет - экзамене приняли участие 425 вузов по 868 основным образовательным программам. НОУ ВПО «Сибирская академия права, экономики и управления» (ранее институт) находится в центральной зоне выборки. Вместе с тем, имеет место и существенная разница, которая заключается в степени освоения дисциплин. Большая сложность дисциплины «Концепции современного естествознания», которая включает в себя темы по физике, химии, биологии, по сравнению с дисциплиной «Философия» показывает разный процент студентов, полностью освоивших ди-
дактические единицы. Вместе с тем, в обоих случаях вуз находится в центральной зоне выборки. Значения показателей, которые находятся в зоне выборки от 25% до75% , то есть центральной, рассматриваются как нормальные. Порядковые статистики (квартили, медианы) являются устойчивыми к наличию статистических отклонений в «выборке», что позволяет объективно оценить распределение основных образовательных программ по степени освоения. Образовательным учреждениям, которые находятся в зоне выборки ниже этих показателей, следует обратить внимание на необходимость повышения качества подготовки.
В Интернет - экзамене по дисциплине «Статистика» приняли участие 354 вуза по 570 основным образовательным программам. Процент студентов, полностью освоивших все контролируемые дидактические единицы, составил 77. При этом вуз также находится в центральной зоне выборки, выше медианы и ниже верхнего квартиля. Учитывая сложность данной дисциплины, следует отметить высокий процент правильных ответов и степени освоения дидактических единиц. Приведенные данные свидетельствуют о стабильно-высоком уровне преподавания по выбранным дисциплинам всех блоков.
Продолжим рассмотрение третьего уровня анализа на примере основной образовательной программы 080109 .65 «Бухгалтерский учет, анализ и аудит».
Результаты тестирования представляются в нескольких формах. Диаграмма обобщенных результатов тестирования на соответствие требованиям государственного образовательного стандарта по дисциплине «Философия» в целом отражает долю студентов, освоивших дисциплину полностью - 92,3%; долю студентов, освоивших дисциплину условно - 7,7%. Доля студентов, не освоивших дисциплину, отсутствует, поэтому она не отражена в диаграмме.
Диаграмма ранжирования основных образовательных программ вуза по показателю освоения дисциплины на соответствие государственным образовательным стандартам отражает процент студентов, полностью освоивших все контролируемые дидактические единицы дисциплины. Результат составил 92,3%. Далее приводятся требования государственного образовательного стандарта по дисциплине «Философия». Затем они разбиваются на пять дидактических единиц, включающих двадцать шесть тем. Так, по «Философии» выделено пять дидактических единиц: «Что есть философия?», «Философия бытия», «Философия познания», «Философия человека», «Социальная философия». Критерий освоения дидактической единицы составляет 50% выполнения заданий. Так, по дидактической единице «Философия человека» - четыре темы, поэтому критерий освоения дисциплины - два правильно выполненных задания. Для преподавателя важно знать, насколько хорошо студенты освоили каждую дидактическую единицу и тему, чтобы обратить внимание на менее освоенные темы в процессе обучения.
Представлена гистограмма плотности распределения результатов тестирования, где на одной оси
откладывается процент студентов, а на другой - процент выполненных заданий. То есть все студенты распределяются по группам, которые формируются по проценту выполненных заданий. Процент выполненных заданий распределяется по четырем группам, которые можно перевести в принятую систему оценки знаний следующим образом. Количество баллов от 80% до 100% соответствует оценке «отлично»; от 60% до 80% - «хорошо»; от 40% до 60% - «удовлетворительно» и от 0% до 40% равнозначно оценке «неудовлетворительно». В первую группу попали 69 процентов студентов, во вторую группу - 31% студентов, где процент выполнения колеблется от 60 до 80 процентов. В две последние группы не попал ни один студент. То есть все ответы оцениваются на «отлично» и «хорошо». Из гистограммы можно получить более подробную информацию, сделав несложный расчет. Если мы разделим количество студентов, выполнивших определенный процент заданий, на общее количество студентов, принявших участие в тестировании, то получим следующие результаты. Так, 75% заданий выполнили 7, 69% студентов; 80% заданий выполнено 23,08% студентов; 85% заданий выполнили 6,69% студентов; 90% заданий оказались выполнимыми для 38,46% студентов; 95% заданий выполнили 7, 69% студентов; 100% заданий выполнили 15,39% студентов, участвовавших в тестировании. Таким образом, гистограмма позволяет выявить подгруппы студентов с различным качеством подготовки. Данные гистограммы показывают, что процент выполнения заданий студентами находится в диапазоне от 75 до 100 процентов, что свидетельствует о достаточно высоком результате.
Вместе с тем, для преподавателя особенно важно знать, какие темы студенты знают хорошо, а какие темы вызвали у них затруднения. Для этого составляется карта коэффициентов решаемости заданий по темам. На карте на одной оси обозначаются номера заданий, их 26 по дисциплине «Философия». На другой оси обозначается коэффициент решаемости заданий, который изменяется от 0 до 1. Карта решаемости заданий показывает, что в диапазоне от 0,7 до 1 выполнено 21 задание, что составило 81%. Пять заданий выполнено в диапазоне коэффициента решаемости заданий от 0,4 до 0,7, что составило 19%. На следующем уровне решаемости заданий от 0 до 0,4 нет ответов, что подтверждает высокий процент правильных ответов. Вместе с тем, карта решаемости заданий наглядно показывает, что преподавателю следует обратить внимание на более глубокое изучение студентами следующих тем: №4 «Карта мира»,№11 «Основные типы и формы бытия», №12 «Ма-терия»,№18 «Истина и заблуждение», №24 «Наука и техника».
По такому же принципу строится карта освоения дидактических единиц по теме. Только вместо номеров заданий на одной оси указываются дидактические единицы, в нашем примере по дисциплине «Философия» их пять, а на другой оси указывается коэффициент освоения дидактической единицы. Карта коэффициентов освоения дидактических единиц дает более
общее представление об уровне освоения дисциплины, в отличие от карты коэффициентов решаемости заданий. Обе карты, по сути, представляют контрольную карту Шухарта, которая демонстрирует зоны соответствия результатов и отдельные выбросы значений, которые показывают отклонения от нормы. Анализ отклонений позволяет сделать соответствующие выводы. Коэффициент освоения дидактических единиц колеблется в диапазоне от 0,9 до 1, что свидетельствует о том, что контингентом студентов все дидактические единицы освоены на достаточном уровне. Более подробную информацию можно получить по рейтинг - листу, который представляет список студентов, составленный по проценту выполненных заданий теста. По такому же принципу анализируются дисциплины, относящиеся ко всем циклам дисциплин.
В процессе обработки информации результаты представляются на трех уровнях. Первый уровень представления информации предназначен для ректората, второй - для деканов и заведующих кафедрами, третий - для профессорско-преподавательского состава. Каждый из уровней представления информации характеризуется различной степенью анализа и детализации информации. Для ректората важны обобщенные данные, которые показывают место вуза по качеству образовательных услуг среди других образовательных учреждений, равных по статусу.
Первый уровень представления результатов тестирования студентов преследует цель показать ректорату образовательного учреждения уровень качества образования в учебном заведении и насколько оно соответствует требованиям государственного образовательного стандарта. В качестве критерия выполнения требований государственного образовательного стандарта устанавливается процент студентов, освоивших 100% дидактических единиц дисциплин. Если не менее 50% студентов освоили все дидактические единицы, то требования государственного образовательного стандарта выполнены в целом по учебному заведению.
Проведенный анализ позволяет принять управленческие решения, касающиеся качества образования по рассмотренным образовательным программам. На уровне ректората можно сделать вывод о том, что качество образования в НОУ ВПО «Сибирская академия права, экономики и управления» соответствует требованиям государственного образовательного стандарта. Большой интерес для ректората представляет диаграмма ранжирования образовательного учреждения по показателям освоения дисциплины. Диаграмма позволяет увидеть место вуза по качеству подготовки среди других учебных заведений, имеющих аналогичный статус. Анализ позволяет сделать вывод о том, насколько вуз по качеству образования тяготеет к образовательным учреждениям более высокого статуса.
Второй уровень представления результатов тестирования студентов по основным образовательным программам предназначен для деканов и заведующих выпускающими кафедрами. Здесь уже дается более
детальный анализ степени освоения дисциплин, разбитых на дидактические единицы. В случае невыполнения критериев могут быть приняты различные варианты управленческих решений. Например, организация занятий с преподавателями, на которых будет проведен анализ результатов тестирования по каждой дидактической единице и теме. Будет обращено внимание на темы, по которым студенты показали меньший процент освоения. Еще возможны варианты решений: обучение преподавателей на курсах повышения квалификации, усиление контроля со стороны заведующих кафедрами за методикой и качеством преподавания дисциплины, подбор более квалифицированных кадров. Для отработки навыков тестирования у студентов можно увеличить количество часов проведения практических и семинарских занятий в компьютерных классах, где студенты могут отвечать на тесты, разработанные преподавателями образовательного учреждения. Тем более, что преподавательский состав имеет большой опыт по разработке тестов для аттестационных педагогических измерительных материалов, где используется близкая методика оценки полученных результатов и обработка их в программе «Камертон». Программный модуль компьютерного тестирования осуществляет обработку данных по той же методике и формам: «Рейтинг - лист», «Гистограмма», форма «Решаемость заданий» - аналог карты Шухарта решаемости заданий по темам; форма «Диаграмма» - аналог карты Шухарта по дидактическим единицам.
Третий уровень педагогического анализа результатов тестирования рассчитан на профессорско-преподавательский состав образовательного учреждения. Преподаватели непосредственно участвуют в процессе обучения и должны сделать выводы о качестве преподавания по каждой дидактической единице и теме дисциплины тестирования. Такая информация позволяет обратить внимание на более сложные темы либо темы, которым было уделено недостаточно внимания. Меньший процент правильных ответов может быть вызван рядом причин. Какие-то темы представляются менее важными с точки зрения преподавателей, другие темы вызывают меньший интерес со стороны студентов. Также отдельные темы могут быть менее выигрышными с точки зрения подачи материала и быть менее интересными для студентов. Во всех этих случаях для преподавателей наглядно показано, насколько хорошо студенты знают каждую тему из выборки дидактических единиц и на что следует обратить внимание в первую очередь.
Библиографический список
1. Савельев Б.А., Масленников А.С.Оценка уровня обу-ченности студентов в целях аттестации образовательного учреждения профессионального образования: учебное пособие. Йошкар-Ола: Центр государственной аккредитации, 2004. 84 с.
2. www.nika.ru
3. www.informika.ru
