CC BY
61
ПРОБЛЕМЫ. ПОИСК. РЕШЕНИЯ
25 (262) - 2014
УДК 371.315
экспертная система оценки
инновационных и технологических качеств электронных образовательных
ресурсов*
С.Н. ЛАРИН,
кандидат технических наук, старший научный сотрудник E-mail: larinsn@cemi.rssi.ru У.Х. МАЛКОВ,
кандидат физико-математических наук, ведущий научный сотрудник E-mail: malkov@cemi.rssi.ru
Центральный экономико-математический институт РАН Н.М. БАРАНОВА,
кандидат педагогических наук, доцент кафедры экономико-математического моделирования E-mail: bar@economist.rudn.ru Российский университет дружбы народов
В статье раскрываются проблемы формирования экспертной системы оценки инновационных и технологических качеств разработанных электронных образовательных ресурсов (ЭОР). Раскрыта сущность экспертной оценки качественных характеристик ЭОР, представлены основные составляющие проведения этой процедуры, а также определены применяемые технологические подходы и уточнены основные цели экспертизы применительно к оценке ЭОР. Раскрыто содержание выделенных составляющих экспертной оценки качественных характеристик ЭОР. Отмечено, что полученные авторами результаты будут интересны как для педагогов, практикующих обучение с использованием ЭОР, так и для их разработчиков.
Ключевые слова: информатизация, сфера образования, электронный образовательный ресурс,
* Исследование выполнено при финансовой поддержке Российского гуманитарного научного фонда, проект № 13-06-00006а «Методология экспертной оценки качества электронных образовательных ресурсов».
экспертиза, инновационные и технологические качества, методы, подходы, экспертная оценка
Как известно, основной целью формирования экспертной системы оценки инновационных и технологических качеств разработанных электронных образовательных ресурсов (ЭОР) в процессе их функционального тестирования является обнаружение ошибок в программном обеспечении (ПО) и выявление расхождений со спецификацией, а не демонстрация того, что работа ПО ЭОР соответствует внешней спецификации. В этой связи наиболее трудным для понимания и практического применения в составе экспертной системы является процесс системного тестирования ПО ЭОР. Оно не сводится к тестированию отдельных функций или ПО ЭОР в целом, поскольку это было бы излишним дополнением к процессу функционального тестирования. Вместо этого системное тестирование
решает отдельную задачу сопоставления результатов реализации ПО ЭОР с изначально сформулированными для нее целями [1], что позволяет сделать два вывода:
1) применение системного тестирования в составе экспертной системы представляет собой попытку продемонстрировать, какие из стоящих перед ПО ЭОР целей не реализуются;
2) системное тестирование по определению невозможно, если отсутствует документ, отражающий набор измеримых целей, достижение которых должно обеспечить ПО ЭОР.
В отличие от функциональных тестов использовать внешнюю спецификацию в качестве основы для получения системных тестов нельзя, поскольку это противоречит самой цели системного тестирования ПО ЭОР. С другой стороны, одного документа, описывающего целевые задачи ПО ЭОР, будет явно недостаточно для формулирования тестов, поскольку такой документ по определению не может содержать точных описаний всей совокупности внешних интерфейсов ПО ЭОР. Эта проблема разрешается за счет пользовательской документации к ПО ЭОР или других доступных документов. При таком подходе системные тесты проектируются на основе анализа документированных целей ПО ЭОР, а формулируются на основе анализа пользовательской документации [3, 6]. Это позволяет сравнивать не только ПО ЭОР с исходным документом, содержащим описание его целевых задач, и пользовательской
документацией, но и саму пользовательскую документацию с исходным вариантом ПО ЭОР.
Таким образом, основное назначение системного тестирования в составе экспертной системы оценки инновационных и технологических качеств разработанных ЭОР заключается в сравнении работы исходного варианта ПО с документом, описывающим цели его создания [7, 8]. Однако в практике экспертной деятельности по оценке различных качеств разработанных ЭОР общепризнанных методологий проектирования такого рода тестов на сегодняшний день не существует.
В связи с этим для проектирования системных тестов ПО ЭОР воспользуемся другим подходом. Вместо того, чтобы изобретать какую-либо методологию, рассмотрим различные составляющие системных тестов и попробуем спроектировать из них свой набор, включающий в себя 15 основных составляющих, которые в той или иной степени помогут провести экспертную оценку инновационных и технологических качеств разработанных ЭОР [2, 5]. Безусловно, не все они в равной степени применимы к каждому ПО ЭОР, но, чтобы не упустить каких-то важных деталей, при проектировании тестов целесообразно исследовать возможности применения каждой из основных составляющих, приведенных в таблице. В последующем это позволит перейти к формированию экспертной системы оценки инновационных и технологических качеств, разработанных ЭОР.
Основные составляющие системных тестов и их краткое описание
Основные составляющие Описание основных составляющих
Возможности Проверяется полнота реализации функциональных возможностей и соответствие заявленным целям
Предельные объемы данных Проверяется способность ПО ЭОР обрабатывать завышенные объемы данных
Нагрузочное тестирование Проверяется работоспособность ПО ЭОР в условиях параллельной обработки завышенных объемов данных
Удобство использования Оценивается удобство взаимодействия пользователя с ПО ЭОР
Безопасность Проверяются возможности обойти средства защиты ПО ЭОР
Производительность Определяется соответствие ПО ЭОР требованиям производительности и скорости отклика
Память Проверяется способность эффективного использования оперативной и долговременной памяти ПО ЭОР
Конфигурация Проверяется работоспособность ПО ЭОР в рекомендованных конфигурациях
Совместимость Проверяется совместимость новых версий ПО ЭОР с предыдущими
Установка Проверяется возможность установки ПО ЭОР на всех поддерживаемых платформах
Надежность Определяется соответствие ПО ЭОР основным показателям надежности (длительность непрерывной работы, средняя продолжительность наработки на отказ и др.)
Восстановление Определяется способность средств восстановления ПО ЭОР выполнять свои функции
Обслуживание Выявляется наличие событий ПО ЭОР, требующих оказания технической поддержки
Наличие документации Проверяется наличие всего комплекта документации
Соблюдение основных процедур Определяется точность специальных процедур, обеспечивающих использование или обслуживание ПО ЭОР
Наиболее очевидной составляющей экспертной оценки системного тестирования является определение возможностей, которые фактически реализуются в ПО ЭОР. Экспертная оценка фактически реализуемых ПО ЭОР возможностей осуществляется путем последовательного изучения описания каждой цели и наличия соответствующих предписаний. Экспертная оценка проводится на предмет удовлетворения ПО ЭОР требованию выполнения данного предписания [4]. В ряде случаев для этого вполне достаточно сравнить описание целей создания ЭОР с пользовательской документацией ПО ЭОР. Вместе с тем обычно составляется соответствующий контрольный список, который гарантирует, что при следующем выполнении этого теста все целевые возможности ПО ЭОР будут проверены.
Основная цель экспертной оценки системного тестирования на больших объемах данных заключается в выявлении способностей ПО ЭОР справиться с обработкой объемов данных, специфицированных в ее исходных целях. Для этого обычно запускают компилляцию ПО ЭОР с исходным кодом немыслимо большого размера или загружают в имитатор электронную схему, содержащую несколько миллионов компонентов. В результате выявляется способность или, наоборот, неспособность работы ПО ЭОР на больших объемах данных.
Экспертная оценка работоспособности ПО ЭОР в условиях параллельной обработки завышенных объемов данных характеризует возможности его работы в условиях обработки пикового объема данных или выполнения пикового количества операций в течение короткого промежутка времени. Этот вид оценки применим к ПО ЭОР, работающим в условиях переменной нагрузки, а также к интерактивным программам, работающим в режиме реального времени или управляющими различными процессами. Если предполагалось, что ПО ЭОР должно поддерживать не более 15 параллельно выполняющихся задач, то нагрузочное тестирование должно заключаться в том, чтобы попытаться одновременно запустить именно столько задач. После чего эксперты оценивают работоспособность ПО ЭОР в режиме этой составляющей системного тестирования.
Типичным объектом нагрузочных тестов являются WEB-приложения. Цель их тестирования заключается в том, чтобы убедиться, что само приложение, равно как и оборудование, может
справиться с запланированным количеством одновременно обслуживаемых пользователей.
Методика тестирования удобства использования существует почти 30 лет, но ее значимость только возрастает в связи с появлением ПО ЭОР, в большей степени основанного на графических интерфейсах, и глубоким проникновением компьютерных технологий во все сферы жизнедеятельности человека. Поставив перед пользователем задачу протестировать ПО ЭОР в реальной среде, можно выявить проблемы, которые нелегко обнаружить даже при использовании автоматизированных методик тестирования. Данное обстоятельство только подчеркивает важность и правомерность включения этой составляющей в состав основных.
Экспертная оценка безопасности ПО ЭОР заключается в предотвращении несанкционированного доступа к данным. Для этого создаются тесты, которые обходят механизмы защиты памяти операционной системы или механизмы защиты данных в системах управления базами данных (СУБД). Одним из путей разработки таких тестов является изучение известных проблем защиты в аналогичных системах и генерация тестов, которые выявляют наличие сравнимых проблем в тестируемом ПО ЭОР. В более строгом тестировании безопасности по сравнению с большинством других приложений часто нуждаются WEB-приложения.
К производительности или эффективности многих ПО ЭОР часто предъявляются особые требования. В описаниях целей для ПО ЭОР содержатся формулировки, устанавливающие требуемые значения таких характеристик, как время реакции на действия пользователя или пропускная способность, которые она должна обеспечивать в условиях определенных нагрузок и конфигураций. Поскольку системное тестирование направлено на демонстрацию несоблюдения требований данной программой, то целью тестирования производительности должно быть получение доказательств того, что ПО ЭОР не обладает требуемыми характеристиками производительности, или наоборот, соответствует им.
Описания целей ПО ЭОР иногда содержат формулировки, касающиеся памяти, такие как объем используемой системной памяти, а также объем внешней памяти, которая отводится для хранения временных файлов. В ходе экспертной оценки и тестирования памяти требуется установить, что ПО ЭОР в состоянии контролировать потребляемые
ею объемы системной памяти, дабы исключить возможное отрицательное воздействие на остальные процессы, выполняющиеся в системе. То же самое относится и к хранению физических файлов в файловой системе. Заполнение доступного дискового пространства может привести к значительному увеличению времени простоя. Тесты необходимо проектировать так, чтобы с их помощью можно было доказать, что поставленные перед ПО ЭОР цели в отношении использования памяти не достигаются.
Сегодня многие операционные системы, системы управления базами данных и программы обмена сообщениями поддерживают широкое разнообразие конфигураций оборудования, включая всевозможные типы устройств ввода-вывода и коммуникационных каналов. Нередко число возможных конфигураций настолько велико, что об индивидуальном тестировании каждой из них не может быть и речи, но, по крайней мере, в ходе конфигурационного тестирования необходимо тестировать каждый тип аппаратного устройства, а также минимальную и максимальную его конфигурации.
Многие современные ПО ЭОР проектируются с учетом возможности их работы в различных операционных системах. Тестирование таких ПО ЭОР должно выполняться во всех операционных системах, на работу в которых они рассчитаны. Программы, предназначенные для выполнения с использованием WEB-браузеров, требуют особого внимания, поскольку существует множество типов браузеров, и не все они реализуют одни и те же функции одинаково. Кроме того, один и тот же браузер будет по-разному работать в различных операционных системах.
Экспертные оценки при тестировании совместимости направлены на выявление соответствия ПО ЭОР целевым критериям совместимости, определения ситуации, когда процедуры перехода не работают. В соответствии с этим в ходе тестирования необходимо попытаться сгенерировать ошибки при переносе данных из одной системы в другую. В качестве примера можно привести обновление СУБД. В данном случае требуется убедиться в том, что новая версия поддерживает существующие данные. Точно так же нужно проверить, что новая версия текстового процессора поддерживает прежние форматы документов. Для подобного тестирования имеется целый ряд методик, однако их конкретный выбор в значительной мере определяется особенностями используемой системы.
Процедуры установки некоторых типов программного обеспечения отличаются сложностью. Поэтому экспертные оценки при тестировании установки ПО ЭОР являются важной частью процесса системного тестирования. Особенно это касается систем автоматизированной установки, являющихся частью программного пакета. Если программа установки (инсталлятор) работает неправильно, то пользователь вообще не сможет нормально эксплуатировать ПО ЭОР. Пользователь впервые сталкивается с приложением в процессе его установки. И если установка проходит некорректно, то пользователь, очевидно, попытается найти другой подходящий продукт.
Экспертная оценка при любом виде тестирования повышает надежность ПО ЭОР, но если в описании целей особо оговариваются критерии надежности, то для проверки их соблюдения должно быть выполнено отдельное тестирование надежности. Иногда это может вызывать трудности. К надежности многих современных программных систем, решающих критически важные задачи, предъявляются очень высокие требования. Разумеется, всегда есть возможность использовать для тестирования ПО ЭОР более мягкие критерии надежности, а именно: среднее время наработки на отказ, другие приемлемые критерии проверки надежности. Для подобных случаев существуют, в частности, статистические, программные и основанные на проверке моделей методологии тестирования. Несмотря на всю сложность проведения тестирования надежности ПО ЭОР, в наше время без этого уже нельзя обойтись, а значение систем, которые должны обеспечивать длительные сроки безотказной работы, со временем будет только увеличиваться.
К операционным системам, СУБД или приложениям для дистанционной обработки данных часто предъявляются требования, касающиеся их способности к восстановлению. Они описывают, каким образом система должна восстанавливаться в случае программных ошибок, аппаратных сбоев и ошибок данных. Одна из целей системного теста — доказать корректное выполнение этих функций восстановления ПО ЭОР. Для этого можно намеренно ввести в систему программные ошибки и проверить, как скоро удастся после этого восстановить ее работоспособность. Можно имитировать сбои оборудования, а также ошибки данных или использовать недействительные указатели при обра-
щении к СУБД, а затем проанализировать реакцию ПО ЭОР на их возникновение. При этом одним из основных требований является минимизация среднего времени восстановления после сбоев.
В требованиях к ПО ЭОР могут содержаться положения, касающиеся характеристик удобства обслуживания или сопровождения. Такие требования могут определять список дополнительных сервисов, предоставляемых вместе с ПО ЭОР, среднее время отладки при устранении простых проблем, процедуры обслуживания, а также качество документирования внутренней логики. Соответствие программы всем этим требованиям должно быть проверено отдельными тестами удобства обслуживания. На основании их результатов делается заключение о соответствии характеристик удобства обслуживания или сопровождения ПО ЭОР.
Проверка наличия всего комплекта документации определяет тот или иной способ представления описанных ранее системных тестов. Кроме того, она позволяет проверять точность и ясность изложения основных положений экспертной оценки пользовательской документации. Любые примеры (тесты), фигурирующие в документации, должны кодироваться и пропускаться через ПО ЭОР.
Многие программы входят в качестве составных частей в более крупные, не полностью автоматизированные системы, которые включают процедуры, выполняемые непосредственно человеком. Эти процедуры должны проверяться путем тестирования в ходе проведения системных тестов. Например, администратор баз данных (БД) должен документировать процедуры архивирования и восстановления БД. Если имеется такая возможность, тестировать эти процедуры должен человек, не связанный с администрированием БД. В то же время для адекватного тестирования процедур необходимы соответствующие ресурсы, которые нередко могут понадобиться для закупки оборудования и лицензирования дополнительного программного обеспечения.
При проведении экспертной оценки ПО ЭОР путем системного тестирования их инновационных и технологических качеств ключевым является вопрос
о том, кто именно должен его выполнять. Воспользовавшись методом рассуждений «от противного», можно утверждать, что: 1) системное тестирование не должны выполнять сами программисты; 2) из всех этапов тестирования этот единственный, который ни при каких условиях не должен выполняться организацией, ответственной за разработку ПО ЭОР. Очевидно, наиболее экономичным способом проведения экспертной оценки ПО ЭОР путем системного тестирования является заключение договора на их проведение с независимой компанией.
Список литературы
1. Иванов Д.А. Экспертиза в образовании. М.: Академия, 2008. 336 с.
2. Полат Е.С., БухаркинаМ.Ю. Современные педагогические и информационные технологии в системе образования: учеб. пособие. М.: Академия, 2007. 368 с.
3. Роберт И.В. Теория и методика информатизации образования (психолого-педагогический и технологический аспекты). М.: ИИО РАО, 2007. 234 с.
4. Толковый словарь терминов понятийного аппарата информатизации образования. М.: ИИО РАО, 2006. 88 с.
5. Хрусталёв Е.Ю., Ларин С.Н. Использование информационных ресурсов и технологий для стимулирования инновационного развития экономики // Национальные интересы: приоритеты и безопасность. 2011. № 32. С. 2-11.
6. Хрусталёв Е.Ю., Баранова Н.М. Семантико-ориентированная методология обучения студентов в информационно-коммуникативной среде университета // Национальные интересы: приоритеты и безопасность. 2011. № 21. С. 11-18.
7. Хрусталёв Е.Ю., Баранова Н.М. Интеллектуальные семантические модели для повышения качества образовательных и научно-исследовательских процессов // Экономический анализ: теория и практика. 2013. № 35. С. 2-10.
8. Хуторской А.В. Дидактическая эвристика: теория и технология креативного обучения. М.: Изд-во МГУ, 2003.
Problem. Research. Solution
EXPERT SYSTEM OF ASSESSMENT FOR INNOVATION AND TECHNOLOGICAL QUALITIES
OF ELECTRONIC EDUCATIONAL RESOURCES
Sergei N. LARIN, Ustav Kh. MALKOV, Nina M. BARANOVA
Abstract
The article describes the problems of formation of evaluation expert system for innovation and technological qualities developed electronic educational resources (EER). The authors reveal the essence of expert evaluation of qualitative characteristics of EER; define the principal components of this procedure, the technological approaches and the main purpose of examination for assessing the EER. The paper discloses the content of selected components of an expert evaluation of qualitative characteristics of EER. The work points out that the results will be interesting as to teachers training with use of EER and their developers.
Keywords: informatization, sphere, education, e-learn-ing resources, expertise, innovation, technological quality, methods, approaches, expert evaluation
References
1. Ivanov D.A. Ekspertiza v obrazovanii [Examination in education]. Moscow, Akademiia Publ., 2008, 336 p.
2. Polat E.S., Bukharkina M.Iu. Sovremennye peda-gogicheskie i informatsionnye tekhnologii v sisteme obrazovaniia: uchebnoe posobie [Modern teaching and information technology in education: a textbook]. Moscow, Akademiia Publ., 2007, 368 p.
3. Robert I.V. Teoriia i metodika informatizatsii obrazovaniia (psikhologo-pedagogicheskii i tekhnolog-icheskii aspekty) [Theory and methods of informatization of education (psycho-pedagogical and technological aspects)]. Moscow, IIE RAS Publ., 2007, 234 p.
4. Tolkovyi slovar' terminovponiatiinogo apparata informatizatsii obrazovaniia [Glossary of the terms of the conceptual apparatus of education informatization]. Moscow, IIE RAS Publ., 2006, 88 p.
5. Khrustalev E.Iu., Larin S.N. Ispol'zovanie infor-matsionnykh resursov i tekhnologii dlia stimulirovaniia
innovatsionnogo razvitiia ekonomiki [Use of information resources and technology for incentive of the innovative development of economy]. Natsional'nye interesy: prioritety i bezopasnost'—National interests: priorities and security, 2011, no. 32, pp. 2-11.
6. Khrustalev E.Iu., Baranova N.M. Semantiko-orientirovannaia metodologiia obucheniia studentov v informatsionno-kommunikativnoi srede universiteta [Semantic-oriented methodology for teaching students in information and communication environment of the University]. Natsional'nye interesy: prioritety i bezopasnost' — National interests: priorities and security, 2011, no. 21, pp. 11-18.
7. Khrustalev E.Iu., Baranova N.M. Intellektual'nye semanticheskie modeli dlia povysheniia kachestva obrazovatel'nykh i nauchno-issledovatel'skikh prot-sessov [Intelligent semantic model to improve the quality of educational and research processes]. Ekonom-icheskii analiz: teoriia ipraktika—Economic analysis: theory and practice, 2013, no. 35, pp. 2-10.
8. Khutorskoi A.V. Didakticheskaia evristika: te-oriia i tekhnologiia kreativnogo obucheniia [Didactic heuristics: theory and technology of creative learning]. Moscow, MGU Publ., 2003.
Sergei N. LARIN
Central Economics and Mathematics Institute, RAS, Moscow, Russian Federation larinsn@cemi.rssi.ru Ustav Kh. MALKOV
Central Economics and Mathematics Institute, RAS,
Moscow, Russian Federation
malkov@cemi.rssi.ru
Nina M. BARANOVA
People's Friendship University of Russia,
Moscow, Russian Federation
bar@economist.rudn.ru
