CC BY
401
Информатика
УДК 02:004.738.5 ББК 78.34(2)+32.973.202
РАЗРАБОТКА СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА САЙТОВ БИБЛИОТЕК
© О. В. Кулёва, 2009
Государственная публичная научно-техническая библиотека Сибирского отделения Российской академии наук 630200, г. Новосибирск, ул. Восход, 15
Рассматривается проблема обеспечения высокого качества сайтов учреждений культуры. Разработана система оценки качества сайтов библиотек, включающая критерии и процедуру оценки. Базой для определения основных аспектов формирования системы критериев оценки сайта послужили программнотехнический и ресурсный комплексы библиотеки. Описаны методы сбора данных, а также процесс и формы измерения, приемлемые для определения качества сайтов.
Ключевые слова: сайт, библиотека, система оценки качества, принципы определения критериев качества.
The problem of providing high quality of culture institutions sites is considered. The system to assess the quality of library sites including the criteria and the assessing procedure is developed. Software and resources of a library were used as the bases to determine the main aspects of forming the system to assess the quality of a site. The author describes methods to collect data, as well as the process and forms suitable to determine the quality of sites.
Key words: site, library, the system to determine quality, the principles to determine quality criteria.
При проектировании, создании и функционировании сайта как ресурса ключевыми являются критерии и критериальные показатели оценки его качества и эффективности. Представителями стран - членов Европейского союза по вопросам оцифровки национального культурного и научного наследия в Брюсселе (17 июля 2001 г.) разработан документ «Брюссельская структура качества», который приняли за основу при организации проекта Minerva «Определение потребностей пользователей, содержания и критериев качества веб-сайтов по культуре» [6]. В нем представлены десять принципов качества вебсайтов библиотек, музеев, архивов, а также других учреждений и организаций культуры. К ним относятся прозрачность, эффективность, ориентация на пользователя, реактивность, совместимость и др. По каждому принципу определены критерии, которым должен отвечать сайт.
Российские исследователи также занимаются проблемой определения критериев оценки сайтов и их надежности. Специалистами в области библиотечного дела разработана характеристика цен-„ i
ностных свойств сайта , которая изложена в справочнике «Электронные документы...» [7]. К этим
1 Веб-сайт рассматривается как одна из разновидностей электронного документа.
свойствам относятся: актуальность тематики и содержания сайта; полнота сведений об объекте на сайте; оригинальность фиксированного знания; достоверность и точность приведенных сведений об объекте; оперативность отражения и распространения информации; соответствие сайта целям закрепления знания. Специалисты Государственной публичной научно-технической библиотеки России предлагают руководствоваться такими критериями, как авторитетность, точность, объективность, актуальность и охват, которые затрагивают только содержание сайтов, как самое существенное для обеспечения полноты и качества информационных ресурсов [1]. Вопросы формы представления информации, удобства интерфейса и технические характеристики в данном случае не рассматривались. Система критериев оценки сайтов, подготовленная для проведения Первого Всероссийского конкурса сайтов публичных библиотек, организуемого Федеральным агентством по культуре и кинематографии2, Российской библиотечной ассоциацией3 и Межрегиональной ассоциацией деловых библиотек, состоит из четырех блоков: содержание (или контент) сайта, дизайн, технологичность и системность.
2 http://www.library.ru/konkurs/public/pol.php
3 http://www.rba.ru:8101/index.html
Для всестороннего изучения сайтов, а также разработки критериев оценки и многоаспектной системы показателей важным является развитие таких направлений, как вебометрия (сайтометрия и т. д.) и система оценки usability4. В рамках современного направления информационной диагностики, или вебометрии, изучается характер и свойства веб-пространства, в частности сайта, опираясь на опыт библиометрических исследований [2]. Специалисты в области библиотечного дела на основе данного опыта выделяют библиометриче-ские характеристики, с помощью которых выстраивается система показателей, определяющих спрос, цитируемость, экспертную оценку источника информации [3]. Большое распространение в процессе моделирования, поддержки интернет-проектов, а также изучения пользовательского поведения и влияния внутренней сетевой среды на имидж проектов получила система оценки usability [5]. Применение данной системы оценки позволяет добиться высокого уровня обслуживания и комфорта в процессе работы на сайте.
Вместе с тем, как и для любой новой концепции, в становлении системы оценки качества сайтов пока остается много незатронутых вопросов. Первостепенными являются разработка критериальной базы и единой обобщающей методики оценки сайтов библиотек. В вышеперечисленных системах критериев оценки при анализе сайтов предлагается обращать внимание на наличие только отдельных компонентов. Отсутствие единой номенклатуры критериев оценки, четкой процедуры измерения, а также целостного подхода к количественному выражению оценочных характеристик и разработанных презентационных (или оценочных) форм для представления результатов исследования свидетельствует о необходимости проведения серьезных исследований в данном направлении.
Опираясь на предложенные в проекте Minerva десять принципов, нами разработана система оценки качества сайтов библиотек, включающая такие взаимодополняющие и взаимодействующие составные части, как система критериев и процедура оценки. Рассмотрим детально первую часть -систему критериев оценки.
Сайт является сложным интегрированным электронным ресурсом, включающим генерируемые электронные ресурсы (электронный каталог (ЭК), базы данных (БД), электронные библиографические указатели, виртуальные выставки и т. д.),
4 Система usability - это, во-первых, мера качества пользовательского опыта, приобретенного при взаимодействии с продуктом или системой, например веб-сайтом (порталом), программным приложением и т. п., во-вторых, изучение потребительского поведения и влияния внутренней сетевой среды на имидж проектов и т. д.
информацию о библиотеке и ее деятельности и др. Исходя из этого, веб-сайт необходимо описывать через набор сложных оценочных характеристик, составляющих систему критериев оценки. Совокупность взаимосвязанных элементов системы, на наш взгляд, целесообразно дифференцировать на критерии, определяющие ее качество и эффективность. Качество определяется мерой соответствия интегрированного электронного ресурса определенным условиям и требованиям, в числе которых доступность, релевантность и регулярное обновление информационного наполнения (контента) сайтов. Эффективность определяется:
• комфортностью внутренней среды сайта,
• полнотой, точностью и оперативностью обслуживания пользователей,
• экономическими (финансовыми и трудовыми) затратами.
Базой для определения критериев качества конечного результата (сайта) нами определены программно-технический и ресурсный комплексы библиотеки. С учетом экономического комплекса, библиометрических характеристик и изучения работы пользователей определяются критерии эффективности сайта как конечного результата (см. рис. на с. 60).
Это позволяет выделить основные аспекты формирования системы критериев оценки сайтов -содержательное наполнение, дизайн и эргономичность сайта, цитируемость и посещаемость, а также трудовые и финансовые затраты на всех этапах жизненного цикла сайта (от проекта до сопровождения). Инструментами для отражения основных аспектов функционирования сайтов библиотек являются показатели, которые позволяют наиболее точно представлять соответствующие критерии (прил., табл. 1, 2).
Одним из компонентов системы критериев оценки сайта мы выделили «содержательное наполнение», дифференцировав его на два параметра -«информационную структуру» и «контент». Под «информационной структурой» нами понимается логически организованная схема информации о деятельности учреждения, продуктах и услугах, сервисах и службах, расположенных на сайте. Исходя из этого определения, были выделены показатели, позволяющие определить: во-первых, общую характеристику информационной структуры -это наличие структуры, логичность, стилистическое единство и полнота рубрик, подрубрик; во-вторых, установить наличие тех или иных электронных ресурсов (БД, ЭК, электронная библиотека, выставка и т. д.), инновационных услуг (виртуальная библиографическая справка и т. д.), а также полной информации о библиотеке и ее деятельности.
Термин «контент» в информационных технологиях используется в двух значениях: во-первых,
База для создания сайта
Критерии оценки
Программно -технический комплекс
и
5
а
■&
■&
т
Социально-экономический
комплекс
К 1 Ресурсный комплекс Содержательное
1 Б наполнение
С
А
Й
Б
Л
И
О
Т
Е
К
И
Дизайн,
эргономичность
Библиометрические
характеристики
ИйаЫШу-
тестирование
Определение критериев оценки сайта в соответствии с базовыми комплексами библиотеки
включает в себя такие понятия, как «информационные ресурсы», «данные», «документы», «знания» и т. д.; во-вторых, характеризует информационное наполнение сайтов. При определении показателей для системы критериев мы ориентировались на последнее значение, т. е. внимание акцентируется в первую очередь на электронных текстах и учитываются их лексические, грамматические, стилистические характеристики, а также сочетание элементов, присущих веб-пространству, письменному и устному текстам.
Следующим важным компонентом системы критериев является «дизайн и эргономичность» сайта, включающий два блока - дизайн интерфейса и навигацию. При оценке дизайна интерфейса учитывается оформление и композиционное расположение элементов интерфейса. При оценке навигации - навигационные элементы, которые обеспечивают:
• простое, легкое, логичное продвижение по сайту и быстрое нахождение интересующей информации;
• продвижение главных разделов сайта или направлений деятельности;
• видимость пути продвижения по сайту, т. е. местонахождение пользователя.
Компонент «технические характеристики» включает описание используемых основных программно-технических средств, быстродействия, оптимизации сетевого трафика, надежности, безопасности и эффективности технической поддержки.
При изучении эффективности определяется спрос, качество использования веб-сайта, ресурсов и услуг, доступных посредством него, а также затраты на проектирование, создание, продвижение и дальнейшее его сопровождение. Эти критерии раскрываются посредством определения библио-
метрических характеристик, шаЬШ1у-тестирования и экономических затрат.
Однако при построении гибкой системы критериев необходимо учитывать основные качества ценностных свойств - относительность и изменчивость, которые используются для оценки сайта [7]. В зависимости от них, а также от целей и задач проведения обследования сайта(ов) применение тех или иных критериев может меняться и выстраивается достаточно гибкая матрица приоритетности критериев оценки сайта. К тому же существует необходимость в многократном выявлении ценностных свойств на разных этапах проектирования, создания, сопровождения и дальнейшего функционирования вебсайта библиотеки. Например, при проведении конкурса сайтов в библиотечной сфере деятельности обследуется содержательное наполнение, дизайн и эргономичность группы сайтов, а также их библиометрические характеристики. При обследовании сайта в целях его реорганизации необходимо учитывать все основные компоненты двух направлений (критериев качества и эффективности).
Существенное значение при диагностировании сайта имеет установление порядка действий и способов, что позволит добиться высокого качества измерительной информации. Зачастую для всестороннего изучения необходимы сочетание различных методов сбора данных, как эмпирических, так и социологических, а также форм измерения (прил., табл. 1, 2).
Выбранные методы исследования должны обеспечить:
• достоверность - признак достаточности, обоснованности, доказательности данных для объективной характеристики изучаемого показателя;
• валидность - признак качества метода, его способность давать результаты, адекватно отражающие выбранный признак показателя, т. е. именно те результаты, для получения которых он предназначен.
Выбор какой-либо шкалы для измерений или
5
шкалирования определяется характером отношений между объектами, наличием информации и целями исследования. Результативность измерения обеспечивают такие свойства, как воспроизводимость результатов измерений, быстрота их получения и единство измерений. Измерения проводятся с помощью различных шкал, выражающихся в описательных и количественных единицах [4].
Приемлемыми для исчерпывающего измерения
«-.6
сайта можно считать шкалы наименований , по-рядка7 и интервалов8. Необходимо отметить, что в научных исследованиях вопросу разработки процедуры оценки сайтов уделяется незначительное внимание. И в данной статье мы не ставили цели описать четкую процедуру оценки сайтов, а рассмотрели только существующие формы измерения и методы исследования.
Подводя итоги, следует отметить, что упорядоченная система критериев оценки качества сайта библиотеки позволит получить всесторонние и дос-
товерные результаты при исследовании информационного, ресурсного, программно-технического, дизайнерского и эргономического аспектов, а также определить эффективность использования сайта библиотеки в целом.
Список литературы
1. Волкова К. Ю. Проблема измерения качества в библиотеках: применение к оценке ^еЪ-сайтов // Интернет в библиотеке : ежегод. межведомств. сб. науч. тр. - М., 2003. - С. 10-15.
2. Гордукалова Г. Ф. Информационная диагностика объекта // Библиотечное дело. - 2003. - № 9. - С. 19-22.
3. Захаров А. Г., Мешалкин Л. Д., Дубров А. П. Роль фундаментальных библиотек в информационном обеспечении научных исследований // Науч. и техн. б-ки. - 1999. - № 11. - С. 4-16.
4. Орлов А. И. Эконометрика : учеб. для вузов. - М. : Экзамен, 2002. - С. 59-63.
5. Нильсен Я. Дизайн Web-страниц. Анализ удобства и простоты использования. 50 узлов. - М. : Вильямс, 2002. - 326 с.
6. Принципы качества веб-сайтов по культуре : руководство / под. ред. М. Т. Н. Темпера, А. Темпера. -М., 2006. - 61 с.
7. Электронные документы: создание и использование в публичных библиотеках : справ. / науч. ред.: Р. С. Г и-ляревский, Г. Ф. Гордукалова. - СПб. : Профессия, 2007. - 664 с. - (Сер. «Библиотека»).
5 Шкалирование - это процесс измерения, сравнения объектов по определенным показателям, характеристикам (признакам).
6 Шкала наименований обладает описательной характеристикой, для измерения употребляются лексические единицы «Да», «Нет» или «Согласен», «Не согласен».
7 Шкала порядка позволяет ранжировать объекты в соответствии с определенной системой признаков. При ранжировании производится оценивание по измеряемому качеству совокупности объектов путем их упорядочения по степени выраженности данного признака.
8 Шкала интервалов (интервальная шкала) отображает
помимо отношений наименований и порядка еще и отношение расстояний между парами объектов, измеряемого с помощью определенной количественной единицы измерения (например, измерения можно производить по 10-балльной шкале - от 1 до 5 определяет низкий рейтинг, от 6 до
10 - высокий рейтинг).
Приложение
Т а б л и ц а 1
Критерии качества сайта
Критерии Показатели Методы исследования, формы измерения
I. Содержательное наполнение
А. Информационная структура • структурированная организация информации; • стилистическое единство рубрик, подрубрик; • логичность группировки рубрик, подрубрик; • полнота представления информации в рубриках, подрубриках; • наличие ЭК и БД, корпоративных каталогов, электронной библиотеки, виртуальной выставки; • наличие новостного блока и сервисов (электронной почты, контактов, гостевой книги, форума и т. д.) • контент-анализ, • мониторинг, • диагностика, • ранжирование, • сопоставление; шкалирование: • шкала наименований, • шкала порядков, • шкала интервалов
Б. Контент • порционность информации, • тезисное изложение; • точность и лаконичность изложения; • используемые стили (научный, деловой, публицистический); • отсутствие грамматических ошибок; • гипертекстовая форма представления; • наличие информации на иностранных языках; • достоверность информации • контент-анализ; шкалирование: • шкала наименований, • шкала интервалов
II. Дизайн и эргономичность
А. Дизайн интерфейса • время загрузки; • структура домашней страницы (гибкая, жесткая); • фреймовая организация страниц, • флэш-заставка; • графика (иллюстрации, анимация, музыка и т. д.); • цветовое оформление страниц, шрифтов • тестирование; шкалирование: • шкала наименований, • шкала интервалов
Б. Навигация • меню (горизонтальное, вертикальное); • drop-down меню; • пиктограммы (домой, поиск, карта); • навигационная полоса; • alt теги (описание фотографий, рисунков); • внутренняя баннерная система; • тестирование; шкалирование: • шкала наименований, • шкала интервалов
III. Технические характеристики
А. Требования к аппаратному и программному обеспечению • разрешение мониторов, под которые оптимизирован сайт; • минимальное количество цветов монитора, на котором может быть просмотрен сайт; • основной браузер, которым будет просматриваться сайт, и его минимальная версия; • среднее время загрузки страниц сайта при заданной скорости соединения с Интернетом; • время загрузки головной (домашней) страницы сайта • тестирование; шкалирование: • шкала интервалов
Б. Объем сайта • в Мб; • число веб-страниц; • количество гиперссылок (внутренних , внешних ); • глубина сайта (количество уровней) • тестирование; шкалирование: • шкала интервалов
В. Возможность просмотра сайта автономно, без подключения к Интернету • тестирование; шкалирование: • шкала интервалов
* Внутренняя гиперссылка - ссылка, ведущая на файл, расположенный на данном сайте. Указывает на другую веб-страницу, но может также указывать на рисунок, мультимедийный файл, адрес электронной почты или программу.
Внешняя гиперссылка - ссылка, ведущая на файл, расположенный вне данного сайта.
Окончание табл. 1
Критерии Показатели Методы исследования, формы измерения
Г. Специальные программы, необходимые для обеспечения штатной работоспособности сайта • тестирование; шкалирование: • шкала интервалов
Д. Используемые счетчики для учета посещаемости • общее количество • тестирование; шкалирование: • шкала интервалов
Т а б л и ц а 2
Критерии эффективности сайта
Критерии Показатели Методы исследования, формы измерения
Библиометрические характеристики • посещаемость сайта; • рейтинг в поисковых каталогах, поисковых системах, поисковых машинах; • индекс цитируемости • информационная диагностика, • статистический анализ, • мониторинг, • ранжирование
Usability- тестирование • анкетирование различных групп пользователей; • наблюдение за действиями пользователей • интервьюирование, • наблюдение; шкалирование: • шкала наименований, • шкала интервалов
Экономические затраты
А. Трудовые затраты • число специалистов, участвующих в проектировании, создании и сопровождении сайта; • организация процесса труда • статистический анализ, • анализ отчетности
Б. Финансовые затраты • затраты на оборудование и программное обеспечение; • затраты на персонал (веб-мастера и др.); • затраты на внешние услуги (реклама, телефонные переговоры, налоги, аренда оборудования, электроэнергия); • затраты на сопутствующие услуги (трансферные), например услуги отдела кадров, бухгалтерии, технологического отдела и т. д. • статистический анализ, • анализ отчетности
Материал поступил в редакцию 18.02.2009 г.
Сведения об авторе: Кулёва Олеся Викторовна - кандидат педагогических наук, научный сотрудник научно-технологического отдела, тел.: (383) 266-15-36, e-mail: [email protected]
