CC BY
197
МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ
фициента контрчлена, обеспечивающие правильные результаты, совпадают.
Автор выражает благодарность А.А. Слав-нову за полезные обсуждения и активную поддержку.
Библиографический список
1. Славнов, А.А. Введение в квантовую теорию калибровочных полей / А.А. Славнов, Л.Д. Фаддеев. - М.: Наука, 1988. - 272 с.
2. Wilson K.G. Confinement of quarks // Phys. Rev. D. 1974. V 10. P. 2445-2459.
3. Borrelli A., Maiani L., Sisto R., Rossi G., Testa M. Neutrions on the lattice. The regularization of a chiral gauge theory // Nucl. Phys. B. 1990. V 333. P. 335-356.
4. Narayanan R., Neuberger H. A construction of lattice chiral gauge theories // Nucl. Phys. B. 1995. V 443. P. 305-385.
5. Narayanan R., Neuberger H. Anomaly free U(1) chiral gauge theories on a two dimensional torus // Nucl. Phys. B. 1996. V 477. P. 521-548.
АНАЛИТИЧЕСКИЙ ОБЗОР МЕТОДОВ ОЦЕНИВАНИЯ КАЧЕСТВА ИНТЕРНЕТ-САЙТОВ
ТН. ЦАРЕВА, асп. каф. электроники и микропроцессорной техники МГУЛ
Вопросы обеспечения качества являются одними из основополагающих, которые возникают на этапе разработки любых проектов, производственных или информационных технологий (в частности интернет-сайтов). Как известно, качество объекта - это совокупность свойств, обуславливающих пригодность удовлетворять определенные потребности в соответствии с назначением. На сегодняшний день универсального метода оценивания качества интернет-сайта не существует. Причем отнюдь не из-за недостатка материалов о качестве [1], а из-за трудностей их применения. Сложность заключается в следующем:
- определение показателей и критериев качества - это достаточно трудоемкая задача из-за их большого количества, а иногда и их противоречивости;
- разработчик и потребитель интернетсайта имеют разные взгляды на качество, и как следствие возникают проблемы в ранжировании показателей и сопоставлении их друг с другом;
- отсутствует формализованный подход в выборе наиболее подходящего метода оценивания качества интернет-сайта как в целом, так и по показателям и критериям качества;
- невозможно количественно оценить некоторые показатели.
Поэтому разработка эффективного метода оценивания качества интернет-сайтов является актуальной задачей и по сей день.
Требования к качеству интернет-сайтов
Вопросам качества программного обеспечения посвящено немало фундаментальных трудов, практических методик, отечественных и международных стандартов [1]. Что же касается сферы интернет-технологий, то говорить о рас-
пространении каких-то единых стандартов качества пока преждевременно [2]. Лишь на Западе разработан ряд стандартов, описывающих как процессы проектирования интернет-систем (например, стандарты ISO 9294:1990, ISO 6592:1986 и др.), так и процессы анализа юзабилити сайта (например, стандарт ISO 9241-11 или Common Industry Format 1.1) [2].
На этапе проектирования учитываются следующие требования к качеству и оцениваются соответствующие им показатели [2]:
1) структура сайта (логичность структуры разделов сайта, наличие гиперссылок, краткость информации);
2) навигация (наименование разделов, наличие поиска и его удобство, дизайн навигации, анонсирование разделов на главной странице);
3) дизайн (комбинация цветов, шрифтовое оформление, пропорции, иллюстрации, возможность размещения баннеров);
4) юзабилити (соответствие технической оснащенности пользователей, успешность решения пользователями поставленных задач, удобство восприятия и использования сайта, удовлетворенность от использования);
5) технические требования (чистота кода, размер страниц сайта, возможности по прописыванию отдельных тэгов для каждой страницы).
На этапе эксплуатации готового интернет-сайта учитываются следующие требования к качеству и оцениваются соответствующие им показатели:
1) технологические (скорость загрузки при различной пропускной способности канала; отображение сайта в различных браузерах при различном разрешении монитора, наличие неработающих (битых) ссылок на сайте, чистота
190
ЛЕСНОЙ ВЕСТНИК 4/2007
МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ
HTML-кода, работоспособность скриптов, работоспособность сервера);
2) оптимизация сайта (нахождение по профильным запросам в ведущих поисковых системах, трафик поисковых систем и его доля в общем траффике, позиции в рейтингах, степень проиндексированности страниц, технические аспекты индексации (настройки сервера, правильность использования некоторых HTML-тэгов));
3) статистические (при помощи анализатора логов или систем статистики (SpyLog, HotLog) анализируется аудитория сайта по следующим показателям: посещаемость (хиты, хосты), популярность страниц, пути пользователей по сайту, поисковые слова по которым посетители пришли на сайт, ссылающие страницы);
4) юзабилити (один из самых важных и сложных моментов при оценке качества; изучается при помощи большого количества специальных методов [3]);
5) функциональность (в зависимости от назначения интернет-сайта могут оцениваться такие показатели, как наличие контактных данных организации на сайте, удобство совершения заказа, прайс-лист и его актуальность, оказание технической и сервисной поддержки, поддержка совершения покупок при помощи платежных систем).
Методы оценивания качества интернет-сайтов
В настоящее время в Российской Федерации в зависимости от назначения сайта используются следующие методы оценивания качества интернет-сайтов:
1. Метод индивидуальных экспертных
оценок.
Вообще говоря, этот метод включает в себя метод анкетного опроса, интервью и метод «Дельфи». Но для оценивания качества веб-сайтов используют следующие два нижеизложенных:
1.1. Метод анкетного опроса (предложен в [5] для оценивания качества сайтов любого назначения). Используется способ опроса - заочное анкетирование [4]. Процедура оценивания проходит в несколько этапов:
1 этап. Формирование репрезентативной с точки зрения качества и количества группы независимых экспертов. Проблема подбора экспертов является одной из наиболее сложных из-за
отсутствия методов, наверняка обеспечивающих успех экспертизы.
2 этап. Составление в анкете перечня требований, включающих основные показатели, учитывающие потребности пользователей.
В [5] предложены следующие показатели: актуальность и уникальность материала; дизайн сайта; юзабилити; частота обновления ресурса; интересность тематики; незахламленность ресурса; грамотность и правильность языка; удобоусвояемость материала; общественная полезность ресурса; количество страниц; общее впечатление от ресурса; наличие английской версии или версии на других языках; наличие RSS, WAP-версии, иллюстраций, рассылки, поясняющих материалов; наличие обратной связи; наличие новостной страницы; наличие корректировки вышеописанных пунктов.
3 этап. Раздача анкет экспертам.
4 этап. В соответствии со шкалой по каждому показателю начисление баллов, которые заносятся в анкету. Количество баллов по пункту коррелировано с важностью этого пункта.
5 этап. Нахождение среднего балла по каждому оцениваемому показателю как среднее арифметическое оценок экспертов:
I
х.
j
— J=1 ■ 7
х. =------, j=1,..,m
n
где х. - i-й показатель;
х. - баллы j - того эксперта в соответствии со шкалой;
n - численность группы экспертов; m - количество показателей.
6 этап. Определение комплексного показателя как простой суммы средних баллов по каждому показателю
У =1х.
=1
Этот показатель называется коэффициент качества ресурса (ККР) Pro.
Существует также ККР Base - в роли экспертов выступают сами владельцы сайта. Результат проверяется на корректность участником проекта.
7 этап. Эксперт-оценщик пишет краткую характеристику и рекомендации владельцу сайта. Высказывает свои замечания, если таковые будут. Характеристика оценщиков нигде не публикуется, передается только владельцу интернет-ресурса.
ЛЕСНОЙ ВЕСТНИК 4/2007
191
МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ
Переоценка ресурса производится по заявке его владельца. Если в результате новой оценки интернет-ресурс потерял баллы, все равно берется новое значение ККР.
Недостатками метода являются: сложность формирования группы экспертов-специа-листов; субъективизм мнения эксперта; большие временные затраты.
1.2. Метод Дельфы, или Дельфийский метод (предложен в [6] для оценивания образовательных сайтов).
Метод Дельфы направлен на усовершенствование процесса выработки суждения группой экспертов. При этом мнение каждого специалиста сравнивается с общим результатом во избежание искажающего воздействия внушения или приспособления к мнению большинства. Метод предусматривает опрос экспертов в несколько этапов, обработку результатов каждого этапа, информирование их об этих результатах и вновь повторение такой же процедуры [6] (это способ так называемого интерактивного анкетного опроса).
1 - 4 этапы аналогичны методу анкетного опроса 1.1.
В [6] предложен следующий перечень требований, предъявляемых к образовательному веб-сайту: к содержанию, к дизайну, технические, к эксплуатации. Эти требования подробно расписаны по критериям.
5 этап. Находится средний балл по каждому требованию
k+1
Е xifi
x = ^-----, (1)
n
где х. - различные баллы i - того требования (0, 1, 2, 3, 4);
f - частота повторений балла для каждого требования;
n - численность группы экспертов.
6 этап. Доведение предварительной оценки до сведения экспертов. Составление второй подобной анкеты, где указывается значение среднего балла и частота повторения значений баллов по каждому требованию. Вторичное оценивание ресурса экспертами. Анализ ответов разработчиками аналогичен 5-му этапу. Таким образом устанавливается совпадение или различие во мнениях.
7 этап. Составление третьей анкеты на основе результатов второго анкетирования для повышения согласованности экспертных оценок, где указываются лишь средние баллы. Анализ от-
ветов самими экспертами для изучения мнения других. Пересмотр предыдущих ответов в свете коллективного мнения. Повторное заполнение каждым опрашиваемым экспертом анкет и написание комментариев. Анализ третьего (заключительного) анкетирования разработчиками аналогичен 5 этапу.
8 этап. Учет степени согласованности мнений экспертов по коэффициенту конкордации. При отсутствии согласованности (коэффициент конкордации менее 0,7) мнений экспертов может возникнуть необходимость в проведении еще одного анкетирования.
9 этап. Подсчет среднего балла согласованных оценок экспертов для каждого требования по (1). И ,наконец, подсчет общего балла, он аналогичен этапу 6 метода 1.1. И тогда для оценки качества образовательного веб-сайта используется 20-балльная шкала для получения суммарного рейтинга. Делаются выводы о качестве образовательного веб-сайта, представленного для оценивания.
Недостатками данного метода являются: необходимость траты еще большего, чем в методе 1.1, количества времени; умение хорошо излагать свои мысли; субъективизм мнений; сложность формирования группы экспертов-специалистов; возможность принятия экспертами ошибочной оценки при согласовании.
2. Метод «да/нет» (предложен в [7] для оценивания качества систем справочников интернет-ресурсов). Оценивается только содержание интернет-ресурса как самого существенного для обеспечения его полноты и качества. Проводится по описанным ниже критериям. Чем больше будет получено ответов «да» на приведенные вопросы, тем вероятнее, что рассматриваемый источник обладает высоким информационным качеством [7].
Критерий 1 - авторитетность.
Ясно ли, кто несет ответственность за содержание сайта? Присутствует ли ссылка к странице, которая описывает цели организации-держателя сайта? Есть ли возможность проверки благонадежности держателя сайта? Указан ли номер телефона или почтовый адрес, по которым можно было бы обратиться за дополнительной информацией? Одного адреса электронной почты недостаточно. Ясно ли, кто является автором материала и четко ли указана квалификация автора, позволяющая ему высказываться по данному вопросу? Если материал защищен авторским правом, приведено ли имя обладателя авторского права?
192
ЛЕСНОЙ ВЕСТНИК 4/2007
МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ
Критерий 2 - точность.
Четко ли указаны источники всей фактографической информации с тем, чтобы их можно было проверить в другом источнике? Встречаются ли в тексте грамматические, орфографические ошибки и опечатки? Ясно ли, кто несет окончательную ответственность за точность содержания? Если приведены графики и/или диаграммы, содержащие статистические данные, снабжены ли они подписями и комментариями?
Критерий 3 - объективность.
Взята ли представленная информация из официального источника? Не является ли она частной точкой зрения? Свободна ли информация от рекламы? Если реклама присутствует, четко ли проведено разграничение между ней и информационным содержанием?
Критерий 4 - актуальность.
Присутствуют ли на Web-странице даты, указывающие:
а) Когда была написана страница? б) Когда страница впервые была размещена в Web? в) Когда была сделана последняя редакция страницы? г) Существуют ли иные указания на то, что материал поддерживается в актуальном состоянии? д) Если материал представлен в виде графиков и/или диаграмм, указано ли явно, когда были собраны данные? е) Если информация опубликована в различных изданиях, есть ли указание на издание?
Критерий 5 - охват.
Есть ли сведения о том, завершена страница или находится в стадии формирования? Если имеется печатный аналог содержимого Web-страницы, указано ли в нем, что весь материал целиком или частично доступен в Web? Если материал не защищен авторским правом (как часто бывает в случае словарей или тезаурусов), были ли сделаны попытки обновления материала с целью актуализации содержания ?
Недостатком данного метода является наличие только двух крайних противоположных состояний без учета промежуточных.
3. Метод идеального решения (предложен в [8] для оценивания качества интернет-ресурсов общего образования).
Качество сайта определяется с помощью обобщенного интегрального показателя - индекса качества, который вычисляется как степень близости результата деятельности ресурса к идеально возможному в N-мерном пространстве выделен-
ных частных показателей. Геометрически - это относительное расстояние до идеальной цели.
Оценивание интернет-сайта производится в следующем порядке:
- уточнение целей ресурса;
- определение перечня интегральных показателей качества и соответствующих им наборов частных показателей, характеризующих ресурс;
- уточнение экспертами важности интегральных и частных показателей качества, учитываемых с помощью соответствующих коэффициентов, для которых предусмотрена специальная процедура их согласования;
- определение экспертами значений частных показателей в шкале [0,1] (оценка значений частных показателей качества проводится по схеме: определение эталонных (максимальных) показателей качества; индивидуальная оценка близости показателей качества к эталонным; расчет групповой оценки значений частных показателей качества);
- вычисление индекса интегральных показателей качества оцениваемого ресурса аналогично индексу качества;
- расчет значения индекса качества ресур-
са E
R
E = 1 — g
R
1 —— У (W * (1 - к ))2,
W, K е [0, 1],
где R - максимально возможная величина век-
max
тора результатов;
Rg - расстояние от точки, соответствующее текущим результатам, до желаемой цели в многомерном пространстве критериев; Wi - коэффициенты важности выбранных интегральных показателей качества основных составляющих ресурса;
Ki - значения выбранных интегральных показателей качества.
Если важность всех показателей равна 1, то выражение принимает более простой вид
E = 1 —^ У 91 - Ki)2 , W, K е [0, 1],
yfNYT
где А - размерность пространства показателей - общее число учитываемых показателей качества.
Недостатками этого метода являются: подгонка известной альтернативы к «идеальному решению»; субъективизм мнений в определении значений частных показателей; недостатки экспертного метода, описанные в методе 1.1.
ЛЕСНОЙ ВЕСТНИК 4/2007
193
МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ
4. Метод на основе нейросетевых технологий (предложен в [9] для оценивания качества сайтов любого назначения). Осуществляется на основе нейрокомпьютерного комплекса «CyberAnalytic» - «Кибераналитик».
Как известно, нейронные сети - самообучающиеся системы, имитирующие деятельность человеческого мозга, состоящие из большого числа связанных между собой однотипных элементов - нейронов.
В соответствии с принципом работы нейронной сети процесс оценивания качества вебстраницы происходит следующим образом [9]:
1) нейроны системы искусственного интеллекта (нейросети) Кибераналитика получают входные данные, представляющие собой набор показателей оцениваемого интернет-сайта;
2) входные данные преобразуются в соответствии с заданной функцией и ее параметрами;
3) формируются промежуточные качественные коэффициенты (веса) в соответствии с заданным алгоритмом;
4) формируется нейропространственная цифро-аналоговая матрица в соответствии с заданным алгоритмом;
5) нейросоставляющая Кибераналитика, управляемая клетками выращенного мозга, анализирует цифро-аналоговую матрицу;
6) определяются составляющие фактора D (эмоциональной оценки «мозга» к рассматриваемой интернет-странице);
7) полученная информация обрабатывается системой искусственного интеллекта и в результате формируется окончательная оценка качества сайта;
8) пользователь Кибераналитика опрашивается, правильно ли по его мнению произведена оценка качества сайта; если нейросеть приняла правильное решение, по мнению пользователя, то веса не модифицируются.
Правила обучения и структура нейронной сети Кибераналитика являются коммерческой тайной его разработчиков.
Результатом процесса оценивания является:
- оценка качества (в баллах) и диаграмма, иллюстрирующая процентные отношения четырех основных показателей (код, функциональность, дизайн, совместимость) и их абсолютные значения.
- значение фактора эмоциональной оценки (фактора D); для удобства восприятия сайты условно разделены на различные группы в зависимости от величин составляющих фактора D: золотые, серебряные, бронзовые и прочие;
- текст с краткими пояснениями и комментариями к произведенной оценке.
Недостатками этого метода являются:
- невозможность прослеживания всей цепочки логического вывода, следовательно, невозможность объяснения причин принятия решений;
- возможность нахождения только субоптимального решения, что неприемлемо для задач, в которых требуется высокая точность;
- ограниченность возможности использования вследствие относительно высокой вычислительной стоимости процесса обучения как по времени, так и по объему занимаемой памяти.
Проведенный аналитический обзор методов оценивания качества интернет-сайтов показал, что со дня появления и внедрения сети интернет в жизнь вопрос качества сайта волнует все больше его разработчиков и пользователей. И здесь научные подходы нашли применение. Количество методов оценивания качества интернетсайтов не ограничивается теми, которые описаны в статье, наверняка, новые методы находятся в разработке. Но цель каждого, кто занимается этим вопросом, - найти наиболее эффективный объективный метод.
Библиографический список
1. Пристальный взгляд на качество программ. Наталия Маркова. Журнал «Открытые системы» N° 07-08/99 (Издательство «Открытые системы»)
2. Необходимость разработки системы менеджмента качества интернет-проектов. Иван Севостьянов. URL: http://www. ivan.webprojects.ru/ 12.07.2006
3. Usability-методы. Николай Покровский. URL: http:// www.Usability.ru/ 19.04.2006
4. Азгальдов, Г.Г. О квалиметрии / Г.Г. Азгальдов, Э.П. Райх-ман. - М.: Издательство стандартов, 1973. - 173 с.
5. Коэффициент качества ресурса. URL: http: // idealsite.ru/
25.12.2006
6. Оценка качества образовательных интернет-сайтов на основе метода Дельфы. Старова Т.С., Могилев А.В. URL: http://www.center.fio.ru/ 19.04.2006
7. Проблема измерения качества в библиотеках: применение к оценке Web-сайтов. Волкова К.Ю. URL: http://ellib. gpntb.ru/doc/11/d11_3.htm 19.04.2006
8. Разработка и апробация системы оценки качества интернет-ресурсов, предназначенных для общего образования URL: http: //som.fsio.ru/item.asp?id=10010883
25.12.2006
9. Оценка качества создания сайта URL: http: //www.cys.ru/
25.12.2006
194
ЛЕСНОЙ ВЕСТНИК 4/2007
