CC BY
17
иркутским государственный университет путей сообщения
БИБЛИОГРАФИЧЕСКИМ СПИСОК
1. Инструктивные указания по организации ваго-нопотоков на железных дорогах ОАО «РЖД». - 4. М.: Техинформ, 2007. - 528 с.
2. Акулиничев В.М. Организация вагонопотоков. - М.: Транспорт, 1979. - 223 с.
3. Осьминин А.Т. Программный модуль расчета плана формирования поездов модифицирован- 5. ным методом совмещенных аналитических сопоставлений / А.Т. Осьминин, Л.Б. Немцов,
А.С. Бессолицын [Текст] // Ведомственные корпоративные сети системы (ВКСС Connect) -М. : 2001.- С. 171-172.
Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы: Пер. с польск. И. Д. Рудинско-го. - М. : Горячая линия-Телеком, 2006. - 452 с.
Гладков Л. А., Курейчик В. В., Курейчик В. М. Генетические алгоритмы : Учебное пособие — 2-е изд.. - М: Физматлит, 2006. - 320 с.
УДК 159.9:681.3 Деканова Нина Петровна,
д. т. н., профессор, профессор кафедры информатики ИрГУПС, тел.: (83952)-63-83-95, доб. (1-29), e-mail: dekanova_n@irgups.ru
Могутнов Кирилл Сергеевич, аспирант кафедры информатики ИрГУПС, тел.: (83952)-63-83-95, доб. (1-29), e-mail: kirill-mogutnov@rambler.ru
РАЗРАБОТКА СИСТЕМЫ СОЦИАЛЬНЫХ ИССЛЕДОВАНИЙ С УЧЕТОМ МЕТОДОВ ПОИСКОВОЙ ОПТИМИЗАЦИИ И СТАТИСТИЧЕСКОГО АНАЛИЗА
N.P. Dekanova, K.S. Mogutnov
SOCIAL RESEARCH SYSTEM DEVELOPMENT WITH SEARCH OPTIMIZATION AND STATISTIC ANALYSIS TECHNIQUES
Аннотация. В статье рассматривается подход к разработке системы социальных исследований на базе статистического анализа деятельности веб-портала и оптимизации запросов. Определена стратегия развития проекта с учетом факторов, влияющих на рост/снижение популярности портала.
Ключевые слова: поисковая оптимизация, статистический анализ, реляционные базы данных, экспертная информация, компьютерные эксперименты.
Abstract. The article is devoted to approach social research system creation on base of statistic analysis of activity of web - portal and queries optimization. The project development strategy is determined considerating factors affecting popularity increase/decrease.
Keywords: search engine optimization, statistical analysis, relational data bases, expertise information, computing experiments.
Введение
Получение среза общественного мнения о работе государственных, политических или общественных структур возможно с помощью различных информационных систем, реализующих мето-
ды сбора социологических данных с целью их накопления, анализа и дальнейшего использования. Например, респонденты могут высказывать своё мнение с помощью систем, размещенных в Интернете.
Наряду с созданием веб-сайтов важной задачей является обеспечение эффективной маркетинговой стратегии и оптимального использования систем. По истечении определенного периода времени они нуждаются в реинжиниринге и переработке, направленных на увеличение числа посетителей, увеличение скорости обработки информации и её представления конечному пользователю, связаны с обновлением или заменой реализованных информационных технологий на современные, с устранением явных и скрытых ошибок, с оптимизацией работы запросов и модернизацией интерфейса. В выборе стратегии развития вебсайта важную роль играют получение и обработка данных о посещениях сайта. Проблема создания интеллектуальной системы анализа веб-трафика и идентификации пользователей является актуальной исследовательской задачей [1].
Рассматривая вопросы оптимизации процесса функционирования информационных систем, включающих обширные базы данных, можно вы-
Информатика, вычислительная техника и управление. Приборостроение. Метрология. Информационно-измерительные приборы и системы
делить три основных направления [2]. Это, во-первых, оптимизация настроек сервера как правило, этим занимаются системные администраторы. Во-вторых - оптимизация базы данных, опирающаяся на общие принципы нормализации отношений. Функции данного уровня реализуют администраторы баз данных, привлекая различные системы автоматизации проектирования и оптимизации. В-третьих, оптимизация отдельных запросов также способствует улучшению производительности системы. Третий этап оптимизации связан с разработкой приложений-клиентов, создаваемых, как правило, программистами или рядовыми пользователями.
В достижении приемлемого уровня производительности реляционных систем важную роль играют встроенные в СУБД специальные программы - оптимизаторы [3, 4]. Однако каждая СУБД использует уникальный набор методов оптимизации. Поэтому при создании поисковых запросов с целью достижения высокой производительности приложения, реализуемого на базе конкретной СУБД, необходимо на уровне программирования запроса определить оптимальную стратегию.
1. Анализ статистических данных
Для оценки и анализа статистической информации по посещаемости сайта используются такие параметры, как количество хостов (уникальных IP-адресов), хитов (загрузок сайта или отдельных страниц); статистика по используемым посетителями операционным системам и браузерам; информация по IP-адресам и времени последнего посещения сайта каждым из посетителей; информация по количеству посетителей, пришедших на сайт с поисковых систем (Rambler, Yandex, Google и др.); количество посещений сайта со страниц, на которых расположены ссылки на сайт
[5].
Одним из мощных инструментов для сбора и накопления статистических данных по посещаемости сайта, количеству просмотренных страниц, среднему времени пребывания пользователя на сайте, точек входа и выхода на сайт, популярности контента, а также параметров браузера, операционной системы, информации об основных источниках трафика и географии посетителей сайта является система Google Analytics [6] .
В работе [7] рассмотрены вопросы получения и анализа статистических данных с целью разработки стратегии развития комплексной информационной системы городского интернет-портала «Твой Иркутск», охватывающего такие сферы, как новости, афиша, погода, телефонный справочник и т. д. Согласно определению Интернет-портала,
он является вертикальным, публичным и региональным веб-сайтом.
На момент исследования срок жизни портала составил полтора года. В целом, посещаемость городского портала имеет тенденцию роста. График средней длительности пребывания пользователя на страницах сайта также имеет тенденцию роста. Среднее время пребывания составляет 10 -15 минут (в начале периода наблюдения в два раза меньше).
За полтора года зафиксировано 6,5 млрд посещений, 21,7 млрд просмотров страниц. Оценивая объем трафика, можно отметить, что 55,4 % пользователей зашли на сайт целенаправленно, 30,22 % - через поисковые системы, 10,94 % перешли по ссылкам с других сайтов, а 3,45 % -прочие посетители. Самыми популярными поисковыми запросами сайта являются: «Иркутск», «Погода Иркутск», «Новости Иркутск», «ТВ-программа Иркутск», «Афиша Иркутск», «Отправка СМС Иркутск», «Расписание аэропорта Иркутск».
География пользователей следующая: Иркутск - 79 %, Москва - 7,79 %, Санкт-Петербург -1,3 %, Новосибирск - 1,2 %, Ангарск - 1,1 %, Братск - 1,0 %. Около 40 % посетителей - постоянные пользователи.
В рабочие дни число посетителей в 1,5 раза выше по сравнению с выходными. Информация о курсах валют, номерах телефонов и новостях, в основном, используется только в будние дни, что говорит о необходимости такой информации для исполнения служебных обязанностей. Разделы «СМС», «Афиша», «Авто» практически равномерно посещаемы в течение недели. Раздел «ТВ», как правило, посещается в свободное от работы время.
Анализ статистических данных позволил выделить три группы факторов, влияющих на посещаемость портала. К первой относятся факторы, вызывающие резкие скачки (всплески) активности, ко второй - факторы, определяющие закономерное и плавное изменение, и к третьей относятся факторы, результат действия которых непредсказуем, т. е. неизвестно, дадут они всплеск или снижение, а также будет ли это изменение экстремумом или плавным снижением или увеличением.
Существенные всплески активности посетителей раздела «Новости» связаны с социальными, экономическими и природными явлениями (праздничные и предпраздничные дни; приезд высокопоставленных лиц, кризис экономики страны, а также чрезвычайные происшествия). Всплеск интереса к прогнозу погоды наблюдается при аномальных морозах или жаре.
иркутским государственный университет путей сообщения
Временные, сезонные факторы вызывают закономерные изменения числа посетителей портала. Рост числа обращений в выходные дни обусловлен интересом пользователей расписанием садоводческих маршрутов автобусов и электропоездов, в летний период времени - расписанием поездов дальнего следования и т. д. К снижению уровня посещаемости приводят сбои в работе разделов портала и увеличение времени загрузки страницы.
К непредсказуемому результату приводят факторы, вызывающие резкий всплеск активности. С одной стороны - это рост популярности, а с другой стороны, они могут вызвать перегрузку сервера и, возможно, сбои в его работе.
Наибольший интерес в плане повышения эффективности маркетинговой стратегии представляют факторы, вызывающие последовательное увеличение активности: обновление разделов, улучшение интерфейса, своевременное обновление информации, введение новых функций и возможностей. Рефакторинг, проведение работ по модернизации разделов, расширение функциональных свойств портала - необходимые мероприятия, направленные на увеличение посещаемости сайта. Проведение работ по оптимизации использования веб-сайта можно разделить на следующие направления: разработка и внедрение новых сервисов; переработка программного кода системы; анализ и оптимизация поисковых запросов; модификация пользовательского интерфейса.
2. Направления оптимизации запросов
Термин «оптимизация запросов» используется для обозначения стратегий, направленных на повышение эффективности процедур вычисления запросов. Встраиваемые в СУБД оптимизаторы подразделяются на два основных типа. Оптимизаторы первого типа основаны на правилах (rule-based). Они изучают синтаксис запроса и планируют пути его выполнения, не учитывая размеры таблиц и статистическую информацию о распределении данных. Второй тип оптимизаторов основывается на стоимости (cost-based). В этом случае используются не только правила синтаксического разбора запроса, но и статистическая информация о структуре и составе базы данных (объем БД, размеры отношений, установленные ключи, индексация и т. д.) [2].
При составлении поискового запроса важен рациональный выбор стратегии. Известны основные факторы, влияющие на скорость выполнения запроса [8, 9]. К ним относятся: - операция проецирования в операторе
SELECT, определяющая список
необходимых полей в выборке;
- наличие или отсутствие сортировки возвращаемых запросом данных с помощью выражения ORDER BY и тип оператора;
- наличие или отсутствие предиката LIMIT n, m, который разделяет результат вывода данных на порции, ограничивая их определенным количеством кортежей;
- способ построения булевого выражения, включающего операторы OR и/или AND при использовании предиката WHERE;
- порядок размещения значений в наборе значений предиката IN;
- порядок следования отношений в списке, следующем за ключевым словом FROM;
- способ формулирования запроса, результирующие данные которого могут быть получены либо с использованием предиката WHERE, либо с помощью выражения HA VING;
- способ формулирования запроса к базе данных, который может быть реализован либо с помощью установления связей между участвующими в запросе отношениями, либо с использованием вложенных запросов. 3. Экспериментальные и статистические
исследования различных стратегий составления запросов селекции данных и оценка скорости их выполнения
Для этой цели создано десять баз данных, каждая из которых содержит группу, состоящую из девяти одинаковых по структуре отношений, но с различными объемами хранимых в них данных. Отношения содержат по 10, 50, 100, 500, 1000, 5000, 10 000, 50 000, 100 000 кортежей. Степень каждого отношения (количество столбцов) равна двадцати пяти. Испытания проведены на персональном компьютере, обладающем следующими параметрами: оперативная память 2 Гбайта, процессор Intel Core 2 Duo с тактовой частой 4,66 ГГц. В качестве программного средства реализации использована СУБД MySQL 5.1.30. Качественной характеристикой сопоставления результатов выполнения запросов принято время выполнения запроса. По результатам серии экспериментов для каждой из рассмотренных ниже стратегий поиска получены регрессионные функции, отражающие зависимость времени выполнения запроса от объема выбираемых данных [10].
1. Необоснованный выбор избыточной информации приводит к значительному увеличению затрат времени выполнения запроса и ресурсов оперативной памяти. Операция проецирования в операторе SELECT определяет
Информатика, вычислительная техника и управление. Приборостроение. Метрология. Информационно-измерительные приборы и системы
список необходимых полей. Это правило наиболее актуально для отношений, степень которых превышает 20-25 полей.
В каждой базе данных для каждого отношения реализовано два варианта запросов:
- выбор всех данных отношения (вариант 1),
- выбор данных из всех кортежей отношения с использованием оператора проекции на три поля из двадцати пяти (вариант 2). Коэффициенты корреляции между кардинальностью (числом кортежей) в отношении и оценками математических ожиданий времени выполнения запроса равны 1. Таким образом, математическое ожидание времени выполнения запроса линейно зависит от кардинальности в отношении.
Для случая выбора всех данных отношения (25/25 полей - вариант 1) регрессионная функция, отражающая зависимость времени выполнения запроса от кардинальности отношения, имеет следующий вид:
y(x) = 17,72 + 0,04x . (1)
Если данные выбираются из всех кортежей с использованием оператора проекции на три поля из двадцати пяти имеющихся в отношениях (3/25 полей, вариант 2), то получена следующая функция регрессии:
y(x) = 1,02 + 0,007x . (2)
Здесь x - кардинальность отношения, y -время выполнения запроса, в миллисекундах. Оценка адекватности регрессионных моделей эмпирическим данным выполнена на основе критерия Фишера [11]. Из соотношений (1) и (2) видно, что в среднем увеличение кардинальности отношения на 100 кортежей приводит к росту затрат времени при выполнении полной выборки на четыре миллисекунды, а при реализации выборки с проекцией на три поля - на 0,7 миллисекунды. На рис. 1 представлены функции регрессии y(x) и точки Мо, соответствующие оценкам математического ожидания времени выполнения запроса. Ось x - кардинальность отношений, ось у - затраты времени в миллисекундах.
Выполненные исследования показали, что проекция на три поля из двадцати пяти приводит к шестикратному сокращению времени по сравнению с полным выбором. Если пользователю требуются значения лишь небольшой части полей отношения, то задание списка только необходимых атрибутов в операторе SELECT приведет к сокращению ресурсов оперативной памяти, занимаемой при выполнении запроса, и времени его реализации.
0 2-ю' 4-Ю4 610* 810* 1-Ю5
х
Рис. 1. Функциональная зависимость времени выполнения запроса от кардинальности отношений: при полном выборе данных (25 полей) - сплошная линия; при использовании проекции на три поля и степени отношений, равной двадцати пяти, - штриховая линия
2. С целью оценки влияния различных типов сортировки на время выполнения запроса в исследовании рассмотрено три типа сортировки выходных данных с помощью выражения ORDER BY: по возрастанию (ASC), по убыванию (DESC) и случайное перемешивание (RAND). В результате получены следующие регрессионные функции.
Для случая выбора данных, отсортированных по возрастанию, регрессионная функция, отражающая зависимость времени выполнения запроса от кардинальности отношения, имеет следующий вид:
y(x) = 1,2 х 10-5 + 0,lx - 3,2 х 10-6 x2 + 5,3 х 10-11 x3, для данных, отсортированных по убыванию:
y(x) = 1,4 х 10-5 + 0,1x - 4,8 х 10-6 x2 + 8,1 х 10-11 x3 и для случая перемешивания данных: y(x) = 7,0 х 10-5 + 0,4x -1,9 х 10-5 x2 + 3,2 х 10-10x3.
Здесь х - кардинальность отношения, y -время выполнения запроса, в миллисекундах. Оценка адекватности регрессионных моделей эмпирическим данным выполнена также на основе критерия Фишера. На рис. 2 представлены функции регрессии y(x) и точки Мо, соответствующие оценкам математического ожидания времени выполнения запросов.
Очевидно, что скорость реализации запроса, использующего сортировку, зависит от количества и типов полей, для которых она применяется. В эксперименте сортировка возвращаемых результатов проводилась по одному полю, содержащему целочисленные значения. Исследования показали, что при кардинальности отношений, не более 50000 кортежей наличие сортировки по возрастанию/убыванию незначительно сказывается на времени выполнения запроса. При дальнейшем росте кардинальности отношения сортировка ре-
иркутским государственный университет путей сообщения
зультата приводит к увеличению времени выполнения запроса. Например, в рассмотренном примере для отношений с кардинальностью, равной 100000, сортировка по возрастанию приводит к семикратному, сортировка по убыванию - к десятикратному, а перемешивание - к более, чем сорокакратному возрастанию затрат времени по сравнению со случаем отсутствия сортировки результата.
уиЗ yia3 yd3 утЗ
Мо
О О Ма
О О Md
О О Мг О О
1
* * * t * t i
t * f t i
Л t * f t t * * f .■'
е"' ' '' f Л' J? /
жение GROUP BY с выражением HAVING) получена следующая регрессионная функция: y(x) = 2,4 х 10-5 + 0,1x - 8,8 х 10-6 x2 +1,5 х 10-10 x3.
Здесь х - кардинальность отношения, y -время выполнения запроса, в миллисекундах. Оценка адекватности регрессионных моделей эмпирическим данным выполнена также на основе критерия Фишера.
Исследования показали, что в случае возможности получения эквивалентных возвращаемых результатов следует отдавать предпочтение предикату WHERE, особенно при кардинальности отношения, превышающей 50000 кортежей. Например, при кардинальности отношения, равной 100000 кортежей, время реализации запроса с HAVING в 1,7 превысило затраты времени на выполнение запроса с предикатом WHERE.
Рис. 2. Функциональная зависимость времени выполнения запроса от кардинальности отношений: при отсутствии сортировки - сплошная линия; при использовании сортировки по возрастанию -пунктирная линия; при использовании сортировки
по убыванию - штриховая линия и при перемешивании - штрихпунктирная линия
Сортировка возвращаемого результата случайным образом (перемешивание) увеличивает время поискового запроса и при невысокой кардинальности отношения, поэтому ее следует избегать в выражении ORDER BY. В случаях, когда нельзя обойтись без такой сортировки, необходимо ограничить количество выбираемых записей.
3. Существует серия запросов, которая может быть реализована как с помощью оператора SELECT с выражением WHERE, так и с предложением GROUP BY и HAVING. В ходе исследования рассмотрено два таких варианта запроса на выборку данных, соответствующих заданному условию. В результате получены следующие регрессионные функции.
Для случая реализации запроса с выражением WHERE регрессионная функция, отражающая зависимость времени выполнения запроса от кардинальности отношения, имеет следующий вид:
y(x) = 1,4 х10-5 + 0,1x - 5,1 х 10-6 x2 + 8,4 х10-11 x3.
Для случая реализации запроса с группированием и последующим отбором группы (предло-
Рис. 3. Функциональная зависимость времени выполнения запроса от кардинальности отношений: при использовании условия отбора строк - сплошная линия; при использовании условия отбора группы - штриховая линия
Не существует единых правил, позволяющих написать код, максимально эффективно используемый оптимизатором любой СУБД и при этом вне зависимости от структуры и степени наполнения базы данных [2]. В работе исследованы стратегии реализации поисковых запросов с применением операции проецирования, сортировки и установления условий выбора на совокупность возвращаемых данных.
Полученные результаты позволяют оценить ожидаемые затраты времени выполнения запроса в зависимости от кардинальности отношения и исследуемого фактора (степени проецирования в выборке, вида сортировки возвращаемого результата или способа установления условий отбора данных). Сопоставительный анализ и визуализация полученных результатов подтверждают ряд правил оптимизации запросов и способствуют
Информатика, вычислительная техника и управление. Приборостроение. Метрология. Информационно-измерительные приборы и системы
принятию правильных решений при создании и использовании поисковых запросов в программном коде конечного продукта.
4. Задачи и особенности системы тестирования и опроса
Эффективность функционирования системы тестирования и опроса определяется такими факторами, как наличие в системе мастера создания тестов, средств анализа и сбора статистики, гибкой подсистемы разграничения прав доступа, возможности разделения опросов по направлениям (филиалам) и защищенности от взлома и подделывания данных. Анализ рынка подобных информационных систем показал, что системы, отвечающие указанному комплексу требований, не предлагаются.
В качестве основы создания программного комплекса используются веб-технологии, а именно фреймворки, которые позволяют создавать сложные информационные системы с относительно большой скоростью. Для реализации на их основе систем тестирования и социологического опроса требуется только веб-браузер. Организация хранения данных выполнена в СУБД MySQL, но без особых трудностей систему можно переключить на использование в СУБД PostgreSQL, MSSQL, SQLite, Oracle и т. д. Внедрение специальных терминалов в места сбора данных позволяет вводить ответы через сенсорный экран. Такие рабочие места, в отличие от полноценного компьютера, имеют ряд преимуществ: более низкая стоимость; удобство ввода ответа; повышенная защищенность от вандалов. Сенсорный ввод ответов предъявляет к различным элементам управления (кнопки, поля ввода, селекторы, чекбоксы) особые требования юзабилити. Они должны быть большими и логически корректно размещенными на экране.
Разработанная информационная система тестирования и социологических опросов удовлетворяет всем выдвинутым к ней требованиям [12]. Система имеет гибкий конструктор опросных листов, который позволяет оперативно формировать опросы, пользуясь такими инструментами, как добавление, упорядочивание, удаление, редактирование, группировка и фильтрация отдельных вопросов, накладывание условий на вопросы, если требуется ветвление теста. При добавлении каждого вопроса необходимо задать тип ответа (ввод текста, выбор одного/нескольких вариантов ответов, выбор варианта с возможностью добавления своего ответа), указать обязательность ответа на него (при ее отсутствии респондент может пропустить вопрос и перейти к следующему), определить группировку с другими вопросами теста для
вывода на один экран. Каждый тест имеет срок доступности для ответов и может быть открыт только для определенных отделений (филиалов). При истечении сроков тестирования система блокирует ввод ответов. Кроме того, имеется возможность формирования инструкций к выполнению опросов.
Информационная система имеет гибкую подсистему управления правами доступа к различным функциональным частям. Созданы необходимые группы пользователей: администраторов, редакторов тестов, сборщиков результатов. Установлено разграничение прав доступа на создание элементов системы, на редактирование, удаление и т. д. Управление различными группами пользователей позволяет защитить данные, не допустить ошибок, вызванных человеческим фактором.
Наибольшее внимание при разработке системы уделено подсистеме, отвечающей за сбор статистики и формирование отчетов. Система позволяет получать выходные данные, как единичного прохождения, так и результаты по группе респондентов. Отчеты являются интерактивными - автоматически обновляющимися при поступлении дополнительных данных. Каждый отчет имеет определенные временные рамки, в него могут включаться как все пункты опросного листа, так и только определенные. Существует возможность формирования двух видов отчетов - общий отчет по предприятию, либо выходные данные группируются по подразделениям, что позволяет оценить показатели качества работы каждого из них.
Данная система не требует особых затрат при внедрении, может быть использована как на персональных компьютерах, так и на терминалах. Основным требованием является наличие веб-браузера и доступа к серверу, содержащему развернутую систему тестирования.
Система тестирования и проведения социологических опросов прошла полный путь от проектирования и разработки до внедрения и сопровождения. Она используется в одном из регионов РФ с целью изучения и анализа успешности функционирования аппарата мировых судей. Она отвечает всем предъявляемым к ней требованиям, ее сопровождение не требует специальных знаний и может осуществляться обычным оператором.
Заключение
Информационная система тестирования и опроса не является узкоспециализированной, ее можно легко адаптировать для использования в различных областях социологических, образовательных и технических исследований. Основным направлением развития системы с целью расширения области применения и функциональности
иркутским государственный университет путей сообщения
является разработка средств и методов анализа полученных данных и решения прикладных задач в соответствующих областях применения. В образовательном процессе необходима дополнительная подсистема контроля знаний. В области решения технических задач система тестирования и опроса полезна при получении экспертных оценок и сопоставлении результатов с нормативными (эталонными) показателями. Этот процесс является важным звеном в создании адаптивных систем диагностирования состояния сложных технических объектов и интеллектуальных систем управления.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Деканова Н.П., Могутнов К.С. Информационная система организации социологических опросов // Информационные и математические технологии в науке и управлении / Труды XVI Байкальской Всероссийской конференции «Информационные и математические технологии в науке и управлении». Часть II. -Иркутск: ИСЭМ СО РАН, 2011. - С. 67-70.
2. Селко, Д. Программирование на SQL для профессионалов. 2-е издание. - М.: Издательство «Лори», 2004. - 442 с.
3. Дейт, К., Дж. Введение в системы баз данных, 7-е издание.: пер. с англ. - М.: издательский дом «Вильямс», 2001. - 1072 с.
4. Гарсиа-Молина, Г., Ульман Д., Уидом Д. Системы баз данных. Полный курс.: Пер. с англ. - М. : Издательский дом «Вильямс», 2003. - 1088 с.
5. Рабин Д. Изучайте журналы посещений // Сети и системы связи. 2005. №1.
6. Система сбора и анализа посещаемости сайта Google Analytics. URL: http: //www .google. com/analytics/
7. Деканова Н.П., Могутнов К.С. Анализ посещаемости и определение стратегии развития интернет-проекта // Информационные и математические технологии в науке и управлении / Труды XIV Байкальской Всероссийской конференции «Информационные и математические технологии в науке и управлении». Том 3. -Иркутск: ИСЭМ СО РАН, 2009. - С. 175-183.
8. Ашманов И., Иванов А. Оптимизация и продвижение сайтов в поисковых системах. -СПб.: Питер, 2009. - 400 с.
9. Сирович Д., Дари К. Поисковая оптимизация на PHP для професстоналов. Руководство разработчика по SEO. ; пер. с англ. - М.: ООО «И.Д. Вильямс», 2008. 352 с.
10. Деканова Н.П., Могутнов К.С. Оптимизация поисковых запросов в реляционных базах данных // Информационные и математические технологии в науке и управлении / Труды XV Байкальской Всероссийской конференции «Информационные и математические технологии в науке и управлении». Том 3. -Иркутск: ИСЭМ СО РАН, 2010. - С. 78-87.
11. Кобзарь А.И. Прикладная математическая статистика. Для инженеров и научных работников. - М.: ФИЗМАТЛИТ, 2006. - 816 с.
12. Интернет-сайт о юзабилити. Англ. язык. [Электронный ресурс]. - Электрон. текстовые дан. и граф. дан. - США.: UseIt, 2008. - Режим доступа: http://www.useit.com/ , свободный.
