CC BY
18
ИНВЕСТИЦИИ И ИННОВАЦИИ INVESTMENT AND INNOVATIONS
УДК 338.28
DOI:10.18413/2411-3808-2018-45-1 -24-31
ПРОСТРАНСТВЕННЫЙ АНАЛИЗ НАЛИЧИЯ СТАТИСТИЧЕСКИХ ДАННЫХ ПО ИННОВАЦИОННЫМ ИНДИКАТОРАМ НА ОСНОВЕ ПОСТРОЕНИЯ БИНАРНЫХ МАТРИЦ (НА ПРИМЕРЕ РЕГИОНОВ РОССИИ)
SPATIAL ANALYSIS OF THE AVAILABILITY OF STATISTICAL DATA ON INNOVATION INDICATORS BASED ON THE CONSTRUCTION OF MATRICES
(THE CASE OF RUSSIAN REGIONS)
В.М. Московкин, Сизьунго Муненге, О.В. Ваганова V.M. Moskovkin, Sizyoongo Munenge, O.V. Vaganova
ФГАОУ ВО «Белгородский государственный национальный исследовательский университет»,
Россия, г. Белгород
Federal State Autonomous Educational Institution of Higher Education «Belgorod National Research
University», Russia, Belgorod
E-mail: [email protected]
Аннотация
В работе данные по 16 индикаторам инновационной статистики распределены по 83 регионам России в контексте их наличия или отсутствия на уровни 2005,2008,2011 и 2014 гг., что позволило сформировать четыре бинарные матрицы. На их основе построены плотные субматрицы, состоящие из единиц, что говорит о наличии данных по инновационной статистики для выделенных индикаторов и регионов. Так, для исходной бинарной матрицы размерности 83x16 (2005 г.) получена плотная субматрица размерности 36x16, которая на уровень 2014 г. имела размерность 49x16, что говорит об улучшении полноты данных инновационной статистики в разрезе всех регионов России. Как и следовало ожидать, наихудшая ситуация по полноте данных инновационной статистики наблюдалась для северных и восточных регионов, но за десятилетний период наблюдалась положительная динамика по улучшению этой полноты.
Abstract.
The article presents data on 16 indicators of innovation statistics distributed according to Russian regions with reference to their availability or absence on levels of 2005,2008,2011 and 2014, resulting in the formation of 4 binary matrices. On their basis a dense sub-matrices consisting of units have been constructed which indicate the availability of data on innovation statistics for selected indicators and regions. For an initial binary matrix of dimension 83x16 (2005), a dense sub-matrix of dimension 36 x16 has been obtained through a matrix dimension of 49 x 16 at a level of 2014 indicating an improvement of data completeness of innovation statistics in the framework of all Russian regions. Nevertheless, as expected the worst situation on the data completeness of innovation statistics has been observed for the Northern and Eastern regions, but for the ten-year period there has been observed a positive dynamics on the improvement of data completeness.
Ключевые слова: пространственный анализ, статистические данные, инновационные индикаторы, бинарные матрицы, регионы России
Keywords: spatial analysis, statistical data, innovation indicators, binary matrices, Russian regions
Введение
При распределении какой-либо совокупности статистических данных по каким-либо объектам возникает задача учета наличия (присутствия или отсутствия) этих данных. В качестве совокупности статистических данных может служить набор данных по индикаторам экономической, социальной, демографической, образовательной, научной, инновационной и др. статистики, а в качестве объектов-предприятия, университеты, научно-исследовательские институты, города, регионы, страны и т.д. В нашем случае, мы рассмотрим данные инновационной статистики в приложении ко всем регионам России.
На данную проблему в привязке к российской региональной инновационной статистики обращали внимание авторы работ [Бабаев, 2013 с. 315; Бортник и др., 2012, c.48; Морошкина, 2013 с.32, причем авторы первых двух работ ссылались на опыт разработки и эксплуатации Регионального инновационного табло (Regional Innovation Scoreboard) Европейского союза.
В работе [Бортник и др., 2012, с.48-61] проделан обзор зарубежных и отечественных методов оценки инновационной активности регионов и разработана система оценки и мониторинга инновационного развития регионов России. В работе [Бабаев, 2013 с.314-319] также проделан обзор зарубежных и отечественных подходов и методов оценки инновационного развития регионов. В работе [Морошкина,2013 с.30-37] изложены проблемы формирования региональных кластеров, рассматриваемые как инновационный фактор развития территорий.
Отметим, что вышеуказанные три работы были идентифицированы с помощью расширенного поиска в Google Scholar при сочетании двух терминов: «наличие статистических данных» и «инновации». Большего числа релевантных русскоязычных работ с помощью Google Scholar нами не было обнаружено. При этом каких-либо количественных и формализованных подходов по проведению пространственного анализа наличия статистических данных по инновационным индикаторам не было предложено.
Методы исследования. Для пространственного анализа наличия статистических данных по инновационным индикаторам для регионов России, целесообразно построить бинарную матрицу (Nij), где i - номер региона, 1<i<N, j - номер инновационного индикатора, 1<j<M, Nij=1 - при наличии значения j-го индикатора для i-го региона, Nij=0 -в противном случае. В нашем случае N=83, а в качестве инновационных индикаторов мы выбрали из показателей Росстата 16 индикаторов (M=16), приведенных в таблице 1.
Таблица 1.
Table 1.
Система исходных абсолютных и относительных частных инновационных индикаторов _System of initial absolute and relative private innovative indicators_
№ Название индикатора
1 2
1 Количество организаций, выполняющих научные исследования и разработки
2 Численность персонала без ученых степеней, занятых НИОКР
3 Численность исследователей, имеющих ученую степень кандидата наук
4 Численность исследователей, имеющих ученую степень доктора наук
5 Внутренние затраты на научные исследования и разработки (миллионов рублей)
6 Численность аспирантов
7 Численность докторантов
8 Количество патентов, выданных на изобретения
9 Количество патентов, выданных на полезные модели
10 Количество разработанных передовых производственных технологий
11 Количество используемых передовых производственных технологий
12 Удельный вес организаций использовавших интернет (в процентах % от общего числа обследованных организаций)
13 Удельный вес организаций, осуществлявших технологические, организационные, маркетинговые инновации в отчетном году, в общем числе обследованных организаций ( %)
14 Затраты на технологические инновации организаций (миллионов рублей)
Окончание табл. 1
15 Объем инновационных товаров, работ, услуг (Отгружено товаров собственного производства, выполнено работ и услуг собственными силами -в том числе инновационные товары, работы, услуги) (миллионов рублей)
16 Удельный вес инновационных товаров, работ, услуг в общем объеме отгруженных товаров, выполненных работ, услуг, (%)
Источник : составлено авторами по данным (Официальная, 2005-2014 гг.)
Когда мы из разряженной бинарной матрицы пытаемся извлечь плотную субматрицу, состоящую преимущественно из единиц, то говорят о матричной кластеризации. Для такой кластеризации в работе [Oyanagi, Kubota, Nakase,2001,p.2156-2159] разработан быстрый Ping-pong алгоритм, основанный на перестановке строк и столбцов исходной бинарной матрицы. В дальнейшем, авторы этой работы усовершенствовали методологию кластеризации бинарных матриц [Oyanagi, Kubota, Nakase,2002,p.119-123]. В этих работах вышеуказанный алгоритм приложен к Web access log посредством представления связей между пользователями и Web-страницами в бинарной матрице. Этот же алгоритм использовался в работе [Kuo, Zhang, 2012,p.259-263] для задач библиотечного обслуживания. В целом, такого рода алгоритмы по извлечению плотных субматриц малой размерности из больших разряженных бинарных матриц используются в разных задачах, например, в задаче оптимизации потребительских предпочтений (определение тесных групп клиентов, ориентированных на определённый круг товаров и услуг) [Московкин, Казимиру,2017,с.27], но основная область приложения таких алгоритмов связана с задачами WWW-анализа, Web Usage Mining и анализа изображений [Московкин, Казимиру,2017,с.123-127].
Основные результаты исследования
Так как в нашем случае исходная бинарная матрица имеет относительно небольшую размерность 83*16, то отпадает использование компьютерного алгоритма для выделения плотной субмарицы.
С целью изучения временной изменчивости бинарных матриц, мы построили четыре матрицы размерности 83*16 для 2005, 2008, 2011 и 2014 гг. Из-за громоздкости они не приводятся. На основе этих матриц мы построили распределения количества отсутствующих значений индикаторов по регионам и годам (табл. 2).
Таблица 2 Table 2
Распределения количества отсутствующих значений индикаторов по регионам и годам
Distributions of amount of the absent values of indicators on regions and years
Область / индикатор 2005 2008 2011 2014
1 2 3 4 5 6
1 Белгородская Область 0 0 0 0
2 Брянская Область 1 0 0 0
3 Владимирская Область 0 0 0 0
4 Воронежская Область 0 0 0 0
5 Ивановская Область 1 0 0 0
6 Курганская Область 0 0 1 0
7 Костромская Область 1 1 1 1
8 Курская Область 0 1 0 1
9 Липецкая Область 3 3 2 0
10 Московская Область 0 0 0 0
11 Орловская Область 0 0 0 1
12 Рязанская Область 1 0 0 0
13 Смоленская Область 1 1 1 1
14 Тамбовская Область 1 0 1 1
15 Тверская Область 1 1 1 0
Продолжение табл. 2
16 Тульская Область 2 2 2 0
17 Ярославская Область 0 0 0 0
18 Столица Москва 0 0 0 0
19 Республика Карелия 1 1 0 0
20 Республика Коми 2 0 0 1
21 Архангельская Область 7 4 6 2
22 Ненецкий АО 10 8 7 8
23 Вологодская Область 0 0 0 0
24 Калининрадская Область 1 1 1 0
25 Ленинградская Область 1 1 1 1
26 Мурманская Область 1 2 1 1
27 Новгородская Область 2 2 2 0
28 Псковская Область 2 1 1 1
29 Санкт-Петербург 0 0 0 0
30 Республика Адыгея 5 4 3 1
31 Республика Калмыкия 8 8 6 1
32 Краснодарский Край 0 0 0 0
33 Астраханская Область 0 1 0 0
34 Волгоградская Область 0 0 1 0
35 Ростовская Область 0 0 0 0
36 Республика Дагестан 0 0 0 0
37 Республика Ингушетия 11 10 6 4
38 Кабардино-Балкарская Республика 1 0 0 0
39 Карачаево-Черкесская Республика 3 3 2 1
40 Республика Северная Осетия 1 1 1 2
41 Чеченскя Республика 10 8 3 1
42 Ставропольский Край 1 1 1 1
43 Республика Башкортостан 0 0 0 0
44 Республика Мариий 2 2 2 1
45 Республика Мордовия 1 1 1 0
46 Республика Татарстан 0 0 0 0
47 Удмуртская Область 0 0 0 0
48 Чувашская Республика 1 1 1 0
49 Пермская Область 0 0 0 1
50 Кировская Область 1 1 2 0
51 Нижегородская Область 0 0 0 0
52 Оренбургская Область 0 0 1 0
53 Пензенская Область 0 0 0 0
54 Самарская Область 0 0 0 0
55 Саратовская Область 0 0 0 0
56 Ульяновская Область 0 0 0 0
57 Калужнская область 1 1 2 2
58 Свердловская Область 0 0 0 0
59 Тюменская Область 5 5 6 0
60 Ханты Мансийский АО 2 2 2 1
61 Ямало-Ненецкий АО 3 2 3 3
62 Челябинская Область 0 0 0 0
63 Республика Алтай 6 5 3 3
64 Республика Бурятия 1 0 1 1
65 Тыва Республика Тыва 9 9 2 3
66 Республика Хакасия 5 6 3 1
67 Алтайский Край 0 0 0 0
68 Забайкальский Край 3 0 1 1
69 Красноярский Край 0 0 0 0
70 Иркутская Область 0 0 0 0
Окончание табл. 2
71 Кемеровская Область 0 0 0 0
72 Новосибирская Область 0 0 0 0
73 Омская Область 0 0 0 0
74 Томская Область 0 0 0 0
75 Республика Саха 2 1 1 0
76 Камчатский Край 3 2 1 1
77 Приморская Область 1 1 0 0
78 Хабаровский Край 0 0 0 0
79 Амурская Область 3 2 2 1
80 Магаданская область 5 1 1 1
81 Сахалинская Область 2 2 1 1
82 Еврейская Авт.Обл. 7 4 7 7
83 Чукотский АО 10 9 8 9
Примечание: цифры в таблице- количество отсутствующих значений индикаторов рассчитано авторами по данным (Официальная, 2005-2014 гг.)
Здесь нумерация регионов соответствует их нумерации в исходных бинарных матрицах. Например, для Белгородской области (i=1) во все годы количества отсутствующих значений индикаторов было равно нулю, то есть наблюдалось присутствие значений всех 16 индикаторов. Самая худшая ситуация наблюдалась для Чукотского автономного округа (i=83), в котором число индикаторов с отсутствующими значениями колебалось от 8 до 10. Отметим, что все присутствующие значения индикаторов были ненулевые.
Если в исходных четырех бинарных матрицах проделать суммирование их значений по строкам и столбцам, то мы придем к таблице 3.
Таблица 3 Table 3
Распределение суммарных количеств присутствующих ненулевых значений инновационных
индикаторов по годам Distribution of total amounts of the present nonzero values of innovative indicators by years.
№№
ндикаторов 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Всего
год
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
2005 83 83 82 79 83 67 47 77 68 56 75 80 75 77 74 70 1176
2008 83 83 83 80 83 68 47 78 73 62 78 81 77 78 77 75 1206
2011 83 83 83 81 83 68 47 78 76 60 81 81 81 81 81 78 1225
2014 83 81 81 80 81 80 68 81 79 59 79 83 83 82 82 78 1261
рассчитано авторами по данным таблицы 2
Из этой таблицы видим, что суммарное количество присутствующих ненулевых значений индикаторов постепенно росло по годам. Этот рост составил
(7 76^76 ) Х100% = 7,2% . Также видим, что хуже всего по всем регионам
представлены индикаторы под номерами 7 и 10. В первом случае для 2014 г. присутствовали данные по 68 регионам из 83, а во втором - по 59.
Индикатор №7 соответствует численности докторантов в регионе России, а индикатор под №10 - количеству разработанных передовых производственных технологий в регионе России.
Перечни регионов с отсутствующими данными по этим индикаторам, полученные на основе исходных бинарных матрицы, приведены в таблице 4.
Таблица 4. Table 4.
Перечни регионов с отсутствующими данными по индикаторам под №№7 и 10, 2014 г.
Индикатор №7 (количество докторантов) Регионы Индикатор №10 (количество разработанных производственных технологий) Регионы
1 2
Смоленская обл., Ненецкий АО, Ленинградская обл., Псковская обл., Республика Ингушетия, Чеченская республика, Курганская обл., Ханты-Мансийский АО-Югра, Ямало-Ненецкий АО, Республика Алтай, Республика Тыва, Магаданская обл., Сахалинская обл., Еврейская автономная обл., Чукотский АО (всего 15 регионов) Костромская обл., Курская обл., Орловская обл., Тамбовская обл., Республика Коми, Архангельская обл., Ненецкий АО, Мурманская обл., Республика Адыгея, Республика Калмыкия, Республика Ингушетия, Карачаево-Черкесская Республика, Республика Северная Осетия-Алания, Ставропольский край, Республика Марий-Эл, Кировская обл., Курганская обл., Республика Алтай, Республика Тыва, Республика Хакасия Забайкальский край, Камчатский край, Амурская обл., Еврейская автономная область (всего 24 региона)
расчитано авторами по данным (Официальная, 2005-2014 гг.)
Из таблицы 4 видим, что для индикатора под №7 преобладали восточные регионы, а для индикатора под №10 - восточные и кавказские регионы. Присутствующие ненулевые значения остальных 14 индикаторов достаточно полно представлены по регионам России (от 78 до 83).
Если мы проанализируем исходные бинарные матрицы на предмет количества отсутствующих значений индикаторов по регионам России на уровень 2014 г., то здесь худшие позиции занимают Ненецкий АО (8 отсутствующих значений индикаторов), Еврейская автономная обл. (7), Чукотский АО (9). В остальных 80-ти регионах количества таких индикаторов варьирует от 0 до 4 (табл.2).
Наилучший прогресс в деле сокращения количества отсутствующих значений индикаторов с 2005 по 2014 год сделали Архангельская обл. (количество отсутствующих значений индикаторов уменьшилось с 7 до 2), Республика Адыгея (с 5 до 1), Республика Калмыкия (с 8 до 1), Республика Ингушетия (с 11 до 4), Тюменская обл. (с 5 до 0), Чеченская Республика (с 10 до 1), Республика Тыва (с 9 до 3), Республика Хакасия (с 5 до 1), Магаданская обл. (с 5 до 1). При этом подсчете мы из таблицы 2 выделили регионы, в которых сокращение количества отсутствующих значений индикаторов произошло более чем на 3 единицы.
Номера регионов, в которых отсутствовали данные по более чем 30% индикаторов, приведены в таблице 5, а в таблице 6 приведены номера регионов, в которых наблюдалось наличие ненулевых значений для всех индикаторов.
Последняя таблица фактически и выделяет плотные субматрицы, состоящие только из единиц, что и является итогом матричной кластеризации для разряженных бинарных матриц в гнашем случае. Так, из исходной бинарной матрицы размерности 83*16 (данные 2005 г.) мы получили плотную субматрицу, состоящую из единиц, размерности 36*16, а из аналогичной исходной бинарной матрицы по данным 2014 г. мы получили плотную субматрицу несколько большей размерности 49*16.
Таблица 5 Table 5
Номера регионов, в которых отсутствуют данные по более чем 30% индикаторов
год Номера регионов
1 2 3 4 5 6 7 8 9 10 11 12
2005 21 22 31 37 41 63 65 82 83
2008 22 31 37 41 65 66 83
2011 21 22 31 37 59 82 83
2014 22 82 83
рассчитано авторами по данным
Официальная, 2005-2014 гг.)
Таблица 6 Table 6
Номера регионов, в которых наблюдаются наличия ненулевых значений для всех индикаторов Numbers of regions in which are observed existence of nonzero values for all indicators_
год омер регионов
2005 1 3 4 6 8 10 11 17 18 23 29 32 33 34 35 36 43
2008 1 2 3 4 5 6 10 11 12 14 17 18 20 23 29 32 34 35 36 38 43
2011 1 2 3 4 5 6 8 10 11 12 17 18 20 23 29 32 33 35 36 38 43
2014 1 2 3 4 5 6 9 10 12 15 16 17 18 19 23 24 27 29 32 33 34 35 36 38 43
Продолжение таблицы 6
год Номер регионов Всего
2005 46 47 49 51 52 53 54 55 56 58 62 67 69 70 71 72 73 74 78 36
2008 46 47 49 51 52 53 54 55 56 58 62 64 67 68 69 70 71 72 73 74 75 78 43
2011 45 46 47 49 51 53 54 55 57 58 62 67 69 70 71 72 73 74 77 78 41
2014 45 46 47 48 49 51 52 53 54 55 56 58 59 62 67 69 70 71 72 73 74 75 77 78 49
рассчитано авторами по данным (Официальная, 2005-2014 гг.)
Заключение
В данной работе для четырех исходных бинарных матриц наличия данных по 16-ти индикаторам инновационной статистики, распределенных по 83 регионам России на уровни 2005, 2008, 2011 и 2014 гг., построены плотные субматрицы, состоящие из единиц. Так, для бинарной матрицы размерности 83*16 (2005 г.) получена плотная субмарица размерности 36*16, которая на уровень 2014 г. имела размерность 49*16.
Показано, что количество присутствующих ненулевых значений индикаторов постепенно росло по годам (в среднем на 7,2% в год), причем хуже всего по всем регионам были представлены индикаторы, связанные с количеством докторантов (в 2014 г. присутствовали данные по 68 регионам из 83) и разработанных производственных технологий (в 2014 г. присутствовали данные по 59 регионам из 83).
Самая худшая ситуация по наличию данных инновационной статистики наблюдалась в Чукотском АО, в котором число индикаторов с отсутствующими значениями колебалось от 8 до 10.
Как и следовало ожидать, наихудшая ситуации по полноте данных инновационной статистики наблюдалась для северных и восточных регионов, но за десятилетний период времени (с 2005 по 2014 г.) наблюдалась положительная динамика в улучшении этой полноты.
Список литературы References
1. Бабаев, А.А. 2013. Современные зарубежные и отечественные подходы оценки инновационного развития территорий //Вестник Казанского технологического университета. 2013. №9. С. 314-319.
Babaev, A.A. 2013. Modern foreign and domestic approaches to assessment of innovative development of territories //Bulletin of Kazan technological University. 2013. №9. pp. 314-319. (In Russian).
2. Бортник, И.М., Сенченя Г.И., Михеева Н.Н., Здунов, А.А., Кадочников, П.А., Сорокина, А.В. 2012. Система оценки и мониторинга инновационного развития регионов России //Инновации. 2012. №9 (167). С. 48-61.
Bortnik, I.M., Senchenya G.I., Mikheeva N.N., Zdunov, A.A., Kadochnikov, P.A., Sorokina, A.V. 2012. The system of evaluation and monitoring of innovative development of Russian regions // Innovations. 2012. №9 (167). pp. 48-61. (In Russian).
3. Московкин, В.М., Казимиру Эринелту 2017. Современные проблемы социально-экономических систем в условиях глобализации: Кластеризация многомерных объектов различной
природы: постановка исследовательской задачи. Современные проблемы социально-экономических систе в условиях глобализации. Х Междунар. науч.-практ. конф., Белгород, 1 марта 2017 г.: сб. науч. тр./науч. ред.: Е.М. Камышанченко, Ю.Л. Растопчина. - Белгород. 2017. С. 27-30.
Moskovkin, V.M, Casimiro Herinelto. 2017. Modern problems of socio-economic systems in the conditions of globalization: Clustering of multidimensional objects of different nature: setting the research problem. Modern problems of socio-economic system in the context of globalization. X Intern. scientific-practical. Conf., Belgorod, March 1, 2017: coll. sci. tr. / scientific. Ed .: E.M. Kamyshanchenko, Yu.L. Rastopchina. - Belgorod. 2017. pp. 27-30. (In Russian).
4. Московкин, В.М., Казимиру Эринелту. 2017.Матричная кластеризация как кластеризация матриц одинаковой размерности// Научные ведомости БелГУ. Сер. Экономика. Информатика. 2017. - №23 (272), Вып. 44. - С. 123-127
Moskovkin, V. M., Casimiro Herinelto. 2017. Matrix clustering as a clustering of matrices of the same dimension// Bulletin of BSU. Ser. Economics. Informatics. 2017. - №23 (272), issue. 44p. pp. 123-127.(In Russian).
5. Морошкина, М.В. 2013. Формирование региональных кластеров как инновационный фактор развития //Региональная экономика: теория и практика. 2013. №34 (313). С. 30-37.
Moroshkina, M.V. 2013. Formation of regional clusters as an innovation factor of development // Regional Economics: Theory and Practice. 2013. №34 (313). pp. 30-37. (In Russian).
6. Официальная Федеральная служба государственной статистики [Электронный ресурс]. Официальная статистика РФ. Наука, инновации и информационное общество \ Наука и инновации. Режим доступа: http: //www.gks.ru/wps/wcm/ connect/rosstat_main/ rosstat/ru/statistics/ science_and_innovations/science/
Official Russian Federal State statistics service [electronic resource]. Official statistics, R&D and information society \ R&D. Mode of access:
http://connect/www.gks.ru/wps/wcm//rosstat_main/en/rosstatstatistics/science_and_innovations/science/ (Date accessed 2017). (In Russian).
7. Kuo, J.J., Zhang, Y.J. A. 2012. Library Recommender System Using Interest Change over Time and Matrix Clustering. Taipei, Taiwan. 2012, pp. 259-268. {10.1007/978-3-642-34752-8_32}
Kuo, J.J., Zhang, Y.J. A 2012. Library Recommender System Using Interest Change over Time and Matrix Clustering. Taipei, Taiwan. 2012, pp. 259-268. doi = {10.1007/978-3-642-34752-8_32}
8. Oyanagi, S., Kubota, K., Nakase, A. 2001. Matrix Clustering: A New Data Mining Method for CRM//Trans. IPSJ, 2001, Vol.42, №8, pp. 2156-2166.
Oyanagi, S., Kubota, K., Nakase, A. 2001. Matrix Clustering: A New Data Mining Method for CRM//Trans. IPSJ, 2001, Vol.42, №8, pp. 2156-2166.
9. Oyanagi, S., Kubota, K., Nakase, A. 2002. Mining WWW Access Sequence by Matrix Clustering. WEBKDD, LNAI 2703, 2002, pp. 119-136. doi = {10.1007/978-3-540-39663-5_8}
Oyanagi, S., Kubota, K., Nakase, A. 2002. Mining WWW Access Sequence by Matrix Clustering. WEBKDD, LNAI 2703, 2002, pp. 119-136. doi = {10.1007/978-3-540-39663-5_8}
