Университеты и образовательные технологии для развития общества
Юдина Татьяна Николаевна к.и.н., ведущий научный сотрудник Научно-исследовательского вычислительного центра МГУ имени М.В. Ломоносова, Воробьевы горы, Москва, 119992, (495)9391739, [email protected]
Богомолова Анна Викторовна доцент, к.э.н., доцент кафедры Макроэкономической политики и стратегического управления Экономического факультета МГУ имени М.В.Ломоносова, Воробьевы горы, Москва, 119992, (495)9391739, [email protected]
Петухова Ольга Викторовна к.э.н., ведущий научный сотрудник Центрального экономико-математического
института РАН, Нахимовский проспект, 47, Москва, 117418(495) 9391739 [email protected]
Аннотация
Для успешного развития нашей страны решающее значение имеет человеческий капитал, основными характеристиками человеческого капитала называют уровень образования граждан, их профессиональные компетенции, умение и готовность осваивать и применять новые знания. Эти требования повышают значение и ответственность национальной образовательной системы и прежде всего высшего профессионального образования: предстоит подготовить новое поколение специалистов, готовых освоить и внедрить современную практику управления, привести нашу страну к новой модели развития. Компьютерные технологии умножают образовательный и исследовательский потенциал учебных заведений, расширяя информационную базу и спектр методов анализа, дают дополнительные способы распространения результатов исследований, дистанционное обучение раздвигает размеры аудитории до всего общества. Как показывает зарубежный опыт, университеты, выполняя свои образовательные и исследовательские функции, создают потенциал и технологии, которые могут быть использованы в решении задач развития страны. Успех университетских проектов зависит от того, насколько общество и власти осознают образование и новые знания как экономическую потребность и условие повышения конкурентоспособности страны и благополучия граждан, готовы к преобразованиям, где реализован механизм распространения знаний, культура и практика сотрудничества с университетами. Одно из динамично развивающихся направлений сотрудничества - статистическое образование. Успеху содействует растущая востребованность статистических знаний и компетенций - по данным профессиональной сети LinkedIn, в декабре 2014 года специалисты в области обработки и анализа данных занимают первое место среди 25 самых востребованных профессий в мире [ 1 ].
В статье рассмотрен один из информационных ресурсов, разработанных в университетском сообществе России для продвижения статистической грамотности в нашей стране, потенциал которого может служить социально-экономическому развитию общества .
Human capital is an important component of Russian Federation social and economic development. Human capital's main characteristics include education, professional competent ions, readiness to obtain new knowledge and training. These requirements increase the role of a national system of education, higher education institutions being at the edge - they are to educate a new generation of specialists and enrich them with new knowledge and competent ion needed to introduce a modern model for our country development . Computer-based technologies assist much to universities' potential to educate and to research, widening an information base and methods to investigate social and economic tendencies. Distant education enlarge the university halls making knowledge and training available for the whole nation.
Foreign countries experience proves that national universities while fulfilling their educational and research mission have created the potential that serve the nation by stimulating its social and economic development and meeting the challenges of the future. Universities' projects' success depends only possible if a society and powers value education and knowledge as a necessity for a nation economic development and for every citizen well-being, ready for innovations, implement mechanism for cooperation. One of the fields for cooperation is statistical education. Statistical knowledge and competencies to analyze data is highly demanded - as LinkedIn proves - in December 2014 data analysis and data mining was number 1 in the list of hottest skills [ 1 ]
Presented is one of several information resources implemented in the RF university community to promote statistical education that may serve for RF statistical literacy and statistical thinking.
Ключевые слова
образовательные ресурсы и технологии, статистическое образование, информационная инфраструктура, методы анализа данных. Resources and technologies, statistical education, information infrastructure, data, data-based analysis
Введение. Статистическая грамотность как вызов времени
Один из вызовов будущего, для ответа на который университеты имеют существенный потенциал, - повышение статистической грамотности общества, внедрение статистического мышления в практику управления и культуру принятия решений на всех уровнях власти. Статистические знания, умение работать с данными рассматриваются как ключевые компетенции специалистов нового поколения во всех областях профессиональной деятельности. Эти компетенции - необходимое условие эффективного гражданского участия: только информированное и грамотное, в том числе статистически грамотное, общество может контролировать деятельность органов власти - осуществлять мониторинг, анализировать и оценивать ход и результаты выполнения социальных программ. В ряде стран статистическое образование объявлено национальным приоритетом, разработана стратегия и этапы реализации программ обучения и повышения квалификации специалистов.
Дискуссия о повышении статуса статистических знаний в развитии общества и необходимости нового подхода к преподаванию статистики ведутся в профессиональном сообществе с начала 2000 годов. В последние годы тема статистического образования все активнее обсуждается в обществе. Дополнительным стимулом стали программы «открытого правительства», и «большие данные». Программа «открытое правительство» предполагает перевод в электронный формат
архивов документов и статистических данных, произведенных государственными органами, создание инструментов обработки, визуализации и анализа этих больших архивов и представление в открытом доступе с дружественными сервисами для разных групп пользователей. Реализация концепции «больших данных» расширяет спектр доступных информационных источников за счет архивов бизнеса, университетов, исследовательских институтов и т.д., содержащих разные типы данных. Результаты двух программ в комплексе способны умножить национальный аналитический потенциал для системных исследований и прогноза социально-экономического развития страны и регионов. В 2012 году Компания стратегического консультирования МакКинзи провела комплексное изучение потенциала «больших данных», уровня использования этого потенциала и условий, определяющих востребованность ресурсов, в США и 30 странах Западной Европы. Рассматривались 7 областей (образование, здравоохранение, социальное страхование, транспорт и др.). В докладе "Большие данные : Потенциал для инноваций, повышения конкурентоспособности и производительности труда / Big Data: The Next Frontier for Innovation, Competition, and Productivity», опубликованном в 2011 году, показано, что эффективное использование супермассивов данных может принести большую пользу в каждой из областей. Так, в США общие расходы на здравоохранение могут быть снижены на 7-8% в год за счет уточнения расходов по направлениям финансирования на основе системного анализа ключевых плановых и достигнутых показателей. Совокупная экономия на государственное управление в развитых странах Западной Европы может составить до 250 млрд. евро. НО наблюдается нехватка специалистов-аналитиков, способных реализовать этот информационный потенциал, причем ситуация с кадрами ухудшается. По оценке МакКинзи, к 2018 году только в США дефицит специалистов-аналитиков высшего звена составит от 140 000 до 190 000 человек, а дефицит менеджеров и специалистов среднего звена, обладающих навыками анализа данных для подготовки эффективных решений, составит до 1.5 миллионов. Предложение будет на 50-60 % отставать от спроса на специалистов. Выводы доклада включают рекомендации каждой стране разработать стратегию и мобилизовать систему образования и научное сообщество на подготовку специалистов и создание технологий анализа больших массивов данных для поддержки задач управления. Качество подготовки специалистов определит уровень управления, перспективы развития и конкурентные позиции страны [2]. Комментируя доклад МакКинзи, газета New York Times заключает, что новое поколение специалистов в области управления страной должно внедрить новую культуру управления и практику принятия решений: определяющей компетенцией специалистов должны стать статистическое мышление, умение строить модели, прогнозировать риски и предлагать решения с учетом рисков. Эти знания важны и для каждого гражданина - для благополучия семьи и личного успеха в жизни [3].
Доклад МакКинзи вызвал большой общественный интерес в мире, усилил позиции сторонников активного статистического просвещения граждан. Исследования в разных странах оценивают статистическую грамотность граждан невысоко. Недостаточен и общий уровень статистических знаний служащих государственных институтов. Так, проведенное группой независимых экспертов в Великобритании в 2011 году исследование показало, что знания статистики 20% населения страны не выше уровня школьников младших классов. Причем, показатели оказались ниже, чем в 2003 году. Группа оценила ежегодные потери от столь низкого уровня знаний и неумения работать с данными в 20,2 млрд. фунтов стерлингов или 1,3 ВВП страны. При этом потери граждан составляют 8,8 млрд. фунтов, бизнеса - 3.2 млрд. фунтов, правительства - 8,2 млрд. фунтов. Для граждан добавляется риск безработицы или неполной занятости, для страны - отставание от потенциально возможного уровня государственных услуг по здравоохранению, образованию, социальной поддержке, правовой и судебной защите [4]. Таким
образом, статистические знания становятся условием экономического развития страны, а современное статистическое образование - вызовом времени.
Статистика как учебная дисциплина: подходы и решения в разных странах мира
США
Опыт зарубежных стран показывает, что целенаправленное статистическое просвещение и обучение требуют от образовательного сообщества многолетних последовательных усилий и скоординированной поддержки государственных ведомств и профессиональных сообществ. Дискуссия о необходимости нового подхода к преподаванию статистики была инициирована преподавательским сообществом в 1993 году статьей под названием «Что отсутствует в статистическом образовании / What's Missing in Statistical Education?» [5]. В статье были проанализированы учебные программы уровня бакалавров и магистров на гуманитарных факультетах в университетах США, отмечалось, что программы ориентированы на теорию, а не на практическую работу с данными, отсутствуют задания на умение обрабатывать и анализировать показатели, в результате, -выпускники беспомощны при обращении к реальным данным, даже обучение в магистратуре дает поверхностное знакомство со статистикой и не дает главного -умения работать с реальными данными и умения статистически мыслить. По результатам исследования Национальный научный фонд провел конференцию под названием «Пересматривая статистическое образование / Reconsidering Statistics Education» [6]. Одной из главных проблем была названа подготовка преподавателей статистики. Отмечалось, что преподавание на гуманитарных факультетах требует учета специфики каждой дисциплины. Конференция рекомендовала программу мер для повышения квалификации преподавателей статистики - именно преподаватели выступают в роли главной силы, «способной произвести статистическую революцию в США» [7].
По результатам конференции Министерство образования США заявило о начале реформы статистического образования. Стратегию реформы разработал Национальный научный фонд (ННФ) в докладе «О будущем статистики» / Report on the Future of Statistics». В докладе отмечалось, что «успехи многих отраслей науки стали возможны, благодаря статистике и методам количественного анализа». Статистические знания лежат в основе национального потенциала развития, в стране растет потребность в специалистах-статистиках для промышленности, правительственных ведомств, науки. В Рекомендациях доклада сформулирована «дорожная карта» решения проблемы, определены ключевые направления. Первоочередные задачи - разработка новых программ обучения, формирование информационной инфраструктуры и подготовка преподавателей статистики. Действовать надо немедленно - специалистов не хватает в ключевых отраслях промышленности и в органах управления страной [8]. Обучение статистике должно вестись по всей образовательной вертикали, начиная со школ, главная ответственность - на университетах страны.
На уровне школ первым шагом стала активизация программы «Углубленное изучение статистики / Advanced Placement (AP) Course in Statistics» для старшеклассников, программа содержит курс, который читается на первом году обучения в колледже, и экзамен в виде комплекса тестов. Успешно сдавшие экзамен получают зачет в колледже [9]. По данным Национального Совета по образованию и
обучению число успешно сдавших экзамен за период с 2004 по 2014 года выросло в 20 раз.
Программы преподавания статистики на уровне бакалавриата были проанализированы в 2005 году Американской Статистической Ассоциацией, был подготовлен доклад с рекомендациями, суть которых - изменить последовательность тем в преподавании статистики и отойти от классического подхода : обзор метода, алгоритм и формулы расчета, интерпретация результатов, примеры. В результате обучения по традиционной схеме выпускники получают теоретические сведения, но не умеют работать с реальными данными и применять количественные методы -анализировать динамику процесса, строить прогнозы, определять риски, предлагать оптимальные решения с учетом рисков и т.д. и т.п. Эту модель преподавания рекомендовано изменить и нацелить преподавание на обучение студентов пониманию сути и способов применения первичных понятий статистики: среднее, медиана, стандартное отклонение, дисперсия, стандартная ошибка. Эти основные понятия статистики формируют ту необходимую базу, на которой строится понимание сложных количественных методов и могут быть интерпретированы результаты любого метода. Рекомендовано для каждой профессии на первом этапе обучения определить конкретные прикладные задачи и только на следующем шаге перейти к изучению методов анализа и статистического инструментария и выбрать метод, адекватный поставленной проблеме и определить, какие исходные данные требуются для решения [10].
На основе рекомендаций упомянутых докладов Министерством образования был предложен план разработки комплекса ресурсов и методологических рекомендаций по конкретным учебным предметам и темам для бакалавриата и магистратуры для университетов и колледжей разных типов. Национальный научный фонд объявил целевой конкурс, и на гранты ННФ в 2009 году стартовали 15 проектов. [11] Одним из проектов стала разработка портала Обучение статистике / Teaching with Data на базе Мичиганского межуниверситетского консорциума по социальным и политическим исследованиям. Со-исполнителем выступила другая университетская структура «Сеть ресурсов для статистических исследований в социальных науках»/ Social Science Data Analysis Network (SSDAN). [12] Цель проекта - на конкретных примерах для каждой дисциплины представить возможно полный спектр методов и инструментов статистического анализа, дополнить материалы разъяснениями и инструкциями для преподавателей.
В 2010 году портал Teaching with Data [13]. Доступны коллекции данных и материалы по широкому спектру учебных курсов по гуманитарным дисциплинам для бакалавриата и магистратуры, а также для программ повышения квалификации специалистов. Ресурсы содержат весь комплекс обучающих процедур для овладения знаниями, навыками и компетенциями, предусмотренными образовательными стандартами. Подборки показателей - реальных данных дополнены сервисами для анализа и инструментами визуализации средствами деловой графики и картографии. Портал состоит из нескольких разделов. Раздел «Ресурсы» содержит свыше 300 тематических коллекций по категориям : бизнес, демография, занятость, заболеваемость (диабет), рождаемость/смертность, браки и разводы и другим. Значительная часть коллекций составлена на основе данных государственных органов - Федеральной резервной системы, Министерства сельского хозяйства, Министерства здравоохранения, Бюро статистики труда, Бюро переписей и представляет широкий спектр социально экономических показателей. Другая часть -данные социологических опросов. Так, коллекция «Бедность» предоставлена Роперовским центром изучения общественного мнения, включает выборки из опросов с 1935 года, отражающие отношение к проблеме бедности разных групп населения (среднестатистические американцы, сами бедные граждане, работники социальных служб, исследователи). Вопросы касались причин бедности, границ
ответственности правительства за неравенство в доходах разных групп населения, пособий для бедных, программ обучения для получения работы, мотивированности бедных на работу» и т.п. На основе данных Бюро правовой статистики при Министерстве юстиции создана коллекция опросов по теме «готовы ли граждане отказаться от гражданских свобод перед угрозой терроризма» за период 1996-2007. Формат представления данных - таблицы, графики и карты. Каждая коллекция данных подробно описана. Приведена методология наблюдений и опросов. Раздел «Упражнения с данными» содержит тематические подборки показателей по десяткам названий, из последних поступлений - подборки на основе результатов последней переписи населения, результатов общенациональных выборов 2012 года. Несколько подборок сформированы на основе данных портала «Дети Америки» и рекомендованы для использования по теме «Социология детства». Данные представлены на уровне страны и на уровне штатов и характеризуют образование, физическое развитие, здоровье, социальное и экономическое положение семей, включают уровень детской и младенческой смертности; число новорожденных с низким весом; число детей в бедных семьях; число детей в семьях с родителями-безработными и родителями, не имеющими работы на полный день; число семей с одним родителем; число подростков, которые не учатся и не работают; число подростков, исключенных из школы; число случайных смертей среди подростков; число убийств и самоубийств среди подростков; число рождений у матерей-подростков. Раздел «Коллекции данных» содержит подборки данных и инструкции по использованию в программных пакетах SPSS, SAS, Stata и других. На портале реализован цикл обучающих семинаров для преподавателей статистики по всей образовательной вертикали.
Ответственность руководителей за качество преподавания статистики
Одновременно в США повышают ответственность руководителей факультетов и университетов за качество преподавания статистики. Министерство образования США последовательно стоит на позиции, что в условиях, когда значимость статистических знаний и статистического мышления возрастает для дисциплин по всему образовательному спектру, курсы по статистике и методам анализа данных должны быть введены на всех факультетах и практически для всех специальностей. Степень сложности может различаться, но знание статистики становится обязательным требованием к выпускнику.
По рекомендации Министерства образования во всех учебных заведениях - и государственных, и частных, была проведена внутренняя экспертиза образовательных программ и разработан оптимальный подход к дополнению учебной программы курсами по статистике и методам анализа. Национальный научный фонд объявил конкурс на проекты по разработке таких стратегий. Отметим два проекта - победителя.
Макалестер колледж в штате Миннесота основан в 1874 году как небольшое (около 2000 студентов) частное учебное заведение, преподавание ведется по 800 программам на 40 кафедрах, типичный колледж гуманитарного профиля (Liberal Arts Institution), занимает 7 место по качеству обучения в стране. Образовательные стандарты и требования к выпускникам колледжа не предусматривали обязательных компетенций в области математики и статистики. «В результате большинство выпускников получали диплом, будучи абсолютно статистически безграмотными и не могли критично оценивать даже информацию СМИ. Это было признано недопустимым для колледжа, известного своими исследованиями и образовательными программами в области государственного управления». Инициативная группа преподавателей разработала программу курса «Количественные методы для государственного управления / Quantitative Methods for Public Policy». Программа междисциплинарная (вовлечено большое числа кафедр), сфокусирована на головной теме из области государственного управления, не
является статистическим дополнением к имеющимся курсам, но гибко развивает и дополняет существующие курсы ( в небольшом колледже сложно менять учебную программу на кафедрах). Был также разработан модуль для студентов - обзор основных понятий в статистике и количественных методах. Модуль включал перечень проблем, которые возникают в процессе политических дебатов. В 20022003 учебном году тематикой курса были «школьные ваучеры». Программа школьных ваучеров была предложена в 1996 в Нью Йорке, ее цель - за счет средств штата помочь родителям оплатить учебу своих детей в частных школах. Программа доказала высокую эффективность для афроамериканцев, эффект для американцев-азиатов и белых американцев был незначительным. Каждый штат принимает свое решение о поддержке программы и размерах бюджетного финансирования после общественного обсуждения. Противники программы убеждены, что эти деньги можно было бы с большей пользой потратить на усовершенствование государственных учебных учреждений. Участвовали в разработке программы 6 факультетов : Экономический, Математический, Географический, Политологии, Коммуникации, Английского языка. 100 студентов обучались в осенний семестр, 70 -в весенний. Во второй год 2003-2004 темой была "иммиграционная политика», участвовали 4 факультета: Экономический, Математический, Географический, Политологии. Вторая тема оказалась удачнее первой с точки зрения общественной значимости и личных интересов для большинства студентов. Опыт показал, что курсы по статистической грамотности и количественному анализу нужны даже математикам и экономистам. В последующие годы головная тематика курса меняется каждый год, и состав участвующих кафедр варьируется. Есть базовые кафедры, которые читают основы курса, остальные участвуют в зависимости от темы. Такая организация курса оказалась действенной с точки зрения вовлечения новых кафедр, для которых количественные методы - не профильный предмет. Для студентов, поступивших в колледж в 2007 году, курс включен в список обязательных по выбору, с 2011 года по курсу сдают экзамены [14]. Как свидетельствует опыт Колледжа, изучение количественных методов для анализа процесса управления - сильный мотиватор для студентов и преподавателей, особенно для тех, кто не силен в математике, но способен оценить значение количественных методов для более глубокого понимания процесса государственного управления.
Подводя итог после 8-ми лет усилий, один из руководителей программы профессор Д.Бресод отметил, что успех начинания определили несколько факторов, прежде всего - заинтересованное участие большинства преподавателей колледжа. При том, что базовыми были Математический и Экономический факультеты, ключевую роль играли Географический, Социологический и факультет Политологии. Нацеленность преподавателей на высокое качество обучения студентов создала ту среду, которая обеспечила успех. Важно, что программа разработана как междисциплинарная, преподавательская культура колледжа обеспечила сотрудничество разных факультетов и кафедр и гибкость учебного плана. Бесспорно, успеху содействовала поддержка администрации и адекватное финансирование -разработка, реализация, тестирование новой модели преподавания - долговременный последовательный и трудоемкий процесс, важно, что Министерство образования и ННФ поддерживали колледж на всех этапах. Это позволило привлечь лучших специалистов как преподавателей и для консультаций. Как предполагалось изначально и было условием гранта ННФ, Макалестер колледж представил программу как модель другим аналогичным учреждениям, консультирует преподавателей других учебных учреждений [15].
Другая траектория внедрения курсов по статистике и количественным методам анализа была реализована в Колледже Колби - Сауэр (СоШу-Sawyer College) - небольшой колледж гуманитарных наук (около 1000 студентов) в штате Нью Гэмпшир. Здесь программа выросла на основе учебных курсов Математического
факультета. Введению новых курсов предшествовал опрос преподавателей и студентов, в ходе которого свыше 80% преподавателей высказались за необходимость повышения уровня статистической образованности выпускников. Было признано целесообразным разработать комплекс модулей с примерами количественного анализа для отдельных дисциплин. По гранту ННФ в 2007 году группа из 20 преподавателей разработала модули для 13 дисциплин - биология, бизнес, химия, педагогика, социология, охрана окружающей среды, история, политология, литературоведение. Каждый модуль состоит из нескольких частей -статистические понятия, методы, примеры. Для мониторинга процесса обучения и определения эффективности был разработан модуль для тестирования студентов 1 курса и выпускников. Успех обеспечили те же составляющие, что и в Макалестер колледже - заинтересованность преподавателей, целевое финансирование, поддержка администрации [16].
С 2007 года Министерство образования ввело т.н. Планы повышения качества обучения / Quality Enhancement Plans, которые готовит каждый университет при переаттестации. В планах детально представляются 1 -3 инновационных направления, на которых университет планирует сосредоточить усилия и повысить качество обучения. За 2007-2011 годы в числе первых трех направлений -статистический анализ. Наличие этого предмета в образовательной программе обязательно при общенациональном рейтинговании и рейтингах штатов университетов для вхождения в 100 лучших. Один из университетов - Техасский университет в Сан Антонио (второй по количеству студентов государственный университет в штате Техас) назвал инновационное направление «От статистической грамотности к мастерству / Quantitative Scholarship: From Literacy to Mastery» и включил в стратегию развития университета. Выполнение задачи рассчитано на 5 лет, на это период университет выделил грант в 4 млн. долларов на 5 лет и учредил должность проректора, ответственного за статистическое образование. Гранты получили преподаватели на редизайн учебных курсов. За 5 лет будет создана образовательная среда для подготовки специалистов, обладающих статистическим мышлением, которая сформирует новую культуру преподавания в университете [17].
На базе университетов организованы курсы повышения квалификации государственных служащих, сотрудников общественных и профессиональных организаций, граждан. В ведомствах ужесточили требования к сотрудникам, включили в профессиональные стандарты умение работать с данными как обязательное условие для всех сотрудников государственных ведомств. В марте 2012 года был опубликован Меморандум президента США «Большие данные - большое дело» [18]. В Меморандуме перечислялись ведомства и закрепленные за ними задачи - формирование новых ресурсов, разработка технологических решений и сервисов с целью максимально эффективного использования потенциала «больших данных». Основным партнером всех ведомств являются университеты, задача которых -разработать программы подготовки нового поколения исследователей, способных системно анализировать большие массивы данных и документов разных типов для междисциплинарных исследований. Национальный научный фонд финансирует создание «Идеальной лаборатории» для обучения методам комплексного анализа статистических данных в разных дисциплинах и для разных приложений.
В июне 2014 года Американская статистическая ассоциация опубликовала доклад рабочей группы «Данные для новых открытий: интеграция статистики и информатики способна трансформировать науку и общество». Авторы Доклада анализируют потенциал «больших данных» для формирования информационной инфраструктуры, способной поддерживать системное исследование проблем, стоящих перед нацией, рассматривают перспективы применения статистического анализа для широкого спектра приложений, особенно подробно - для социальных наук, государственного управления и повышения уровня благосостояния граждан.
Приходят к выводу, что ключевой составляющей успеха в решении сложных задач, стоящих перед страной в сложное время, станет новое поколение междисциплинарных специалистов, знающих статистику, информатику, науку о данных. Подготовка таких специалистов - важная общественная потребность [19].
Целенаправленные и скоординированные усилия ответственных организаций привели к положительной тенденции - неуклонному росту числа выпускников бакалавриата и магистратуры, успешно освоивших курсы по статистике и методам анализа и росту числа защищенных диссертаций. Причем, если в 2003-2007 годах кривая роста была пологой, то в 2008-2013 годах идет резко вверх Американская статистическая ассоциация опубликовала данные по востребованности курсов по статистике в бакалавриате: статистика опередила даже компьютерные дисциплины, число выпускников, получивших степень бакалавра по статистике и методам анализа почти удвоилось (95%) в период с 2010 по 2013 годы, при этом в социологии увеличилось на 77% [20]. Знание статистики и методов анализа данных становится одним из основных требований на рынке труда. По данным сети профессиональных контактов LINKEDIN, статистика в 2014 году возглавила список из 25 наиболее востребованных специализаций [21].
Отмечая видимые успехи, в США признают, что преподавателей статистики по-прежнему не хватает на большинстве гуманитарных факультетов. В 2014 году Американская статистическая ассоциация совместно с Американской математической ассоциацией опубликовали для обсуждения новый вариант «Требований к квалификации для преподавания статистики/ Qualifications for Teaching an Introductory Statistics Course» для бакалавриата для дисциплин, в которых статистика не является профилирующим предметом. Документ призывает активизировать усилия руководителей факультетов и университетов по повышению квалификации действующих преподавателей и подготовке новых кадров. [22] .
Как показывает опыт США, переход к обновленным программам обучения статистике, ориентированным на потребности экономического и социального развития общества, - длительный последовательный системный процесс, включает три основных взаимосвязанных и взаимодополняющих направления - разработка новых методик преподавания, формирование информационной инфраструктуры и подготовка нового поколения преподавателей. Успешное решение этой триединой задачи возможно лишь при осознании обществом важности статистических знаний и навыков работы с данными как ключевой компетенции специалистов практически во всех сферах жизни страны. В США действуют в содружестве и координируют направления работы все ответственные за образование государственные ведомства -Министерство образования, Национальный научный фонд, профессиональные организации - Американская статистическая ассоциация и Американская математическая ассоциация. Ключевую роль в продвижении статистических знаний и просвещении граждан играют национальные университеты.
Великобритания
Университетские сообщества других стран в значительной мере используют опыт США, но реализуют свой подход к продвижению статистического образования, сталкиваются с аналогичными проблемами, но применяют системный подход, решения более рациональны и экономны. Специфика Великобритании в том, что параллельно с обновлением учебных программ и введением новых стандартов преподавания статистики по всей образовательной вертикали в стране активно продвигают программы повышения квалификации для специалистов и граждан. Ресурсы для обучения статистике изначально рассматриваются как часть национальной информационной инфраструктуры, разрабатываются, как правило, на
базе университетов, затем поддерживаются и развиваются скоординированными усилиями университетов, профессиональных сообществ, государственных ведомств и организаций некоммерческого сектора. Разрабатывают стратегию, координируют и финансируют проекты научные фонды во главе с Советом по экономическим и социальным исследованиям / Economic and Social Research Council [23].
В 1998 году по инициативе Министерства для образования Великобритании было проведено обследование уровня общей образованности населения страны -грамотности (умения читать, разговаривать и писать на английском языке) и знания математики и статистики. В доклад отмечалось, что около 20% взрослых граждан (а это более 7 млн. человек) не обладают функциональной грамотностью ни в плане английского языка, ни в плане умения считать. «Такое положение таит серьезную угрозу для развития страны, благополучия каждой семьи и каждого гражданина» [24]. Группа рекомендовала разработать национальную стратегию повышения грамотности и статистической грамотности нации и план мероприятий. Как первый шаг план включал разработку Стратегии формирования информационной инфраструктуры, на основе которой будет реализована учебная программа по статистике. В разработке Стратегии объединили усилия Министерство образования и Королевское статистическое общество [25]. В составе Общества создан Центр по статистическому образованию. В 2013 году Международным статистическим конгрессом результаты деятельности Центра по формированию инфраструктуры для статистического образования и комплексу учебных программ были признаны лучшими среди стран-участниц конгресса [26]. Организационно информационная инфраструктура поддерживается на базе нескольких крупных университетов. Эти университеты получают целевое финансирование на развитие закрепленных за ними тематических направлений: Манчестерский университет - ресурсы и сервисы для межстрановых сравнительных исследований, Эссекский - национальный архив экономических и социологических данных, Эдинбургский - аграрная статистика, геоинформационные ресурсы и сервисы, университет Глазго -статистика по промышленности, Лондонская школа экономики - национальная статистика по преступности и особенно детально - статистика по преступности несовершеннолетних и результатах предпринятых мер профилактики нарушений. Перечисленные университеты выполняют и роль методологических центров по закрепленному направлению, в сферу ответственности входит и разработка приложений для поддержки преподавания статистики и методов анализа для разных гуманитарных дисциплин, а также сервисов для граждан. Информационные ресурсы для учебных курсов по статистике и методам анализа разрабатываются университетами в сотрудничестве с государственными организациями и с учетом потребностей соответствующего ведомства, так как ведомства заинтересованы в использовании разработанных в университетах новых методов анализа и технологических решений, включая сервисы для разных групп пользователей, а также современных подходов к организации и поддержанию информационной инфраструктуры. Традиционно ресурсы университетов отличаются развитыми сервисами для исследователей, прежде всего - модулем методологической поддержки, что важно и для специалистов государственных ведомств. Этот комплекс и процедуры обратной связи с пользователями повышают дружественность ресурса и соответственно - востребованность среди пользователей. Повышение востребованности информационных ресурсов - важная общественная задача в условиях возрастающих затрат на создание и поддержание информационных ресурсов. В последние годы исследование потребностей разных групп пользователей стало практикой государственных организаций Великобритании, один из примеров -проект Офиса национальной статистики на базе Лондонской школы экономики по анализу деятельности Виртуальной лаборатории микроданных, созданной для доступа к ресурсам Офиса национальной статистики. Организация доступа к
микроданным - сложная многоаспектная проблема, решение актуально не только для исследователей, но и органов власти и местного самоуправления. Результатом исследования стал доклад с анализом деятельности Лаборатории и предложения по развитию до 2015 года. В докладе рассмотрен весь спектр вопросов, связанных с функционированием Лаборатории, представлены рекомендации по оптимальной организации доступа исследователей и других групп пользователей к микроданным.
Пример более масштабного проекта - проведенное в 2011-2013 годах Национальным научным фондом Великобритании совместно с правительством Уэльса исследование комплекса информационных ресурсов правительства Уэльса на предмет полноты и достаточности для разных групп пользователей и анализ оценок и предложений пользователей и разработка подробных рекомендаций по совершенствованию ресурсов с учетом потребностей всего спектра пользователей [27]. Цель исследования - как достичь такого уровня востребованности ресурсов, который обеспечит эффективность вложений. Уэльс был выбран не случайно - до 2000 годов Уэльс являл пример «информационной целины», ресурсы создавались заново, важно было на начальном этапе заложить основу полноценной информационной инфраструктуры, начиная со статистической системы региона, поэтому особое внимание уделялось начинающим пользователям на стадии освоения ресурсов и обучения работе с данными, когда для пользователей важна не только полнота и качество информационной инфраструктуры, но и дружественность интерфейса и сервисов, справочный модуль. Исследование стало первым опытом и успешным примером системного исследования качества государственных ресурсов на предмет удовлетворения информационных потребностей разных групп пользователей, прежде всего - потребностей в статистических данных и сервисах обработки, визуализации и системного анализа. Рекомендации доклада легли в основу стратегии информационного развития Уэльса.
В 2010 году Королевское статистическое общество предложило программу статистического просвещения общества, рассчитанную на 10 лет. В рамках программы был создан специальный портал «Начало / GETSTARTS» [28] как точка входа в национальную статистическую среду. Портал содержит разделы, ориентированные на граждан, органы управления, бизнес, исследователей, журналистов, учителей и школьников. Для каждой целевой аудитории разработан комплекс статистических ресурсов и методических материалов. В рамках проекта издается журнал «Significance /Значение» [29], на страницах журнала ведется дискуссия по проблемам статистического образования в стране, анализируется зарубежный опыт. Признано, что проблемой и первоочередной задачей в статистическом образовании является повышение квалификации преподавателей статистики, при этом фактически заново должен быть сформирован корпус преподавателей статистики для гуманитарных дисциплин. Для поддержки преподавателей по грантам Национального совета по экономическим и социальным наукам создана и развивается корпоративная сеть ресурсов и методологических материалов для гуманитарных дисциплин на базе Эдинбургского университета .[30]
Финансовые затраты на создание «больших данных» стали дополнительным стимулом продвижения статистического просвещения и образования в Великобритании. В октябре 2013 года была принята национальная программа формирования сети государственных информационной ресурсов, утверждены требования и стандарты, процедуры контроля. [31]. Тогда же в октябре 2013 года Министерство по делам университетов и науки и Министерство по делам профессионального обучения и предпринимательства провели совместное исследование и опубликовали доклад «Использование статистики. Стратегия укрепления статистического потенциала / Seizing the data opportunity. A strategy for UK data capability». В докладе разработаны направления, на которых будут сосредоточены усилия двух министерств - образовательные программы для граждан,
целевая подготовка специалистов (статистиков-аналитиков) и разработка технологий обработки и анализа больших данных. Задачи буду решать в содружестве и сотрудничестве правительства, бизнеса и университетов. При этом университеты выполняют роль локомотива как в области статистического образования, так и в области разработки средств аналитики. В докладе обсуждается идея гранта на формирование на базе 100 университетов сети аналитических центров по обработке «больших данных. [32].
Значительным событием с точки зрения продвижения статистической грамотности в обществе была публикация доклада, подготовленного Национальной Статистической службой совместно с несколькими исследовательскими организациями в феврале 2013 года в преддверии Референдума о независимости Шотландии «Анализ Шотландии : Автономия Шотландии и последствия / Official Statistics in the Context of the Referendum on Scottish Independence. Scotland analysis: Devolution and the implications for Scottish independence» [33]. Доклад содержал представительный объем статистических данных, характеризующих динамику социально-экономического развития Шотландии на фоне динамики социально-экономического развития Великобритании. Кроме того, доклад содержал подробный справочный блок и словарь с разъяснениями значений показателей и методов наблюдения и расчета. Доклад был дополнен он-лайновым модулем «Вы принимаете решение / Your life - you decide» с инструментами прогноза и моделирования и подробным разделом поддержки пользователей [34] . Было организовано широкое общественное обсуждение доклада и освещение дискуссий в СМИ. Министерство образования Великобритании и департамент образования Шотландии рекомендовали изучение доклада в школах. Преподаватели университетов были привлечены для ответов на вопросы и консультирования граждан. По результатам референдума Шотландия осталась в составе Великобритании. По мнению экспертов, доклад помог гражданам разобраться, прояснить ситуацию, самим себе ответить на важные вопросы. Доклад имел существенное значение для осознания гражданами ценности статистики и анализа данных при принятии решений.
В марте 2014 года в Великобритании инициатива «статистическое образование для всех» была объявлена национальным приоритетом. Приветствуя инициативу, министр образования теневого кабинета, выступая в Палате лордов, заявил, что статистическая грамотность - это не образовательная задача, а экономическая потребность, условие конкурентоспособности и благополучия страны, каждой семьи и каждого британца в будущем [35].
Повышение квалификации преподавателей статистики остается в центре внимания трех ответственных организаций-исполнителей - Министерства образования, Королевского статистического общества и национального научного фонда. Задача подготовки специалистов оказалась сложнее задачи формирования образовательной инфраструктуры. Королевское статистическое общество проводит специальные междисциплинарные исследования, привлекая специалистов разных областей. В частности, отмечается, что на гуманитарных факультетах практически все преподаватели сталкиваются с необходимостью преодолевать негативное отношение студентов к статистике из-за математической составляющей и прошлого опыта студентов в изучении математики. Наиболее успешным подходом признано обучение через примеры использования статистики в реальной жизни в конкретной области специализации студентов. Предложено даже такое определение «Статистика - это математика в реальной жизни». Для помощи преподавателям Королевское статистическое общество издает он-лайновый журнал "Обучение статистике" самый востребованный раздел журнала - задачи [36] .
Упомянутый выше Доклад фирмы МакКинзи [37] был детально проанализирован в Великобритании на уровне правительства, бизнеса, университетов. Среди предложенных практических мер - рекомендация
Министерству образования ориентировать университеты на подготовку специалистов междисциплинарного профиля - знающих статистику и программирование. В настоящее время только один университет в графстве Варвик готовит таких специалистов усилиями двух факультетов - статистики и компьютерных наук. "Именно эти специалисты в скором будущем затмят звезд шоу бизнеса по популярности и гонорарам. Это надо постоянно внушать школьникам и студентам" [38] .
В реализации инициативы «статистическое образование для всех» активно участвует предпринимательское сообщество и некоммерческие партнерства. Одна из тем, которые обсуждаются сегодня, - совместные проекты национальных университетов и бизнеса в разработке комплекса инструментов для анализа «больших данных». Считается, что по этому направлению Великобритания имеет высокие шансы выйти в лидеры.
В сентябре 2014 года Королевское Статистическое общество опубликовало Статистический манифест, сформулированы 10 рекомендаций для следующего кабинета министров, который будет сформирован после выборов в мае 2015 года. Рекомендации нацелены на внедрение статистического мышления в практику принятия решений для повышения качества управления - перехода к доказательному управлению, для укрепления демократии и повышения благосостояния граждан. Рекомендации содержат предложение увеличить финансирование на исследования и образовательные программы по статистике в университетах страны. Рекомендации призывают политиков, чиновников и всех специалистов в сфере управления пройти обязательное обучение и освоить методы работы со статистикой как ключевой компетенцией, необходимой для современного управления [39] .
Канада
В Канаде вывод о необходимости обновления программ обучения статистике как условия повышения качества управления страной был сделан по результатам комплексного исследования социальных и экономических тенденций в провинциях страны, исследование было проведено Национальным научным советом и Статистическим Агентством в начале 90-ых годов. Итоговый доклад опубликован в 1998 году и призывал к конструктивным изменениям в механизме подготовки и принятия решений, контроля и оценки результатов деятельности правительства, рекомендации включали:
- создание современной информационной инфраструктуры на основе данных государственной статистики, способной обеспечить постоянный мониторинг и системный анализ экономического состояния страны и провинций и социальных процессов;
- подготовку критического числа специалистов для государственных организаций страны, способных применять статистические знания в практике управления - проводить системный социально - экономический анализ, прогнозировать и исследовать факторы риска, разрабатывать решения с учетом возможных рисков [40].
Следуя рекомендациям доклада, правительство в начале 2000 годов предприняло меры по совершенствованию статистической службы страны, был дополнен и уточнен Закон о статистике. Одновременно решались и вопросы статистического образования граждан и просвещения общества. Премьер-министр обратился к ведущим специалистам в области статистики с призывом разработать новую программу учебного курса для университетов и программ повышения квалификации специалистов. Программа была разработана и в настоящее время во всех профильных университетах и колледжах Канады учебные курсы по статистике
входят в обязательную программу. Также как и в США, для помощи студентам в университетах введена должность библиотекаря-специалиста по статистике (data librarian). Одновременно решены вопросы доступа к данным для обучения и исследований. В отличие от США, где вся государственная статистика доступна на открытом портале, в Канаде доступ к государственной статистике регламентирован, и не все ресурсы бесплатны для граждан. В 2007 году стартовал проект «Свободный доступ к данным» (Data Liberation Initiative), и усилиями Статистического Агентства и университетского сообщества и под руководством Национального научного совета был создан специальный статистический ресурс для поддержки учебного процесса и исследований, доступ к которому бесплатен также для исследователей из зарубежных университетов.
ООН
В 1994 году повышение статистической грамотности граждан было объявлено приоритетом ООН. Под эгидой ЮНЕСКО была создана международная ассоциация по статистическому образованию / International Association on Statistical Education, цель которой - координация деятельности стран-участниц по повышению уровня преподавания статистики на всех ступенях образовательной вертикали, начиная с начальной школы. В работе Ассоциации участвуют 122 страны. РФ не является официальным членом Ассоциации, но участвует в отдельных программах. Среди основных направлений деятельности Ассоциации - издание журнала, проведение международных олимпиад по статистике для школьников и студентов, программы повышения квалификации для преподавателей школ и университетов, ведение модуля «лучших практик преподавания». Ассоциация оказывает содействие странам в разработке новых образовательных стандартов для каждой ступени образовательной вертикали в части статистики и количественных методов анализа. При этом каждая страна находит рациональный способ организации статистического просвещения общества и обучения методам анализа данных разных групп граждан, выстраивает систему повышения квалификации специалистов. Во всех странах движущей силой выступают университеты [41] .
Ресурсы университетов как прототип национальной информационной инфраструктуры общества знаний
Национальные университетские сообщества США, Великобритании, Канады, Финляндии, других стран участвуют в формировании национальной информационной инфраструктуры нового поколения - разрабатывают, тестируют, реализуют ресурсы, сервисы, административные процедуры, стандарты как прототип информационной инфраструктуры общества знаний. Одно из направлений деятельности - разработка стандартов качества ресурсов. Так, в условиях возрастающей востребованности статистических ресурсов на информационном рынке появляются коммерческие структуры с предложениями статистических коллекций и образовательных услуг. Обзор таких ресурсов выявил примеры сформированных на скорую руку коллекций, которые не могут служить качественному статистическому образованию. В 2008 году по инициативе Национального научного фонда Нидерландов было введено понятие «Доверенный электронный ресурс / Trusted Digital Resource» и разработаны 16 принципов, которые должны быть соблюдены, чтобы получить статус. Базовые принципы: доступность ресурса по Интернет; лицензионная чистота источников; представление данных в
форматах, удобных для анализа; методологическое сопровождение данных; ссылки на источники. Техническое требование - соблюдение ключевого стандарта электронной архивации OAIS /Open Archival Information System, утвержденного в 2003 году Международной организацией стандартов (в 2012 году утверждена новая редакция OAIS). Среди ресурсов, получивших статус DSA в 2010-2015 годах: Центр данных по археологии университета графства Йорк, Великобритания, Электронный архив Нидерландов, Национальная библиотека Германии, Мичиганский межуниверситетский консорциум по социальным и политическим исследованиям (США), Архив данных по психолингвистике Института Макса Планка (Германия) и другие, всего около 40 архивов [42].
В развитых странах вошло в практику привлечение университетов к поддержанию архивов государственных ведомств. Так, Мичиганский межуниверситетский консорциум по социальным и политическим исследованиям уже несколько лет эту роль для нескольких федеральных ведомств США, включая Библиотеку конгресса, Агентство по делам ветеранов, Центр исследований уголовных преступлений, Национальный центр изучения наркозависимых и вич-инфицированных, Национальный архив данных по здоровью и здравоохранению, Национальный центр изучения меньшинств, Национальный центр данных по культуре и искусствам, Центр исследований преступности несовершеннолетних. Перечисленные ведомственные архивы поддерживаются, согласно организационным и техническим требованиям статуса Доверенного электронного ресурса. Таблицы с данными дополнены элементами первичного статистического анализа.
В последние годы исследовательский потенциал университетов увеличивается за счет коллекций, опубликованных по программе «открытое правительство», это особенно значимо для проектов, нацеленных на повышение эффективности управления. Такие проекты имеют особую общественную значимость. Так, в 2012 году 4 университета США инициировали проект по совместному с Агентством по делам ветеранов исследованию положения ветеранов войн. По результатам исследования, среди ветеранов старше 55 лет число бездомных в 2 раза выше среднего уровня по стране. Были определены «болевые точки» и разработаны рекомендации по совершенствованию программ помощи ветеранам. Еще один пример - по гранту Национального научного фонда группа университетов исследовала несколько водоемов, состояние которых было критическим. Рекомендации были представлены Руководству Национального Агентства по океанам и атмосфере. Были скорректированы квоты вылова рыбы, и после 10 лет ухудшения состояния водоемов, большинство водохранилищ вернулись в удовлетворительное состояние, и в них растет рыбное поголовье. Как писал журнал «Экономист», это пример принятия решения с учетом научных знаний - власти поняли, что ученые должны определять квоты вылова рыбы, а не чиновники, политики и не сам рыбный бизнес [43].
Механизм передачи знаний
Общество знаний может быть построено только в случае, если знания востребованы обществом и властью и существует механизм передачи знаний. Первым шагом в формировании механизма распространения знаний стало требование национальных научных фондов к грантополучателям подготовить специальный раздел в заявке и отчете по гранту с разъяснением общественной значимости проекта и подробном описанием приложений, которые могут быть разработаны на основе результатов проекта. Национальный научный фонд Швейцарии в 2013 года объявил программу «Наука для общества» и финансирует разработку приложений на основе результатов фундаментальных исследований [44]
Один из проектов (2014-2015 годы) - разработка Swiss Open Research Data Platform -инфраструктуры для представления результатов научных исследований. По каждому проекту подробно и понятным языком описаны результаты исследования и возможности для применения в разных областях, прежде всего - для задач управления страной Mr André Golliez, President, Swiss Open Research Data. "Towards a Swiss Open Research Data Platform" [45] Гибкая система поиска обеспечивает удобную и понятную навигацию по прикладным решениям.
Национальный научный фонд США в январе 2015 года опубликовал специальный циркуляр с требованием приложить к каждому отчету по гранту раздел с разъяснением, как результаты проекта служат национальным интересам США, прогрессу науки, улучшению системы здравоохранения, повышению уровня жизни граждан и укреплению безопасности страны. Одновременно в США создается механизм постоянного взаимодействия конкретных ведомств и научных фондов и исследовательских организаций. В ряде правительственных учреждений уже введена должность Директор по интеллектуальному развитию / привлечению знаний / Chief Knowledge Officer/CKO. Инициируя это предложение В.Кундра, первый IT-директор в администрации президента Обамы, заявил, что существуют примеры, когда университеты еще 20 лет назад разработали, реализовали, описали и опубликовали модели анализа, которые правительственные ведомства начали использовать только в последние годы. В обязанности Директора входит:
- мониторинг научных результатов исследований в областях, важных для направлений ответственности ведомства, контакты с организациями - источниками новых знаний (университеты, аналитические центры, бизнес),
- формирование корпоративной библиотеки с тематическими публикациями для аккумулирования знаний и просвещения сотрудников,
- разработка стратегии накопления корпоративных знаний и методов их применения для развития и достижения целей ведомства,
- формирование корпоративной культуры, направленной на повышение капитализации знаний в процессе принятия решений [46].
Начиная с 2014 года активно обсуждается введение в ведомствах должности Директора по большим данным / Chief Data Officer, задача которого - курировать работы по созданию архива «больших данных» в своей организации, разработать стратегию и практику интегрирования внешних коллекций «больших данных» для задач своей организации, по возможности, превратить работу с данными в организации в источник дохода. Вероятно, должности Директора по интеллектуальному развитию и Директора по большим данным будут совмещены и введены во всех государственных ведомствах [47].
Деятельность зарубежных университетов по двум своим миссиям -образование и исследования дает примеры успешных решений для задач развития страны и перехода к обществу знаний. Успех определяет готовность общества и власти использовать знания и сотрудничать с университетами.
РФ
В последние годы и в РФ происходят сдвиги в понимании важности статистического образования. Новые федеральные государственные образовательные стандарты ВПО по направлению «Экономика», «Менеджмент», другим смежным дисциплинам в части профессиональной деятельности и бакалавров, и магистров предусматривают расчетно-экономическую и аналитическую деятельность. Стандарты по направлению «история» включают математический и информационно-технологический цикл, который предусматривает, что студент должен «знать
разделы математики, которые нашли применение в исторических исследованиях (математическая статистика, методы математического моделирования); уметь выбирать и применять адекватные информационные технологии для решения научно-исследовательских, информационно-аналитических и других профессиональных задач; применять адекватные методы статистического анализа данных исторических источников...». Стандарты по всем гуманитарным наукам предусматривают «овладение выпускниками арсеналом инструментов системного анализа, компетенциями моделирования и прогнозирования общественных явлений и процессов на базе электронных библиотечных систем, информационных систем и профессиональных баз данных» [48] .
Определение понятия «профессиональные базы данных» в стандартах не содержится. Но судя по опыту зарубежных стран, имеются в виду информационные ресурсы для учебных курсов и практикумов по статистике и методам анализа для обучения навыкам, соответствующим требованиям новых образовательных стандартов.
Современное состояние статистического образования в России проанализировано в ряде статей, из последних публикаций в 2014 году выделим две статьи руководителей Московского государственного университета экономики, статистики и информатики (МЭСИ). Вывод - «состояние статистического образования откровенно неудовлетворительно. Среди причин - неготовность определенной части преподавателей к преподаванию на современном методическом и технологическом уровнях, перед студентами не ставят содержательные задачи из предметных областей, решение которых и формирует статистическое мышление»
[49]. Среди направлений совершенствования статистического образования и формирования статистического мышления авторы называют современные технологии и прежде всего - интерактивную работу с большими массивами данных
[50]. Как показывает зарубежный опыт, даже в странах с развитой статистической культурой университетские сообщества формируют специальную информационную инфраструктуру для статистического образования. Ресурсы, которые могут составить такую информационную инфраструктуру, разработаны и поддерживаются несколькими коллективами в РФ. Среди ресурсов - База показателей социально-экономического развития России на сайте Института комплексных стратегических исследований [51], Основные текущие экономические показатели России. Обзоры данных и прогнозы на сайте Экономической экспертной группы [52] , Архив экономических и социологических данных НИУ Высшая школа экономики [53], авторский сайт «ОРЛОВ В.И. Статистические методы» [54] .
В настоящей статье мы представим только один из ресурсов, который может служить современному статистическому образованию, и этот пример показывает потенциал уже существующих образовательных технологий для развития нашей страны. Университетская информационная система РОССИЯ УИС РОССИЯ [55] создана и поддерживается в МГУ имени М.В Ломоносова, доступна с 2000 года и действует как тематическая электронная библиотека и база для исследований и учебных курсов в области экономики, управления, социологии, истории, лингвистики, философии, филологии, международных отношений и других гуманитарных наук. Специальный комплекс научно-вспомогательных и технических процедур обеспечивает дополнительные функциональные возможности системы и пользовательские услуги, ориентированные на поддержку исследовательской работы и учебных задач — академический сервис. Доступ бесплатно предоставляется всем образовательным и научным учреждениям, государственным и негосударственным некоммерческим организациям и публичным библиотекам по обращению Руководителя и предварительной регистрации. С УИС РОССИЯ работают более 330
коллективных пользователей - университеты, институты, колледжи, академии, учреждения РАН, государственные ведомства, исследовательские центры, а также отдельные исследователи из всех регионов страны.
Рис.1. Главная страница УИС РОССИЯ
УИС РОССИЯ состоит из нескольких разделов (Рис.1). Основной раздел -Базы данных и он-лайн анализ. Раздел содержит комплекс баз данных «Регионы России» (модули с ежегодным и ежемесячным обновлениями), «Муниципальные образования» и «Дети России». Ресурсы ориентированы на задачи учебного процесса и овладения студентами профессиональными компетенциями, предусмотренными ФГОС ВПО по соответствующим направлениям. [Подробнее см. 56]
Базы данных созданы на основе публикаций Федеральной службы государственной статистики (Росстата). В последние годы Росстат динамично расширяет спектр и ретроспективу публикуемых на сайте данных, доступны методологические пояснения, Формы федерального статистического наблюдения, электронный каталог метаданных. Вместе с тем структура публикаций и формат представления данных не ориентированы на исследование показателей, не содержат сервисов, необходимых для поддержки научной работы и учебного процесса. [Подробнее см. 57-61] .
Формирование ресурсов на основе публикаций Росстата - трудоемкая и наукоемкая часть работы коллектива проекта. Приведем только один пример из последнего сборника «Регионы России. Социально-экономические показатели. 2014». Так, раздел «Структура объема отгруженной продукции (работ и услуг) по виду экономической деятельности "Обрабатывающие производства" содержит показатель «производство кокса и нефтепродуктов, химическое производство, производство резиновых и пластмассовых изделий». В одноименных сборниках до за 2013 года каждый вид производства был представлен отдельно. Потребовалось провести экспертизу данных, чтобы определить, что данные за прошлые годы могут быть сведены в одну группу, и временной ряд будет сформирован корректно. Примеров изменения названий показателей, изменения единиц измерения, периода наблюдения десятки. [62] Только экспертиза показателей каждого следующего сборника серии позволяет формировать непрерывные временные ряды. В 2015 году в базах данных реализована опция «Комментарий» с кратким описанием изменений.
База «Регионы России» (модуль с ежегодным обновлением) формируется на основе показателей одноименного ежегодного сборника Росстата, а также сборников «Экономическая активность населения России (по результатам выборочных обследований)», «Цены в России», «Демографический ежегодник России», «Семья в
России», «Российский статистический ежегодник», «Торговля в России», «Труд и занятость в России», «Здравоохранение в России», «Жилищное хозяйство и бытовое обслуживание населения в России», всего более 20 названий сборников. Общее число показателей, по которым сформированы временные ряды, - 2945, большинство — в ретроспективе с 2000 года, некоторые - с 1990 года. Показатели снабжены методологическими пояснениями Росстата и «привязанными к пояснениям» формами федерального статистического наблюдения.
База «Регионы России» (модуль с ежемесячным обновлением) разработана на основе публикации Росстата «Региональное приложение к ежемесячному сборнику «Социально-экономическое положение России» и «Информация для ведения мониторинга социально-экономического положения субъектов Российской Федерации». База данных содержит временные ряды по 883 показателям в ретроспективе с января 2006 года. База может считаться уникальной, так как разработана и поддерживается только коллективом УИС РОССИЯ.
База данных «Муниципальные образования» разработана на основе публикации Росстата «Муниципальная статистика. Паспорт муниципального образования», содержит данные по 25000+ муниципалитетам. Общее число показателей — около 900. Показатели даны в разрезе муниципальных районов, городских округов, городских и сельских поселений и отражают социальную инфраструктуру муниципальных образований, финансы, уровень жизни, ряд других сведений. По сравнению с первоисточником база данных содержит развитый интерфейс и поисковые решения, ориентированные на потребности исследователей и учебный процесс. База дополнена развернутым информационным блоком по муниципальному уровню управления в РФ — основные регулирующие документы, виды территориальных образований, вопросы местного значения, полномочия, история местного самоуправления и т.д. Обновление базы производится ежегодно.
База данных «Дети России» разработана на основе данных из сборников Росстата, в которых публикуются данные по возрастам от 0 до 18 лет в разрезе регионов, - «Регионы России», «Социальное положение и уровень жизни населения в России», «Здравоохранение в России», «Демографический ежегодник», «Дети в России», «Молодежь в России» и др. Из сборников выбраны показатели, характеризующие положение детей, в том числе, уровень и качество жизни семей в регионах: установленная в регионе величина прожиточного минимума; структура величины прожиточного минимума; численность населения с денежными доходами ниже величины прожиточного минимума (в процентах от общей численности населения региона); распределение малоимущих домашних хозяйств по основным категориям ; распределение малоимущего населения, из них дети; среднедушевые располагаемые ресурсы и их дефицит в малоимущих домашних хозяйствах ; социальное страхование; размер и структура социальных выплат; размер минимальной оплаты труда, установленный для региона; размер ежемесячного пособия на ребенка, установленный для региона и других. Общее число показателей и временных рядов - 2092, ретроспектива большинства показателей - 2000 год и ранее.
Реализованы инструменты визуализации показателей средствами деловой графики. Гибкий пользовательский интерфейс позволяет модифицировать представление и сохранять графики и диаграммы в стандартные форматы, а также выводить их на печать. В базе данных «Дети России» дополнительно реализованы динамические демографические пирамиды по РФ и по каждому региону.
Аналитические сервисы
Сервисы для анализа показателей в таблице определены программой учебных курсов по статистике, включают процедуры отбора, расчета, представления и анализа показателей с использованием основных (классических) методов, применяемых в практической статистике для характеристики совокупности данных в созданной пользователем таблице, в том числе: отбор по критерию; расчет элементов описательной статистики (среднего значения, суммы, стандартного отклонения, стандартной ошибки, дисперсии, минимума, максимума, размаха, эксцесса (вариации), асимметрии); построение вторичных переменных вариационных
рядов; построение вторичных переменных рядов динамики; вычисление показателей корреляции; выявление сезонных колебаний и их устранение в
рядах с ежемесячными или квартальными данными; построение индексов
(расчет стоимостных показателей в ценах базисного в ценах базисного года, построение прогнозов. (Рис. 2)
абялалфпч до «л м
9
О
аеаинайа
□ »70
Ни«
О 1990
□ и?:
□ 2996
□ 1939
В В«
□ 199:
□ 1994 ® 1997
у! аоо
□ им И19»
□ 1992
□ 1995
Отбор (к критерию ■ Вторичные переменные ыршцнонкш рядов Вторичные переменные рядов динамики
д[|р=
Построение прогнозов
Рис.2. Сервисы для анализа показателей
Все вычисляемые значения снабжены справкой (определение, алгоритм (формула) вычисления, области, особенности и примеры применения). Средства картографического анализа позволяют формировать региональные типологии по выбранному показателю. (Рис.3)
Рис.3. Группировка регионов на основании показателя «Средняя наполняемость классов в государственных и муниципальных дневных общеобразовательных учреждениях, 10-11 (12) классы, приходится учащихся в среднем на один класс; человек»
В базе данных «Дети России» дополнительно реализован Мониторинг положения детей в регионах РФ, включает 12 показателей, в именно а) по региону : величина прожиточного минимума (все население /дети); распределение общего объема денежных доходов по 20-процентным группам населения. Коэффициент Джини; Среднедушевые денежные доходы населения; б)здоровье детей: коэффициенты младенческой смертности; инвалидизация / дети-инвалиды в возрасте 0 - 17 лет; в)образование : общая численность занимающихся в учреждениях дополнительного образования детей ; г) общая численность обучающихся в общеобразовательных учреждениях для детей с ограниченными возможностями здоровья; д)общее образование: средняя наполняемость классов в государственных и муниципальных дневных общеобразовательных учреждениях; удельный вес учащихся государственных и муниципальных дневных общеобразовательных учреждений, занимающихся во вторую смену; е)досуг: численность учащихся на начало учебного года в детских музыкальных, художественных, хореографических школах и школах искусств Минкультуры России ; ж)правонарушения: содержалось несовершеннолетних в ЦВСНП. Удалось выбрать только эти показатели, так как период наблюдения по ним составляет, как минимум 3 года. Реализовано представление динамики изменений показателей на графиках.
База данных «Дети России» дополнена модулем «ДОКУМЕНТЫ» со ссылками на источники официальных документов, регулирующих вопросы положения детей (НТЦ «Система», «Российская газета», «КонсультантПлюс») и источники, содержащие консультации по вопросам, касающимся детей (Гарант. Домашняя правовая академия), тематические подборки статей (Институт Уполномоченного при Президенте РФ по правам ребенка, Гарант. «Домашняя правовая академия», Фонд поддержки детей, находящихся в трудной жизненной ситуации. Доклады «Дети в трудной жизненной ситуации», Российская газета. Тематические сообщения «Дети» и «Образование».
Еще один модуль - «Зарубежные ресурсы по детям» включает ссылки и описания на русском языке ресурсов ряда стран: США, Канада, Великобритания, Германия, Австралия, Сингапур, Португалия, Казахстан и международных организаций: Европейский Союз и Совет Европы.
Средства поиска
Поиск в базах данных ведется по названию показателя, региону, периоду времени. Разработана процедура интегрированного поиска в базах данных и по коллекциям тематических аналитических публикаций, среди источников:
- отчеты, мониторинги, бюллетени министерств и ведомств (Министерство экономического развития, Росстат, Центральный банк, Счетная палата и другие);
- аналитические доклады российских и международных исследовательских центров - Экономическая экспертная группа, Независимый институт социальной политики, Центр демографии НИУ ВШЭ, Московский центр Карнеги, Всемирный банк и другие); публикации о регионе и городе в СМИ (в том числе, «Коммерсант» и приложения «Регионы», «Власть», «Деньги»; газета «Поиск».
Инструменты поиска в интегрированной коллекции - классификатор статистических показателей и онтология «государственное управление». Содержательная интеграция статистических данных и документов из разных источников, характеризующих определенный регион, формирует основу для комплексного исследования и панорамного взгляда на социальные и экономические процессы. [63]
Следующий этап функционального развития УИС РОССИЯ - разработка поиска по регионам РФ с использованием базы географических знаний, создаваемой на основе Государственного каталога географических названий.
Для обучения работе с базами данных разрабатывается комплекс электронных уроков, цель которых - научить пользователей использовать методы системного анализа, моделирования и прогнозирования социальных процессов на базе реальных статистических данных, а также объяснить специфику применения разных методов и приемов анализа в экономике и других предметных областях.
Ресурсы УИС РОССИЯ для поддержки общественного участия
База данных «Дети России» действует как общедоступный ресурс. Базы «Регионы России. Ежегодное обновление», «Регионы России. Ежемесячное обновление», «Муниципальные образования» доступны бесплатно по предварительной регистрации, среди пользователей - публичные библиотеки страны, это значит, что практически все заинтересованные граждане страны могут работать с базами данных. Пользовательский сервис ориентирован на помощь в освоении инструментов анализа показателей. Ресурсы могут использоваться для информационно-аналитической поддержки решений и мониторинга результатов для государственных органов всех уровней власти и местного самоуправления. База «Дети России» может служить информационной основой для формирования позиции общества в отношении детей и семей с детьми, использоваться в практике стратегического планирования и социального проектирования.
Таким образом, созданные для образовательных задач и исследований базы данных служат статистическому просвещению и повышению статистической культуры общества, продвижению в практику управления методов системного анализа, определения рисков и прогноза с учетом возможных рисков. Учебные курсы на основе баз данных УИС РОССИЯ могут быть использованы в программах повышения квалификации специалистов государственных организаций, органов местного самоуправления. Потребность в программах статистического образования
Руководитель Росстата определил так : «Сегодня российскому обществу недостает статистических знаний. К сожалению, безграмотны не только домохозяйки, но и управленцы высокого уровня - те, кто разрабатывают государственные программы, а также предприниматели, эксперты. Это, бесспорно, беспокоит» [64]
Пример УИС РОССИЯ показывает, что университетское сообщество страны разработало ресурсы, которые могут использоваться обществом. Успех проектов зависит от готовности органов власти использовать потенциал и сотрудничать с университетским сообществом. Особым направлением является статистическое образование граждан. В этом направлении, координатором работ может стать созданная в апреле 2014 года Российская ассоциация статистиков. Уставными целями Ассоциация объявила: содействие развитию статистического образования, разработка и внедрение современного образовательного стандарта по статистике, повышения качества учебных программ, учебников и других методологических документов; содействие развитию статистической науки и практики; содействие подготовке и повышению квалификации статистических кадров; постановка перед органами исполнительной и законодательной власти вопросов, связанных с проблемами статистики, путей и методов решения этих проблем; содействие международному сотрудничеству в области статистики, развитию связей со статистической общественностью зарубежных стран, интеграции российских статистиков в мировое научное и профессиональное сообщество. [65]
Работы по проекту УИС ведутся с 1986 года, с 1997 года - на базе Научно-исследовательского вычислительного центра МГУ имени М.В. Ломоносова в сотрудничестве с Экономическим факультетом. Основной источник финансирования - гранты Российского гуманитарного научного фонда, в том числе № 10-02-12116а, №11-02-12012в, 12-02-12021в. В предыдущие годы работы поддерживались грантами Фонда Макартуров (США), Фонда Форда (США), Фонда Евразия (США).
ЛИТЕРАТУРА
1. Linkedln. [Электронный ресурс]. - Режим доступа: http://blog.linkedin.com/2014/12/17/the-25-hottest-skills-that-got-people-hired-in-2014/
2. McKinsey Global Institute. Big Data: Big data: The next frontier for innovation, competition, and productivity. 2011. Executive Summary». - Р. 13.
3. The Age of Big Data. The New York Times.- February 11. - 2012
4. National Numeracy Network. [Электронный ресурс]. - Режим доступа: http://www.nationalnumeracy.org.uk/research-skills-life-survey-2011
5. What's Missing in Statistical Education? American Statistician. - May 1993. - Vol. 47. - P.149-154.
6. Reconsidering Statistics Education. NSF, 1993. [Электронный ресурс]. - Режим доступа: http://www.amstat.org/publications/jse/v1n1/cobb.html/
7. Chance, Beth L.; Rossman, Allan J. Investigating Statistical Concepts, Applications, and Methods. Duxbury Press. - 2005
8. Lindsay, Bruce G.; Kettenring, Jon; Siegmund, David O. A Report on the Future of Statistics. -Statistical Science. - 19. - 2004. - no. 3. - Р.404-413. [Электронный ресурс]. - Режим доступа : http://projecteuclid.org/euclid.ss/1110999308
9. Advanced Placement (AP) Course in Statistics. [Электронный ресурс]. - Режим доступа: https://apstudent.collegeboard.org/apcourse/ap-statistics?stats
10. American Statistical Association Undergraduate Guidelines Workgroup. 2014. 2014 curriculum guidelines for undergraduate programs in statistical science. Alexandria, VA: American Statistical Association. [Электронный ресурс]. - Режим доступа: http ://www. amstat. org/education/curriculumguidelines.cfm
11. National Numeracy Network [Электронный ресурс]. - Режим доступа: http ://serc.carleton. edu/nnn/news/numeracyproj ects/profiles.html
12. Social Science Data Analysis Network (SSDAN). [Электронный ресурс]. - Режим доступа: http://www.ssdan.net/
13. Teaching with Data. [Электронный ресурс]. - Режим доступа: http ://www.teachingwithdata. org/
14. Macalester college. [Электронный ресурс]. - Режим доступа: http ://www. macalester. edu/qm4pp/index. html
15. Bressoud, David (2009) "Establishing the Quantitative Thinking Program at Macalester," Numeracy. - Vol. 2. - Iss. 1. - Article 3. - DOI: http://dx.doi.org/10.5038/1936-4660.2.1.3 . [Электронный ресурс]. - Режим доступа: http://scholarcommons.usf.edu/numeracy/vol2/iss1/art3
16. Royal Statistical Society. [Электронный ресурс]. - Режим доступа: www.rsc.ac.uk
17. Quantitative Scholarship: From Literacy to Mastery. The University of Texas at San Antonio Quality Enhancement Plan. Prepared for the Southern Association of Colleges and Schools Commission on Colleges, 2010, Executive Summary. - Р.Ш
18. Big Data Across the Federal Government .Executive Office of the President. March 29, 2012. [Электронный ресурс]. - Режим доступа:
http://www.whitehouse.gov/sites/default/files/microsites/ostp/big_data_fact_sheet_fi nal_1.pdf
19. American Statistical Association. Discovery with Data: Leveraging Statistics with Computer Science to Transform Science and Society. [Электронный ресурс]. -Режим доступа: www.amstat.org/policy/pdfs/BigDataStatisticsJune2014.pdf, p.25
20. American Statistical Association. [Электронный ресурс]. - Режим доступа: http://www.amstat.org/newsroom/pressreleases/2015-StatsFastestGrowingSTEMDegree.pdf
21. Linkedln. [Электронный ресурс]. - Режим доступа: http://blog.linkedin.com/2014/12/17/the-25-hottest-skills-that-got-people-hired-in-2014/
22. American Statistical Association and Mathematical Association of America. Joint Statement "Qualifications for Teaching an Introductory Statistics Course". [Электронный ресурс]. - Режим доступа: http://www.amstat.org/newsroom/pressreleases/2014-ASA-MAA-JointStatement.pdf
23. Economic and Social Research Council. [Электронный ресурс]. - Режим доступа::
http:// esrc.ac.uk
24. Improving literacy and numeracy. A fresh start. Report of the Working group. [Электронный ресурс]. - Режим доступа:
http ://www. lifelonglearning. co .uk/mosergroup/
25. Royal Statistics Society. [Электронный ресурс]. - Режим доступа:
http://www.rss.org.uk
26. International Association on Statistical Education. [Электронный ресурс]. - Режим
доступа: http://iase-
web.org/islp/documents/Newsletters/ISLP%20Newsletter%20Vol%207.1%20Januar y%202014.pdf
27. Improving Research Access for Potentially Disclosive Data in Wales. [Электронный ресурс]. - Режим доступа: http://www.esrc.ac.uk/my-esrc/grants/ES.J01138X.1/read
28. GETSTARTS. [Электронный ресурс]. - Режим доступа: http://www.getstats.org.uk
29. Significance. [Электронный ресурс]. - Режим доступа: http ://www. significancemagazine.org/view/index. html
30. Edinburg University. [Электронный ресурс]. - Режим доступа: http ://aqmen. ac.uk/node/3 8
31. Policy paper. National Information Infrastructure, Oct. 2013. [Электронный ресурс]. - Режим доступа: https://www.gov.uk/government/publications/national-information-infrastructure
32. Seizing the data opportunity. A strategy for UK data capability. HM Government . -October 2013.- Р.2-6
33. Scotland analysis: Devolution and the implications for Scottish independence», CM8554, February 2013. [Электронный ресурс]. - Режим доступа:
http ://www. scotreferendum. com/
34. Your life - you decide». [Электронный ресурс]. - Режим доступа: https://www.gov.uk/government/news/scottish-independence-referendum-your-life-you-decide
35. National Numeracy Challenge. [Электронный ресурс]. - Режим доступа: http ://www. nationalnumeracy.org.uk
36. Teaching Statistics. International journal for teachers. [Электронный ресурс]. -Режим доступа: http://www.teachingstatistics.co.uk/
37. McKinsey Global Institute. Big Data: Big data: The next frontier for innovation,
competition, and productivity». 2011. Executive Summary. - Р. 13.
38. Mathematics Today. - December 2013. - Р.238
39. Royal Statistics Society Data Manifesto. [Электронный ресурс]. - Режим доступа: http ://www. rss.org.uk/Images/PDF/influencing-change/rss-data-manifesto -2014.pdf
40. Final report. Joint working group on the advancement of research using social statistics / Social Sciences and Humanities Research Council of Canada and Statistics Canada. 1998-2002.
41. International Association on Statistical Education. [Электронный ресурс]. - Режим доступа: http://iase-
web.org/islp/documents/Newsletters/ISLP%20Newsletter%20Vol%207.1%20Januar y%202014. pdf
42. Trusted Digital Resource. [Электронный ресурс]. - Режим доступа: http ://datasealofapproval. org/
43. The Economist, May 26 - June 1. - 2012. - Р.30-34
44. Science in Society. [Электронный ресурс]. - Режим доступа: http://www.snf.ch/en/researchinFocus/dossiers/science-in-society/Pages/default.aspx
45. Towards a Swiss Open Research Data Platform. [Электронный ресурс]. - Режим доступа: http://openresearchdata.ch/
46. Chief Knowledge Officer/CKO. [Электронный ресурс]. - Режим доступа: http ://chiefdataofficereurope.com/download/
47. Chief Data Officer. [Электронный ресурс]. - Режим доступа: http://cdogovernment.com/
48. Федеральный государственный образовательный стандарт высшего профессионального образования по направлению подготовки 030600 История, c.10. [Электронный ресурс]. - Режим доступа: httpV/минобрнауки.рф
49. Башина О.Э, Минашкин В.Г., Смелов П.А. Статистическое образование : современное состояние и направления совершенствования. // Вопросы статистики. - №10. - 2014. - C.69-70
50. Башина О.Э., Минашкин В.Г. «Статистическое образование в контексте шестого технологического уклада - вызовы и перспективы развития». // Вопросы статистики. - №6. - 2014 - C.73
51. Институт комплексных стратегических исследований. [Электронный ресурс]. - Режим доступа: http://www.icss.ac.ru/macro/
52. Экономическая экспертная группа. [Электронный ресурс]. - Режим доступа: http://www.eeg.ru/pages/22,
53. Архив экономических и социологических данных НИУ Высшая школа экономики. [Электронный ресурс]. - Режим доступа: http://sophist.hse.ru/
54. Авторский сайт. Орлов В.И. Статистические методы. [Электронный ресурс]. -Режим доступа: http://orlovs.pp.ru/stat.php
55. Университетская информационная система РОССИЯ. [Электронный ресурс]. -Режим доступа: http://uisrussia.msu.ru
56. Юдина Т.Н., Богомолова А.В . Университетская информационная система РОССИЯ : ресурсы для статистического образования. // XXV Международная конференция «Применение новых технологий в образовании». - 25-26 июня 2014г . - г. Москва, г. Троицк. - С.118-120
57. Баранов Э. Ф. Российская статистика: достижения и проблемы. //ЭКО. - 2012. - № 3. - С. 23-34.
58. Бессонов В.А. Взгляд на российскую статистику со стороны пользователя. // Вопросы статистики. - №5 - 2009. - С. 50-61
59. Бессонов В.А. Анализ краткосрочных тенденций в российской экономике: как рассеять «туман настоящего»? // Вопросы экономики. - 2011. - N0 2. - С.93-108.
60. Бессонов В.А.О проблемах развития российской статистики // ЭКО. - 2012. -N0 3. - С.35-49.
61. Бессонов В.А. Что сохранит для истории современна российская статистика ?// Препринт ЖР2/2014/02 Серия ЖР2 Количественный анализ в экономике. -НИУ ВШЭ. - Москва. - 2014. [Электронный ресурс]. - Режим доступа: http://www.hse.ru/data/2014/05/30/1325379594/WP2_2014_02.pdf
62. Богомолова А.В., Дышкант Н.Ф., Юдина Т.Н. Университетская информационная система РОССИЯ: ресурсы и сервисы для поддержки общественного участия и задач государственного управления. / «Труды XI Всероссийской объединенной конференции "Интернет и современное общество". Октябрь 2008 года. Санкт-Петербург. - С. 196-199.
63. Юдина Т.Н., Богомолова А.В . Крылов А.Ю. Интернет и современное общество: сборник научных статей XVI Всероссийской объединенной конференции 1Ы8-2013. - Санкт-Петербург. - 9 - 11 октября 2013 г.- С.7-12
64. [Электронный ресурс]. - Режим доступа: http://www.rusasstat.ru/sobvitiva/interwu-surinova-a.e.-vanvar-2015.html
65. Российская Ассоциация Статистиков. [Электронный ресурс]. - Режим доступа: http ://www. rusasstat.ru/