CC BY
57
5.Larose D. T. Discovering knowledge in data: an introduction to data mining / Daniel T. Larose // John Wiley & Sons, Inc. ISBN 0-471-66657-2 (cloth). - 2005.
6Акимов А. А., Богатырев В. Е., Финогеев А. Г. Системы поддержки принятия решений на базе беспроводных сенсорных сетей с использованием интеллектуального анализа данных // Сб. статей Международного симпозиума «Надежность и качество». - Пенза, Изд-во Приволжский Дом знаний, 2010 г. - с. 113115.
7.Камаев В. А., Щербаков М. В., Скоробогатченко Д. А. Применение нечетких нейросетевых моделей для идентификации состояния автомобильных дорог / Вестник компьютерных и информационных технологий. Вып. 12. М.: Научно-техническое издательство “Машиностроение”, 2010. С. 36-41
8.Коннолли Т., Бегг К. - Базы данных. Проектирование, реализация и сопровождение. Теория и практика. (3-е издание) // из-во Вильямс, 2003, 1440с.
9.Brebels A. Mathematical and statistical framework for comparison of neural network models with other algorithms for prediction of Energy consumption in shopping centres / Shcherbakov M.V., Kamaev V.A., et all / / Proceedings of the 37 Int. Conf. Information Technology in Science Education Telecommunication and Business, suppl. to Journal Open Education. Yalta - Gurzuf. - 2010. - P. 96-97.
УДК 004.89
РАЗРАБОТКА ХРАНИЛИЩ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ МЕТОДЫ МОНИТОРИНГА УЧЕБНОЙ ДЕЯТЕЛЬНОСТИ КАФЕДРЫ
А. М. Бершадский, д. т. н., профессор Тел/факс: (8412) 36 84 48, e-mail: bam@pnzgu.ru,
И. П. Бурукина, к. т. н., доцент Тел/факс: (8412) 36 84 48, e-mail:burukina@rambler.ru А. А. Акимов, аспирант.
Тел/факс: (8412) 36 84 48, e-mail: akimov1987@gmail.com Пензенский государственный университет http://pnzgu.ru
The article deals with the development of data warehouse and the use of data analysis for monitoring the educational activities of the department. The technology of the development of data warehouses is described. The authors offer integration technology of data analysis and the concept of data warehousing.
В статье рассматриваются вопросы разработки хранилищ данных и использование методов интеллектуального анализа данных для мониторинга учебной деятельности кафедры. Описывается технология разработки хранилищ данных. Предлагается интеграция технологии интеллектуального анализа данных и концепции хранилищ данных.
Ключевые слова: хранилища данных, мониторинг учебной деятельности, интеллектуальный анализ данных.
Keywords: data warehouse, monitoring of educational activities, data mining.
Постановка задачи
Актуальность работы заключается в том, что в связи с возрастающими объемами статистической информации по учебной деятельности кафедры вуза, накапливаемой в распределенных, разрозненных источниках данных, и постоянно меняющимися требованиями к анализу информации актуальным становится построение хранилищ данных (Data Warehouse) для решения аналитических задач и использование методов интеллектуального анализа данных для мониторинга учебной деятельности. Концепция хранилищ данных получила развитие вследствие желания конечных пользователей иметь непосредственный единообразный доступ к необходимым им данным, источники происхождения которых организационно и территориально распределены [1]. Хранилище в этом случае является инструментом, обеспечивающим поддержку принятия обоснованных управленческих решений на базе технологии оперативного анализа данных (Online
Analytical Processing, OLAP). При использовании технологии OLAP информация агрегируется и представляется в виде многомерного куба, стороны которого соответствуют различным аналитическим разрезам (аспектам, по которым проводится анализ массива данных). Основное преимущество использования OLAP - существенное увеличение скорости ответа на пользовательские запросы [2].
Разработка хранилищ данных
При разработке специализированного хранилища учебных данных потребовалось решить ряд задач:
10.провести анализ предметной области, определить состав исходных данных, перечень показателей и алгоритмы их вычислений;
11.разработать методы и средства автоматизированного наполнения хранилища, актуализации, унификации, проверки и приведения к единым аналитическим измерениям данных;
12.выполнить проектирование структуры и построение специализированного хранилища данных.
Целью построения хранилища данных является интеграция, актуализация и согласование оперативных данных из разнородных источников для формирования единого непротиворечивого взгляда на объект управления в целом. При этом в основе концепции хранилищ данных лежит признание необходимости разделения наборов данных, используемых для транзакционной обработки, и наборов данных, применяемых в системах поддержки принятия решений. Такое разделение возможно путем интеграции разъединенных в системах обработки данных и внешних источниках детализированных данных в едином хранилище, их согласования и агрегации.
Несмотря на различия в подходах и реализациях[3,4], всем хранилищам данных свойственны следующие общие черты [5]:
1.Предметная ориентированность. Информация в хранилище данных организована в соответствии с основными аспектами деятельности; это отличает хранилище данных от реляционной базы данных, где данные организованы в соответствии с процессами. Предметная организация данных в хранилище способствует как значительному упрощению анализа, так и повышению скорости выполнения аналитических запросов. Выражается она, в частности, в использовании иных, чем в оперативных системах, схемах организации данных.
2.Интегрированность. Исходные данные извлекаются из реляционной базы данных, проверяются, очищаются, приводятся к единому виду, в нужной степени агрегируются и загружаются в хранилище. Такие данные намного проще анализировать.
3.Привязка ко времени. Данные в хранилище всегда напрямую связаны с определенным периодом времени. Данные, выбранные их оперативных баз данных, накапливаются в хранилище в виде «временных слоев», каждый из которых относится к конкретному периоду времени. Это позволяет анализировать тенденции в развитии организации.
4.Неизменяемость. Попав в определенный «временной слой» хранилища, данные уже никогда не будут изменены. Это также отличает хранилище от реляционной базы данных, в которой данные все время меняются, и один и тот же запрос, выполненный дважды с интервалом в несколько минут, может дать разные результаты. Стабильность данных, также облегчает их анализ.
При разработке хранилища использовались методика компании Price Waterhouse, которая состоит из следующих этапов [6]:
1.анализ процессов и данных;
2.выбор модели данных и программного обеспечения;
3.проектирование структуры хранилища данных;
4.проектирование хранилища метаданных;
5.загрузка хранилища данных.
Сначала происходит определение и формализация данных, действительно необходимых в процессе принятия решения. Далее решается задача выбора подхода к бизнес-анализу (подход, ориентированный на описание бизнес-событий обеспечивает наибольшую эффективность). Особенность анализа данных при проектировании информационных систем на основе хранилищ данных состоит в необходимости создания моделей представления информации. Модель представления данных является организационно-функциональным срезом модели системы. При ее разработке последовательно изучаются:
1. распределение пользователей системы: организационное и функциональное;
2. доступ к данным: объем данных, необходимый для анализа, уровень агрегации данных, источники данных (внешние или внутренние), описание информации, совместно используемой различными функциональными группами предприятия;
3. аналитические характеристики системы: измерения данных, основные отчеты, последовательность преобразования аналитической информации, степень предопределенности анализа, существующие или находящиеся в стадии разработки средства и методы анализа.
Последние этапы разработки связаны с пониманием того, в каком виде и на каких аппаратных и проРис. 1. Концептуальная модель хранилища данных граммных платформах раз-
мещать структуру данных.
Концептуальная схема хранилища данных представлена на рис. 1.
Интеллектуальные методы мониторинга учебной деятельности кафедры
Методы интеллектуального анализа данных(Ба1а Mining) подразделяются на три группы[3]: поиск зависимостей (discovery), прогнозирование (predictive modelling) и анализ аномалий (forensic analysis). Поиск зависимостей состоит в просмотре базы данных с целью автоматического выявления зависимостей. Проблема здесь заключается в отборе действительно важных зависимостей из огромного числа существующих в базы данных. Прогнозирование предполагает, что пользователь может предъявить системе записи с незаполненными полями и запросить недостающие значения. Система сама анализирует содержимое базы и делает правдоподобное предсказание относительно этих значений. Анализ аномалий - это процесс поиска подозрительных данных, сильно отклоняющихся от устойчивых зависимостей. Технологии интеллектуального анализа данных позволяют решать множество задач с привлечением методов математической статистики и теории вероятности, а также методов искусственного интеллекта.
Наибольшее распространение нашли методы использования, позволяющие решать следующие задачи:
1. Классификация - отнесение объекта (события, предмета) к одному из заранее известных классов по его характеристикам.
2.Регрессия - прогнозирование значения какого-либо выходного параметра объекта по набору входных параметров.
3. Кластеризация - задача заключается в группировке объектов на кластеры (независимых групп) по значениями присущих объектам параметров. Решение этой задачи помогает лучше понять данные.
4.Поиск ассоциативных правил - выявление закономерностей между какими-либо связанными объектами. Решение этой задачи помогает лучше понять природу анализируемых данных и может служить для прогнозирования появления событий.
5.Предсказание последовательностей - нахождение зависимостей между объектами или событиями в форме правил, указывающих, что после некоего события A наступает событие B.
6. Анализ отклонений - анализ данных на предмет вхождения явных нехарактерных шаблонов.
Применение методов интеллектуального мониторинга в рамках мониторинга учебной деятельности позволяет:
1. анализировать информацию об успеваемости студентов;
2. анализировать данные о работе преподавателей;
3.планировать учебный процесс на основе анализа, собранной информаций о процессе деятельности кафедры за прошлые годы, и поиска в этих данных скрытых закономерностей.
Таким образом, разработка хранилища данных и применение вместе с ним методов интеллектуального анализа позволяет[7,8]:
- оценить реальное состояние дел и выявить тенденции;
Данные
Оперативные
системы
Хранилище
данных
Данные
Представление
данных
Источники данных
Структура
Определение
Размещение
Внешние
источники
Использование
Запрос
Требование
Информаши
Репозиторий Метаданные Пользователи
метаданных
- проанализировать возможные последствия принятия управленческих решений;
- позволяет оптимизировать планирование учебной деятельности;
- грамотно моделировать стратегическую политику кафедры.
Собранная в процессе мониторинга информация может быть использована, как инструмент обратной связи в целях оценки текущей ситуации, предыдущих удачных или неудачных решений и выработки нового управляющего воздействия, направленного на объект или деятельность.
Новизна работы
Авторы считают, что в данной работе новыми являются интеграция хранилищ данных на базе технологии OLAP и интеллектуальных методов для мониторинга учебной деятельности кафедры вуза.
Литература
1. Акимов А. А., Богатырев В. Е., Финогеев А. Г. Системы поддержки принятия решений на базе беспроводных сенсорных сетей с использованием интеллектуального анализа данных // Сборник статей Международного симпозиума «Надежность и качество». - Пенза, Изд-во Приволжский Дом знаний, 2010. - с. 225-229.
2. Бершадский А. М., Бурукина И. П. Информационная система кафедрального документооборота // Труды XVI Всероссийской научно-методической конференции «Телематика'2009», т. 1. - СПб.: СПбГУ ИТМО, 2009. -с.149-150.
3. Inmon W. H. Building the Data Warehouse. -Willey. - 2005.- 576 p.
4. Kimball R., Ross M. The Data Warehouse Toolkit: The Complete Guide to Dimensional. - Wiley.-2002. -464 p.
5. Drewek K. Data Warehousing: Similarities and Differences of Inmon and Kimball. - URL: http://www.b-eye-network.com/view/743 (дата обращения 25.02.11).
6. Львов В. К. Создание систем поддержки принятия решений на основе хранилищ данных //
Системы управления базами данных, 1997.- №3.- с. 30-40.
7. Бершадский А. М., Бурукина И.П., Акимов А.А. Информационная среда мониторинга деятельности кафедры // Материалы IV Международной научно-практической конференции «Информационная среда вуза XXI века». - Петрозаводск, 2010.- с.47-50.
8. Бершадский А. М. , Бурукина И. П., Акимов А. А Мониторинг деятельности кафедры // Сборник статей V Международной научно-технической конференции «Аналитические и численные методы моделирования естественно-научных и социальных проблем».- Пенза, Изд-во Приволжский Дом знаний, 2010.- с.289-291.
УДК 658.5.011+51-74
РАСПРЕДЕЛЕНИЕ ОБЪЕМОВ ПРОИЗВОДСТВА И ПОСТАВОК ЭЛЕКТРОЭНЕРГИИ С УЧЕТОМ СОСТОЯНИЯ СУБЪЕКТОВ ЭНЕРГОСИСТЕМЫ
С. В. Шевченко, к .т. н., доцент кафедры Автоматизированные системы управления Тел.: (38 057) 70 7 6474, e-mail: shev@kpi.kharkov.ua, sv_shevchenko@mail.ru Национальный технический университет «ХПИ» www.kpi.kharkjov.ua
The article is devoted to studying the formation of production plans and supply of electricity in a power system during the following period of time on the balancing market. The approach for definition of planned volumes of manufacture and deliveries of the electric power on the basis of data concerning demand and dynamics of processes of manufacture and deliveries with the use of mathematical modelling is offered. Keywords: electric power, manufacture, demand, mathematical modelling, planning.
