CC BY
9
База тестовых заданий содержит около тысячи заданий: открытого и закрытого типов, на соответствие, на упорядочение и др. Тестовые задания проверены на надежность и валидность.
Связь курса КСЕ с профессиональной направленностью студентов повышает мотивацию к его изучению. Информационный материал курса для большинства студентов ранее был неизвестен, что способствует заинтересованности студентов.
Курс КСЕ, апробированный в учебном процессе в течение пяти лет, позволяет сформировать компетенции студентов, которые, в дальнейшем, помогают им решать профессиональные задачи.
Использованные источники:
1. Ерофеева Г.В., Склярова Е.А. Системное применение информационных технологий в курсе «КСЕ» // Современное образование: содержание, технологии, качество: Материалы XIII международной конференции СТО-2007. - Санкт-Петербург, 2007. - Т1. - С. 198-200.
2. Ерофеева Г.В., Немирович-Данченко Л.Ю., Склярова Е.А. Методика преподавания КСЕ студентам экономических направлений и специальностей. // Международный научно-исследовательский журнал. -2013. - № 4(11). - С. 3233.
3. Кондратьев Н.Д. Основные проблемы экономической статики и динамики. М., 1991.
4. Чижевский А.Л. Космический пульс жизни: земля в объятиях Солнца. Гелиотараксия. М.,1995.
Князев О.В. главный специалист ЗАО ТКБ Россия, г. Москва ИСПОЛЬЗОВАНИЕ АНАЛИЗА ДАННЫХ ДЛЯ ОРГАНИЗАЦИИ
УПРАВЛЕНИЯ ПРОИЗВОДСТВЕННЫМИ ПРОЦЕССАМИ В соответствии с существующими определениями информацией называются сведения, сообщения или данные независимо от способа их поиска, хранения, обработки, предоставления или распространения. Основная роль в этом определении принадлежит форме представления информации, так как содержание сведений — вещь субъективная, зависящая от способа интерпретации данных.
В последнее десятилетие качественно изменились основные компоненты информационного пространства: информационная инфраструктура, средства информационного взаимодействия и информационные ресурсы. При этом скорость движения информации и объемы информации циркулирующей и накапливаемой в информационном пространстве непрерывно растут. Информационное пространство современного мира изменилось качественно и количественно. К качественным изменениям можно отнести появление
новых средств формирования, преобразования, передачи, анализа, обработки и представления информации. [3]
Термин Data Mining часто переводится как добыча данных, извлечение информации, раскопка данных, интеллектуальный анализ данных, средства поиска закономерностей, извлечение знаний, анализ шаблонов, "извлечение зерен знаний из гор данных", раскопка знаний в базах данных, информационная проходка данных, "промывание" данных. Понятие "обнаружение знаний в базах данных" (Knowledge Discovery in Databases, KDD) можно считать синонимом Data Mining.
Понятие Data Mining, появившееся в 1978 году, приобрело высокую популярность в современной трактовке примерно с первой половины 1990-х годов. До этого времени обработка и анализ данных осуществлялся в рамках прикладной статистики, при этом в основном решались задачи обработки небольших баз данных.
Data Mining - мультидисциплинарная область, возникшая и развивающаяся на базе таких наук как прикладная статистика, распознавание образов, искусственный интеллект, теория баз данных, теория машинного обучения.
Сегодня на рынке представлено множество инструментов, включающих различные методы, которые делают Data Mining прибыльным делом, все более доступным для большинства компаний.
Статистика - это наука о методах сбора данных, их обработки и анализа для выявления закономерностей, присущих изучаемому явлению.
Статистика является совокупностью методов планирования эксперимента, сбора данных, их представления и обобщения, а также анализа и получения выводов на основании этих данных.
Машинное обучение можно охарактеризовать как процесс получения программой новых знаний. Митчелл в 1996 году дал такое определение: "Машинное обучение - это наука, которая изучает компьютерные алгоритмы, автоматически улучшающиеся во время работы". Одним из наиболее популярных примеров алгоритма машинного обучения являются нейронные сети.
Искусственный интеллект - научное направление, в рамках которого ставятся и решаются задачи аппаратного или программного моделирования видов человеческой деятельности, традиционно считающихся интеллектуальными.
Термин интеллект (intelligence) происходит от латинского intellectus, что означает ум, рассудок, разум, мыслительные способности человека. Data Mining - это процесс поддержки принятия решений, основанный на поиске в данных скрытых закономерностей (шаблонов информации). Технологию Data Mining достаточно точно определяет Григорий Пиатецкий-Шапиро (Gregory Piatetsky-Shapiro) - один из основателей этого направления:
Data Mining - это процесс обнаружения в сырых данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности.
Суть и цель технологии Data Mining можно охарактеризовать так: это технология, которая предназначена для поиска в больших объемах данных неочевидных, объективных и полезных на практике закономерностей.
Знания - совокупность сведений, которая образует целостное описание, соответствующее некоторому уровню осведомленности об описываемом вопросе, предмете, проблеме и т.д.
Использование знаний (knowledge deployment) означает действительное применение найденных знаний для достижения конкретных преимуществ (например, в конкурентной борьбе за рынок).
Информационные технологии анализа данных и их классификация.
В 1980-х годах агентство Gartner Group, занимающееся анализом рынков информационных технологий ввело термин "Business Intelligence" (BI), деловой интеллект или бизнес- интеллект. Этот термин предложен для описания различных концепций и методов, которые улучшают бизнес решения путем использования систем поддержки принятия решений.
Business Intelligence - программные средства, функционирующие в рамках предприятия и обеспечивающие функции доступа и анализа информации, которая находится в хранилище данных, а также обеспечивающие принятие правильных и обоснованных управленческих решений.
Понятие BI объединяет в себе различные средства и технологии анализа и обработки данных масштаба предприятия.
На основе этих средств создаются BI-системы, цель которых -повысить качество информации для принятия управленческих решений.
В состав информационных систем Business Intelligence можно отнести следующие системы:
• средства построения хранилищ данных (data warehousing, ХД);
• системы оперативной аналитической обработки (OLAP);
• информационно-аналитические системы (Enterprise Information Systems, EIS);
• средства интеллектуального анализа данных (data mining);
• инструменты для выполнения запросов и построения отчетов (query and reporting tools).
Различные инструменты Data Mining имеют различную степень "дружелюбности" интерфейса и требуют определенной квалификации пользователя. Поэтому программное обеспечение должно соответствовать уровню подготовки пользователя. Использование Data Mining должно быть неразрывно связано с повышением квалификации пользователя. Однако
специалистов по Data Mining, которые бы хорошо разбирались в бизнесе, пока еще мало.
С помощью Data Mining можно отыскивать действительно очень ценную информацию, которая вскоре даст большие дивиденды в виде финансовой и конкурентной выгоды.
Однако Data Mining достаточно часто делает множество ложных и не имеющих смысла открытий. Многие специалисты утверждают, что Data Mining-средства могут выдавать огромное количество статистически недостоверных результатов. Чтобы этого избежать, необходима проверка адекватности полученных моделей на тестовых данных. От аналитиков необходимо умение работать с математическими программными продуктами, знание различных методик статистического анализа данных, владение пакетом прикладного программного обеспечения. [1] Основные методы и этапы Data Mining
Основная особенность Data Mining - это сочетание широкого математического инструментария (от классического статистического анализа до новых кибернетических методов) и последних достижений в сфере информационных технологий. В технологии Data Mining гармонично объединились строго формализованные методы и методы неформального анализа, т.е. количественный и качественный анализ данных.
Большинство аналитических методов, используемые в технологии Data Mining - это известные математические алгоритмы и методы. Новым в их применении является возможность их использования при решении тех или иных конкретных проблем, обусловленная появившимися возможностями технических и программных средств. Следует отметить, что большинство методов Data Mining были разработаны в рамках теории искусственного интеллекта.
Метод (method) представляет собой норму или правило, определенный путь, способ, прием решений задачи теоретического, практического, познавательного, управленческого характера.
Понятие алгоритма появилось задолго до создания электронных вычислительных машин. Сейчас алгоритмы являются основой для решения многих прикладных и теоретических задач в различных сферах человеческой деятельности, в большинстве - это задачи, решение которых предусмотрено с использованием компьютера.
Процесс data mining может состоять из двух или трех ключевых этапов. Этап 1. Выявление закономерностей (свободный поиск). Этап 2. Использование выявленных закономерностей для предсказания неизвестных значений (прогностическое моделирование). Этап 3. Анализ исключений - стадия предназначена для выявления и объяснения аномалий, найденных в закономерностях.
К методам и алгоритмам Data Mining относятся следующие: искусственные нейронные сети, деревья решений, символьные правила,
методы ближайшего соседа и k-ближайшего соседа, метод опорных векторов, байесовские сети, линейная регрессия, корреляционно -регрессионный анализ; иерархические методы кластерного анализа, неиерархические методы кластерного анализа, в том числе алгоритмы k-средних и k-медианы; методы поиска ассоциативных правил; метод ограниченного перебора, эволюционное программирование и генетические алгоритмы, разнообразные методы визуализации данных и множество других методов.
Все методы Data Mining могут быть разделены на две большие группы по принципу работы с исходными обучающими данными. В этой классификации верхний уровень определяется на основании того, сохраняются ли данные после Data Mining либо они дистиллируются для последующего использования.
1. Непосредственное использование сохраненных данных.
В этом случае исходные данные хранятся в явном детализированном виде и непосредственно используются на стадиях прогностического моделирования и/или анализа исключений. Проблема этой группы методов -при их использовании могут возникнуть сложности анализа сверхбольших баз данных.
Основные методы этой группы: кластерный анализ, метод ближайшего соседа, метод k-ближайшего соседа, рассуждение по аналогии.
2. Выявление и использование формализованных закономерностей, или дистилляция шаблонов.
При технологии дистилляции шаблонов один образец (шаблон) информации извлекается из исходных данных и преобразуется в некие формальные конструкции, вид которых зависит от используемого метода Data Mining. Методы этой группы: логические методы; методы визуализации; методы кросстабуляции; методы, основанные на уравнениях.
Логические методы, или методы логической индукции, включают: нечеткие запросы и анализы; символьные правила; деревья решений; генетические алгоритмы.
Статистические методы наиболее часто применяются для решения задач прогнозирования. Существует множество методов статистического анализа данных, среди них, например, корреляционно-регрессионный анализ, корреляция рядов динамики, выявление тенденций динамических рядов, гармонический анализ.
Различные методы Data Mining характеризуются определенными свойствами, которые могут быть определяющими при выборе метода анализа данных. Методы можно сравнивать между собой, оценивая характеристики их свойств.
Среди основных свойств и характеристик методов Data Mining рассмотрим следующие: точность, масштабируемости, интерпретируемость, проверяемость, трудоемкость, гибкость, быстрота и популярность.
Масштабируемость - свойство вычислительной системы, которое обеспечивает предсказуемый рост системных характеристик, например, быстроты реакции, общей производительности и пр., при добавлении к ней вычислительных ресурсов. Основные задачи Data Mining
• Классификация
Наиболее простой и распространенной задачей Data Mining является классификация. В результате решения задачи классификации обнаруживаются признаки, которые характеризуют группы объектов исследуемого набора данных - классы; по этим признакам новый объект можно отнести к тому или иному классу.
Методы решения. Для решения задачи классификации могут использоваться методы: ближайшего соседа (Nearest Neighbor); k-ближайшего соседа (k-Nearest Neighbor); байесовские сети (Bayesian Networks); индукция деревьев решений; нейронные сети (neural networks).
• Кластеризация (Clustering)
Краткое описание. Кластеризация является логическим продолжением идеи классификации. Это задача более сложная, особенность кластеризации заключается в том, что классы объектов изначально не предопределены. Результатом кластеризации является разбиение объектов на группы. Пример метода решения задачи кластеризации: обучение "без учителя" особого вида нейронных сетей - самоорганизующихся карт Кохонена.
• Прогнозирование (Forecasting)
Краткое описание. В результате решения задачи прогнозирования на основе особенностей исторических данных оцениваются пропущенные или же будущие значения целевых численных показателей.
Для решения таких задач широко применяются методы математической статистики, нейронные сети и др.
• Определение отклонений или выбросов (Deviation Detection), анализ отклонений или выбросов
Краткое описание. Цель решения данной задачи - обнаружение и анализ данных, наиболее отличающихся от общего множества данных, выявление так называемых нехарактерных шаблонов.
• Визуализация (Visualization, Graph Mining)
В результате визуализации создается графический образ анализируемых данных. Для решения задачи визуализации используются графические методы, показывающие наличие закономерностей в данных. Пример методов визуализации - представление данных в 2-D и 3-D измерениях.
• Подведение итогов (Summarization) - задача, цель которой - описание конкретных групп объектов из анализируемого набора данных.
Задачи классификации и кластеризации
Классификация является наиболее простой и одновременно наиболее часто решаемой задачей Data Mining. Ввиду распространенности задач классификации необходимо четкое понимания сути этого понятия. Приведем несколько определений.
Классификация - системное распределение изучаемых предметов, явлений, процессов по родам, видам, типам, по каким-либо существенным признакам для удобства их исследования; группировка исходных понятий и расположение их в определенном порядке, отражающем степень этого сходства.
Классификация - упорядоченное по некоторому принципу множество объектов, которые имеют сходные классификационные признаки (одно или несколько свойств), выбранных для определения сходства или различия между этими объектами.
Классификация требует соблюдения следующих правил:
• в каждом акте деления необходимо применять только одно основание; деление должно быть соразмерным, т.е. общий объем видовых понятий должен равняться объему делимого родового понятия;
члены деления должны взаимно исключать друг друга, их объемы не должны перекрещиваться;
• деление должно быть последовательным. Различают:
вспомогательную (искусственную) классификацию, которая производится по внешнему признаку и служит для придания множеству предметов (процессов, явлений) нужного порядка;
естественную классификацию, которая производится по существенным признакам, характеризующим внутреннюю общность предметов и явлений. Она является результатом и важным средством научного исследования, т.к. предполагает и закрепляет результаты изучения закономерностей классифицируемых объектов.
В зависимости от выбранных признаков, их сочетания и процедуры деления понятий классификация может быть:
простой - деление родового понятия только по признаку и только один раз до раскрытия всех видов. Примером такой классификации является дихотомия, при которой членами деления бывают только два понятия, каждое из которых является противоречащим другому (т.е. соблюдается принцип: "А и не А");
сложной - применяется для деления одного понятия по разным основаниям и синтеза таких простых делений в единое целое. Примером такой классификации является периодическая система химических элементов.
Под классификацией будем понимать отнесение объектов (наблюдений, событий) к одному из заранее известных классов.
Классификация - это закономерность, позволяющая делать вывод относительно определения характеристик конкретной группы. Таким образом, для проведения классификации должны присутствовать признаки, характеризующие группу, к которой принадлежит то или иное событие или объект (обычно при этом на основании анализа уже классифицированных событий формулируются некие правила).
Классификация относится к стратегии обучения с учителем (supervised learning), которое также именуют контролируемым или управляемым обучением.
Задачей классификации часто называют предсказание категориальной зависимой переменной (т.е. зависимой переменной, являющейся категорией) на основе выборки непрерывных и/или категориальных переменных. Например, можно предсказать, кто из клиентов фирмы является потенциальным покупателем определенного товара, а кто - нет, кто воспользуется услугой фирмы, а кто - нет, и т.д. Этот тип задач относится к задачам бинарной классификации, в них зависимая переменная может принимать только два значения (например, да или нет, 0 или 1). Выделяют одномерную и многомерную классификацию. Цель процесса классификации состоит в том, чтобы построить модель, которая использует прогнозирующие атрибуты в качестве входных параметров и получает значение зависимого атрибута. Процесс классификации заключается в разбиении множества объектов на классы по определенному критерию. Классификатором называется некая сущность, определяющая, какому из предопределенных классов принадлежит объект по вектору признаков.
Для проведения классификации с помощью математических методов необходимо иметь формальное описание объекта, которым можно оперировать, используя математический аппарат классификации. Таким описанием в нашем случае выступает база данных.
Каждый объект (запись базы данных) несет информацию о некотором свойстве объекта. Набор исходных данных (или выборку данных) разбивают на два множества: обучающее и тестовое.
Обучающее множество (training set) - множество, которое включает данные, использующиеся для обучения (конструирования) модели.
Такое множество содержит входные и выходные (целевые) значения примеров. Выходные значения предназначены для обучения модели. Тестовое (test set) множество также содержит входные и выходные значения примеров. Здесь выходные значения используются для проверки работоспособности модели.
Процесс классификации состоит из двух этапов: конструирования модели и ее использования.
Для классификации используются различные методы. Основные из них: • классификация с помощью деревьев решений; байесовская (наивная) классификация;
• классификация при помощи искусственных нейронных сетей; классификация методом опорных векторов; статистические методы, в частности, линейная регрессия;
• классификация при помощи метода ближайшего соседа;
• классификация CBR-методом;
• классификация при помощи генетических алгоритмов.
Задача кластеризации сходна с задачей классификации, является ее логическим продолжением, но ее отличие в том, что классы изучаемого набора данных заранее не предопределены.
Термин кластерный анализ (впервые ввел Tryon, 1939) в действительности включает в себя набор различных алгоритмов классификации. Общий вопрос, задаваемый исследователями во многих областях, состоит в том, как организовать наблюдаемые данные в наглядные структуры.
Синонимами термина "кластеризация" являются "автоматическая классификация", "обучение без учителя" и "таксономия".
Кластеризация предназначена для разбиения совокупности объектов на однородные группы (кластеры или классы). Если данные выборки представить как точки в признаковом пространстве, то задача кластеризации сводится к определению "сгущений точек".
Кластер можно охарактеризовать как группу объектов, имеющих общие свойства.
Характеристиками кластера можно назвать два признака:
• внутренняя однородность;
• внешняя изолированность.
Различные методы могут стремиться создавать кластеры определенных размеров (например, малых или крупных) либо предполагать в наборе данных наличие кластеров различного размера.
Некоторые методы кластерного анализа особенно чувствительны к шумам или выбросам, другие - менее.
о оо
Классификация: классы предопределены изначально
О □
ODD □ ° 0° □
О о о
□ о С? □ □ □ °
□
о
Кластеризация: классы
не предопределены, осуществляется поиск наиболее похожих, однородных групп
О
□
□
Рис. 1 Сравнение кластеризации и классификации.
В результате применения различных методов кластеризации могут быть получены неодинаковые результаты, это нормально и является особенностью работы того или иного алгоритма. Данные особенности следует учитывать при выборе метода кластеризации.
Процесс кластеризации зависит от выбранного метода и почти всегда является итеративным. Он может стать увлекательным процессом и включать множество экспериментов по выбору разнообразных параметров, например, меры расстояния, типа стандартизации переменных, количества кластеров и т.д. Полученные результаты требуют дальнейшей интерпретации, исследования и изучения свойств и характеристик объектов для возможности точного описания сформированных кластеров. Прогнозирование и визуализация
Прогнозирование является важным элементом организации управления как отдельными хозяйствующими субъектами, так и экономики в целом.
Развитие методов прогнозирования непосредственно связано с развитием информационных технологий, в частности, с ростом объемов хранимых данных и усложнением методов и алгоритмов прогнозирования, реализованных в инструментах Data Mining.
Задача прогнозирования, пожалуй, может считаться одной из наиболее сложных задач Data Mining, она требует тщательного исследования исходного набора данных и методов, подходящих для анализа.
Прогнозирование (forecasting) является одной из задач Data Mining и одновременно одним из ключевых моментов при принятии решений.
Прогностика (prognostics) - теория и практика прогнозирования.
Прогнозирование направлено на определение тенденций динамики конкретного объекта или события на основе ретроспективных данных,
т.е. анализа его состояния в прошлом и настоящем. Таким образом, решение задачи прогнозирования требует некоторой обучающей выборки данных.
Прогнозирование - установление функциональной зависимости между зависимыми и независимыми переменными.
В самых общих чертах решение задачи прогнозирования сводится к решению таких подзадач:
• выбор модели прогнозирования;
• анализ адекватности и точности построенного прогноза. Основой для прогнозирования служит историческая информация,
хранящаяся в базе данных в виде временных рядов.
Существует понятие Data Mining временных рядов (Time-Series Data
Mining).
Применение Data Mining в организации производства.
Эффективность управленческих решений зависит от качества множества показателей, в том числе: от качества полученной информации и от качества проведенного анализа этой информации. А на них, в свою очередь, влияют такие показатели, как эффективность коммуникационного процесса, квалификация персонала, отвечающего за сбор и обработку информации, качество средств по созданию, накоплению, передачи и обработки различных данных, затраты времени на эти процедуры и др.. [2] Особенности промышленного производства и технологических процессов создают хорошие предпосылки для возможности использования технологии Data Mining в ходе решения различных производственных задач. Технический процесс по своей природе должен быть контролируемым, а все его отклонения находятся в заранее известных пределах;
т.е. здесь мы можем говорить об определенной стабильности, которая обычно не присуща большинству задач, встающих перед технологией Data Mining.
Основные задачи Data Mining в промышленном производстве :
• комплексный системный анализ производственных ситуаций;
• краткосрочный и долгосрочный прогноз развития производственных ситуаций;
• выработка вариантов оптимизационных решений;
• прогнозирование качества изделия в зависимости от некоторых параметров технологического процесса;
• обнаружение скрытых тенденций и закономерностей развития производственных процессов;
• прогнозирование закономерностей развития производственных процессов;
• обнаружение скрытых факторов влияния;
• обнаружение и идентификация ранее неизвестных
взаимосвязей между производственными параметрами и факторами влияния;
• анализ среды взаимодействия производственных процессов и прогнозирование изменения ее характеристик;
• выработку оптимизационных рекомендаций по управлению производственными процессами;
• визуализацию результатов анализа, подготовку предварительных отчетов и проектов допустимых решений с оценками достоверности и эффективности возможных реализации.
Использованные источники:
1. Князев О.В. Применение информационных технологии анализа данных на предприятиях радиоэлектронной промышленности. // Научно-техническая конференция студентов аспирантов и молодых специалистов МИЭМ НИУ ВШЭ. Тезисы докладов. - М: МИЭМ НИУ ВШЭ,2013-316с.
2. Б.П. Садковский, Н.Е. Садковская, О.В. Князев. Создание и применение интеллектуальных систем поддержки принятия управленческих решений на предприятиях радиоэлектронного комплекса, журнал "Наукоемкие технологии" (№2, 2013), с. 9-12.
2. Б.П. Садковский, Н.Е. Садковская, О.В. Князев. Применение метода опорных векторов в задачах классификации и принятия решений, журнал "Банковские услуги" (№7, 2013), 42с.
Морозова И. С.
аспирант кафедра философии, культурологии и политологии
заместитель декана факультет менеджмента и государственного и муниципального управления Международный юридический институт Московский гуманитарный университет
Россия, Москва ЭКРАННАЯ КУЛЬТУРА КАК ПОРОЖДЕНИЕ ИНФОРМАЦИОННОГО ОБЩЕСТВА Каждому этапу исторического развития общества соответствовал свой тип культуры с присущим ему особым культурным кодом, то есть языком отображения реальности, передачи, хранения информации и знаний. Дописьменная культура - культура слова. Накопленный предыдущими поколениями опыт передавался в процессе непосредственного общения, а главным хранилищем знаний был человеческий мозг. Основным культурным кодом этого времени был - мифологический. Посредством мифа передавались представление об окружающем мире и основные модели поведения человека. Для дописьменного общества характерна статичность, цикличность процессов, основанная на неотделимости человека от природы,
