CC BY
6
УДК 600.341
Котлов В.Д.
3 курс
факультет «Бизнес-информатика» Сибирский государственный университет путей сообщения
научный руководитель: Пятаев М.В., к.э.н.
доцент
Россия, г. Новосибирск ИСПОЛЬЗОВАНИЕ ТЕХНОЛОГИИ BIGDATA В ПОВСЕДНЕВНОЙ ЖИЗНИ
Аннотация: В работе рассматриваются возможности использования технологии больших данных в повседневной жизни. Приведены примеры такого использования в разных сферах деятельности: спорте, передвижениях, перевозке грузов в перспективе. Рассматриваются другие варианты.
Ключевые слова: BigData, объем информации, технология, тренд, IT-технологии.
Kotlov V. D.
The 3rd course, faculty of "Business Informatics" Siberian state transport University Russia, Novosibirsk Scientificsupervisor: M. V. Pyataev candidate of economic Sciences , associate Professor THE USE OF BIG DATA TECHNOLOGIES IN EVERYDAY LIFE
Abstract: the paper discusses the possibility of using big data technology in everyday life. Examples of such use in different areas: sport, movement, transport of goods in the future. Consideredotheroptions.
Key words: Big Data, information, technology, trend, IT-technologies.
В ходе прогресса ситуация с добычей, обработкой и хранением больших объемов данных стала усложняться. Раньше исключительно человек добывал информацию, сегодня это делают устройства, способные генерировать большие объемы данных.
• Смартфоны (которые знают, в какое время суток вы чаще всего посещаете социальные сети, где вы находитесь прямо сейчас).
• Фитнес-браслеты (которые все знают о вашем здоровье ).
• Карты лояльности.
• Большие интернет-серверы ( ВК.УОитиВБ. FACEBOOK и т.д.)
• Камеры наружного наблюдения (могут анализировать фешн тренды, на что человек чаще всего обращает внимание и так далее.)
Этот огромный массив совершенно беспорядочных данных называется
BigData - один из самых трендовых терминов в IT-индустрии последних лет.
Чтобы ответить на вопрос «Что такое BigData?» обратимся к истокам.
Термин «Большие данные» впервые был обозначен в 2008 в английском журнале Nature [1].
Из других источников BigData (большие данные) - совокупность подходов, инструментов и методов обработки огромных структурированных и неструктурированных данных, для получения понятных человеку и полезных результатов.
Редактор журнала Nature сказал: «Смотрите, какое больше количество информации у нас имеется! Как же нам ее использовать?» Несколько лет спустя одна из ведущих компаний мира в сфере информационных технологий (IBM) сказала, что у них есть технология для анализа такого количества информации.
Так же, говоря о термине «BigData», можно использовать наиболее популярное определение трех «V», что означает Volume - объем данных, Velocity - необходимость обрабатывать информацию с большой скоростью и Variety - многообразие и часто недостаточную структурированность данных.
Можно выделить базовые технологии и инструменты, которые сегодня получили наибольшее распространение в крупных проектах. Этих пяти технологий достаточно, чтобы понять "чем" пользуются сегодня исследователи данных и какими инструментами необходимо владеть, чтобы развернуть проект с использованием больших данных.
• Metadata - данные дляописание информации.
• BI (BusinessIntelligence) - приложения для анализа и представления данных.
• Dynamo - система хранения данных от Amazon.
• Mushup - приложение, использующее и комбинирующее представление данных и функционал от двух и более источников.
• StreamProcessing - обработка потоков данных.
Саму технологию BigData можно разделить на 3 этапа:
■ Хранение и перевод поступаемой информации в гигабайты, терабайты и зеттабайты для их хранения, обработки и практического применения (объёма памяти в различных электронных устройствах. Г= 1 073 741 824 байт ; 1 терабайт - 1024 гигабайта).
■ Структурирование разрозненного контента: текстов, фотографий, видео, аудио и всех иных видов данных.
■ Анализ BigData и внедрение различных способов обработки неструктурированной информации, создание различных аналитических отчетов
Технологии больших данных способны обеспечивать решениями и инструментами, позволяющими реализовывать различные техники на значительных объемах разнородных данных с необходимой скоростью обработки. Достигается это высокой параллелизацией вычислений и распределенным хранением данных.
Несмотря на потребность значительной вычислительной мощности и памяти, большинство развертывание программных продуктов больших данных производится на кластерах из компьютеров среднего или даже низкого класса (commoditycomputers). Это позволяет масштабировать системы больших данных без привлечения существенных затрат. С появлением облачных хранилищ для развертывания систем больших данных все шире применяются облачные сервисы (cloudcomputingservices).
В случае имплементации системы в облаке узлы вычислительного кластера реализуются на виртуальных машинах облачной инфраструктуры и гибко адаптируются к задаче, снижая затраты на использование. Это служит дополнительным фактором, привлекающим многих разработчиков реализовывать системы больших данных на облачных платформах. Возможно, именно так необходимо развивать использование систем, работающих с большими объемами данных, для железной дороги.
Наиболее популярной технологией больших данных, считающейся де-факто стандартом для построения систем аналитики, работающих в пакетном режиме, является совокупность решений и программных библиотек, объединенных под названием Hadoop. Если большие данные поступают в виде высокоскоростных потоков и реагирование системы должно происходить с малой задержкой, то вместо пакетной аналитики применяется аналитика в режиме реального времени - Storm (считается одной из самых популярных).
Технологии больших данных могли бы быть полезными в сфере транспорта тем, что быстрее и качественнее могли бы собирать, обрабатывать и хранить данные о сотрудниках и клиентах. Все, от простейших баз данных и документооборота до профессиональной информации.
Применение подобных систем очень скоро станет таким же привычным, как использование интернета во многих областях нашей жизни, таких, например, как спорт.
На примере футбольного клуба Бавария можно увидеть, как работает технология БД. Каждому футболисту в гетры были вмонтированы датчики, и по краям поля расставлена анализирующая аппаратура. На экране можно было видеть, где больше всего бегают футболисты, какова средняя скорость игроков, на каких минутах игры достигается пик игровой активности, и на каких минутах происходит спад. Технологии больших данных позволяют прогнозировать травмы. Благодаря этим данным тренеры знают, когда нужно уделить больше внимания обороне или атаке, когда заменить игрока. (Сборная Германия выиграла ЧМ мира, возможно не без помощи технологий больших данных)
Телекоммуникационные компании при работе с клиентами анализируют голос потребителя и его настроение (раздражен или расстроен). И это работает. По потребителям составляется индивидуальный портрет, который высвечивается оператору, и предлагается определенный тип беседы для каждого типа клиента, используется так называемый
клиентоориентированный подход. Также консультанту высвечиваются 3 услуги, которые клиент купит с большей долей вероятности. Это повышает процент успешной сделки от 5-6% до 60%.
Благодаря технологиям больших данных можно прогнозировать необходимость ремонта транспортных средств. Использовать многолетний опыт ремонтных служб и таким образом значительно снизит государственные затраты в этой сфере.
В магазинах перед новогодними праздниками пытаются использовать статистические данные. За многие годы торговли их накопились большие объемы. А с использованием технологий больших данных можно было бы в режиме реального времени контролировать цены и количество товара, благодаря анализам чеков на покупки товаров .
В сфере безопасности использование данных за большой промежуток времени позволяет построить тепловую карту города, на которой отмечаются места, где чаще всего нарушается закон и в какое время суток. Дальнейший анализ позволит сегментировать зоны с наибольшей вероятностью криминала. Применение технологий больших данных позволит поднять прогнозирование на более высокий уровень. И не только в вышеназванной сфере.
Прогноз погоды с использованием технологии тоже изменится. Уже сейчас приложение Theweatherforecast выдает прогноз погоды, используя данные, полученные в процессе аутсорсинга. То есть используются данные не рассчитанные на основе метеорологических исследований, а данные, введенные пользователями. (Дует ветер, пасмурно и так далее) Количество информации, собираемой от различных пользователей, отправляется на центральный сервер, где информация уже обрабатывается и выдается прогноз погоды.
Нейронные сети позволяют анализировать информацию из социальных сетей, составляют миллионы вопросников. Они позволят ответить на такие вопросы как психотипы людей, их ориентация и другие сведения. Обработать такие объемы можно, только воспользовавшись технологиями больших данных.
Подобрав информацию, изучив вопрос, можно сделать следующие выводы.
Технология BigData не так проста на первый взгляд как может показаться. Хранение, структурирование и анализ, в свою очередь подразделяются еще на более мелкие этапы. Изучая технологию BigData, можно понять, что в настоящий момент главная проблема технологии это — дефицит специалистов, глубоко разбирающихся в данной области, которые могли бы в полной мере показать весь огромный багаж возможностей этой пока еще новой технологии.
B
i
g
D a
a
клиентов и сотрудников. Куда выезжал, какими видами транспорта пользовался, Что именно данному клиенту может предложить конкретное отделение.
Как жизнь нельзя представить без транспорта, так нельзя ее представить и без информации. А технология больших данных могла бы способствовать объединению этих таких разных областей.
Использованные источники:
1. http://www.dis-group.ru/solutions/data_management/big_data/
2. http://www.clouderp.ru/tags/BIG_DATA/
3. https://postnauka.ru/faq/46974
4. http://www.tadviser.ru/index.php
5. http://www.logistics.ru
