Эссе на тему: "Big Data"

Термин «Большие Данные» был впервые предложен Клиффордом Линчем, редактором журнала Nature, подготовившем 3 сентября 2008 года специальный номер журнала с темой «Как могут повлиять на будущее науки технологии, открывающие возможности работы с большими объёмами данных?», в котором были собраны материалы:
• феномена взрывного роста объёмов и многообразия обрабатываемых данных
• технологических перспектив в парадигме скачка «от количества к качеству» данных
• термин «BIG DATA» был предложен по аналогии с расхожими в деловой англоязычной среде метафорами «большая нефть», «большая руда»
Big data представляет собой значительной объем неструктуризированных данных. В отличие от статистики, сбор информации не ведется по каким-либо определенным параметрам, не имеет заранее оговоренной цели. Вы берете все доступные показатели и только потом анализируете, определяете наличие взаимосвязи и используете для повышения эффективности работы компании. Никто заранее не может предсказать, что именно сыграет решающую роль – привычки потенциальных клиентов или погодные условия в конкретной климатической зоне.
Необходимо помнить, что дешевизна сбора и хранения Big Data компенсируется необходимостью привлекать профессиональных аналитиков. К счастью, технологии постепенно вытесняют человеческий ресурс, давая возможность оперировать большими массивами информации относительно недорого.
Одной из крупнейших компаний, генерирующей информацию, является Google, не отстает от нее Facebook и Apple.
Парадигма Big Data определяет три основных типа задач.
Хранение и управление объемом данных в сотни терабайт или петабайт, которые обычные реляционные базы данных не позволяют эффективно использовать.
Организация неструктурированной информации, состоящей из текстов, изображений, видео и других типов данных.
Анализ Big Data, который ставит вопрос о способах работы с неструктурированной информацией, генерацию аналитических отчетов, а также внедрение прогностических моделей.
Одним из главных факторов, который тормозит внедрение Big Data - проектов, помимо высокой стоимости, считается проблема выбора обрабатываемых данных : то есть определение того, какие данные необходимо извлекать, хранить и анализировать, а какие – не принимать во внимание.
Основные проблемы проектов внедрения Больших Данных (BIG DATA):
Сказывается недостаток доступного пространства в системах хранения данных
Затрудняется доступ к нужным данным
Не хватает вычислительной мощности
Не хватает квалифицированного персонала
Правильно интерпретировать скрытые в массивах Больших Данных тенденции и взаимосвязи могут только подготовленные специалисты. В некоторой степени их способны заменить фильтры и распознаватели структур, но при этом качество результатов может понизится
Не удаётся учитывать скорость и частоту изменения Больших Данных
Подходы к визуализации Больших Данных отличаются сложностью и многообразием. В то же время, представление результатов в доступной для восприятия форме подчас имеет критически важное значение
Просмотр данных в реальном времени означает необходимость постоянного пересчета, что далеко не всегда приемлемо. Приходится идти на компромисс и прибегать к ретроспективному способу аналитики
Никогда нельзя знать заранее на каком временном промежутке Большие Данные представляют особую ценность и наиболее релевантны. Сбор, хранение, анализ, создание резервных копий требует немалых ресурсов
В ближайшие 8 лет количество данных в мире достигнет 35 зеттабайт, по данным исследования IDC Digital Universe, опубликованного в декабре 2012 года. По прогнозам, количество данных на планете будет удваиваться каждые два года вплоть до 2020 года. Большую часть данных, которая будет произведена в период с 2012 по 2020 годы, сгенерируют не люди, а машины в ходе взаимодействия друг с другом и другими сетями данных. Сюда относятся, например, сенсоры и интеллектуальные устройства, которые могут взаимодействовать со сторонними девайсами. Количество серверов (виртуальных и физических) во всем мире вырастет десятикратно, в первую очередь за счет расширения и создания новы [промышленных дата-центров, говорится в исследовании IDC. Тем не менее, количество обслуживающих их ИТ-специалистов увеличится не более чем в 1,5 раза. (Подробнее про рос вычислительной мощности см. рис.1.)

Рис. 1. Рост вычислительной мощности компьютерной техники (слева) на фоне трансформации парадигмы работы с данными (справа). Источник: Hilbert and López, `The world’s technological capacity to store, communicate, and compute information,`Science, 2011Global
Выделим отрасли, которые видят конкурентные преимущества от применения Big Data в ближайшие 10 – 20 лет: телеком – монетизации трафика; ритейл, банки – анализ социально-экономического поведения клиентов; власть – анализ социально-политического поведения населения, управление обществом; спецслужбы – по их направлениям деятельности; все производители товаров и услуг – оценка степени удовлетворенности клиентов товаром по отношению к конкурентным и разработка планов мероприятий по повышению степени удовлетворенности
Угрозы от применения Big Data
Конфиденциальность. Возможность потери данных или утраты контроля над ними. Здесь основную угрозу представляют собой хакерские атаки, так широко распространившиеся в современном мире. В шутку ли, с конкретной ли целью – взлом базы данных может иметь далеко идущие, а иногда фатальные последствия для бизнеса. Big Data предполагают сбор информации отовсюду – финансовые транзакции, общение в чатах, соцсетях, онлайн-конференции и т.д. Утрата такой информации либо утеря ею конфиденциальности вряд ли способна положительно отобразиться на деятельности предприятия.
Эффективность. Формирование неэффективного и бесполезного набора данных. Важно понимать, что работая с большими данными, ставку нужно делать не на накопительство информации, а на ее содержание. Вы можете получать терабайты данных каждый день, но они окажутся абсолютно неприменимыми. Не стоит увлекаться новым веянием бездумно. Большие данные требуют большого внимания и ответственности, они должны отвечать вашей бизнес-модели, иначе вы рискуете создать никому непонятный и не нужный набор цифр и букв. Или, как говорят профессионалы, «мусор на входе – мусор на выходе».
Перемены. Большие данные влекут за собой большие перемены. Иногда полученная на основе Big Data информация полностью или частично противоречит концепции компании, стилю управления, имеющимся планам. Если компания не поменяет бизнес-концепцию и не будет готова к изменениям в принципе – большие данные станут очередной бесполезной инвестицией.
Ошибки. Применяя технологии Big Data, мы не застрахованы от ошибок, и эти ошибки могут быть весьма нелепыми. Порой они задевают интересы людей и, даже, их чувства. Примеров в подтверждение тому масса. Вспомним один из них: в 2013 году сеть магазинов розничной торговли Target явно перестаралась с использованием больших данных в маркетинговых целях. В один прекрасный день в офис компании ворвался взбешенный мужчина. Он обвинил сотрудников компании в том, что те присылают его дочери скидочные купоны на памперсы, соски и прочие детские аксессуары. Мужчина злился, ведь его дочь – всего лишь школьница. Оказалось, что, используя технологии и методы обработки больших данных, сеть магазинов узнала о беременности девочки раньше, чем ее отец. Все просто – из списка регулярно покупаемых ею товаров исчезли тесты на беременность. С точностью полученной информации не поспоришь, но вот ее практическое применение оказалось не в пользу компании.
Мошенничество. Да, и это вполне возможно. При подключении системы к платному сервису сбора информации, вы надеетесь на ее достоверность (она же платная!). Иногда информация, собираемая такими ресурсами, не достоверна, она моделируется искусственно под вас, а вот проверить это практически нереально. Где вы найдете такого специалиста, который сможет дать экспертную оценку терабайтам данных? Нигде. Отсюда – большая вероятность стать жертвой «банального» обмана с целью наживы.
Подводя итог, отметим, что указанные выше риски, конечно, не перечеркивают всех достижений, но заставляют более ответственно и скрупулезно подойти к внедрению новой технологии.Сферы деятельности, в которых прогнозируется наибольший эффект от применения Big Data, представлены на рис. 2.

Рис. 2. Сферы деятельности с наиболее ощутимым прогнозируемым эффектом от применения больших данных.
Но в современных условиях предприятиям нужно обрабатывать большие объемы неструктурированных данных различных типов (рис. 3), а для этой работы прежние методы не совсем подходят.

Рис. 3. Превалирующие типы информации для разных сфер деятельности
Ожидаемый эффект от внедрения Big Data может варьироваться в зависимости от типа деятельности и реализуемой политики конкретного предприятия (рис. 4).

Рис. 4. Зависимость ожидаемого эффекта внедрения Big Data от сферы деятельности и направления политики компании
Рассмотрим способы нейтрализации рисков:
1. Риск конфиденциальности
Снизить опасность разглашения данных призвана система обеспечения безопасности. В связи с риском конфиденциальности стоит отметить особый статус сервисов хранения и обработки данных, которые предоставляются сторонними компаниями («облака сторонних лиц»). Указанный риск здесь выше и непосредственно неподконтролен. Остается доверять порядочности таких поставщиков услуг и включать в контракты условия о компенсации разглашения данных третьим лицам.
2. Риск потери данных
Существенным риском для больших данных является их утрата (частичная или полная). Причины могут быть различны: от активности злоумышленников, до чрезвычайной ситуации. Единственный способ защитится – это резервирование данных. Очевидно однократное резервирование. Если оценка риска велика и сильно влияет на бизнес, то рекомендованы двукратное и трехкратное резервирование. Одним из способов снижения рисков потери данных из-за ошибочных действий специалистов и пользователей – это предоставление рабочих копий данных (реплики полные или по запросам).
3. Риск переполнения хранилища
Неоптимальная система сбора и хранения больших данных в конечном итоге приведет к переполнению хранилища и утрате вновь получаемых данных при отсутствии места для физического их размещения. Особенность такой утраты данных – это потеря более актуальных «свежих» данных? поступающих после полного заполнения свободных объемов хранилища. Помогает тщательное планирование получения данных, умение оценивать их объемы и формировать хранилища, которые имеют адекватные емкости носителей для хранения.
4. Риск ошибок больших данных
Несколько примитивнейших ошибок (или даже одна) могут легко испортить долгую кропотливую работу. Большие данные – не исключение. А учитывая, что объемы больших данных способны достигать огромных размеров – ошибки весьма вероятны (как в содержании и структуре данных, так и в инструментах работы с ними).
Для снижения риска ошибок больших данных необходимо:
Проводить периодические ревизии данных (автоматизированные и выборочные);
Контролировать ключевые параметры данных;
Вести журнал выявленных ошибок и их устранения;
Разрабатывать инструменты и алгоритмы устранения или нивелирования ошибок и некорректных состояний данных;
Оценивать результативность инструментов;
Проводить независимую оценку и экспертизу;
Применять специальные средства тестирования данных и инструментов, которые разрабатываются самостоятельно;
Использовать инструменты последовательно, подконтрольно и пошагово с постоянным контролем обрабатываемых данных в целом или по выборкам.
Подводя итог попытаемся сформулировать с каким из топ-12 перспективных рынков для открытия бизнеса Big data будет взаимодействовать. На мой взгляд, это мобильные платежи технологии и приложения для использования смартфона в качестве средства расчетов, с помощью Big data их можно обрабатывать и определять, например на что люди тратят деньги в определенный период времени для примера после обеда. Данная взаимное перепрлетение двух технологии успешно реализуется во многом, с этим и связано внедрение технологии бесконтактной оплаты через мобильные телефоны системы Apple pay, Samsung pay они позволяют компаниям понимать на что владельцы телефонов тратят деньги, фактически это доступ к «большим данным», который был осуществлен через систему мобильных платежей.