Бизнес-школа ИПМ
Международная
аккредитация качества
IQA palm
+375 17 277-04-04

Big Data: большие перемены


IPM Review №23

Тема номера: Big Data

Многомиллиардный рынок технологии big data или «больших данных» остается одной из самых динамично развивающихся отраслей в мире. По данным Harvard Business Review, уже к 2018 году его объем составит $41,5 млрд долларов, что на четверть больше по сравнению с предыдущим годом. Эксперты обещают: под влиянием big data все сферы человеческой деятельности изменятся революционным образом, и произойдет это не через десять или даже пять лет, а гораздо быстрее.

Мы и не заметили, как большие данные стали неотъемлемой частью повседневной жизни. Искусственный интеллект (AI), машинное обучение (machine learning), глубокое обучение (deep learning), нейронные сети – эти термины больше не являются привилегированным вокабулярием аналитиков-программистов и все чаще звучат среди финансистов и маркетологов. Анализ данных (data analysis) больше не профессия, а образ мысли, компетенция, которая в ближайшие годы станет востребованной почти в каждой области жизнедеятельности.
 
Объем текстовой и визуальной информации исчисляется уже не терабайтами, а эксабайтами и зетабайтами. Вычислительные мощности возросли пропорционально – сейчас процессоров на земле больше, чем людей, и каждый из них ориентирован на обработку огромных массивов данных. Когда технология big data только начинала развиваться, казалось, что выудить из беспорядочных залежей устаревшей неструктурированной информации – все равно, что искать иголку в стоге сена. Но оказалось все совсем не так. 
 
«10 лет назад я начал занимался искусственным интеллектом и машинным обучением и пытался понять, как повысить эффективность работы с массивами данных, - говорит Димитри де Йонге, директор блокчейн-направления компании BigchainDB. – Ответ был такой: чем большое данных – тем лучше. Глубинное обучение обожает данные, с радостью поглощает их! С увеличением количества данных вырастает точность прогнозов, уменьшается вероятность ошибки. Данные – это новая нефть. Те, кто имеет доступ к данным, способен добывать и обрабатывать их,  получает в распоряжение новый инструментарий для создания добавленной стоимости в условиях цифровой экономики».
 
Данные даже лучше, чем нефть. Они бесконечны, их запасы неисчерпаемы. Но на деле, может ли big data быть выгодна кому-либо, кроме мультинациональных или национальных гигантов? Или, как в случае с нефтью, бенефициарами окажутся только те, кто имеет экономическую или политическую власть? 
 
Попробуем разобраться.
 

Большие данные для умного города

Концепция усовершенствования городской среды получила название smart city. Наподобие умного дома, централизованно управляющего водоснабжением, отоплением, бытовыми приборами и т.д., умный город объединит все муниципальные коммунальные службы в единую сеть. 
 
Компьютеризация всех коммунальных единиц приведет к огромному потоку данных, поступающих из камер видеонаблюдения, социальных сетей, различных датчиков и т.д. Обработка и анализ их может выявить неожиданные закономерности, неочевидные при других обстоятельствах. 
 
«Предсказательная аналитика может быть очень полезна обществу, - подтверждает Максим Скрябин, старший аналитик данных компании Stepik, - Прогнозирование используемых ресурсов (вода, электричество, деньги и т.д.) помогает их оптимизировать. Анализ пассажиропотоков помогает предсказывать пробки и рекомендовать маршруты объезда. Классификация горожан позволяет предоставлять им более персонализированные услуги, которые помогут улучшить качество их жизни». 
 
Так, в Бостоне компания The New Urban Mechanics разработала приложение, определяющее недостатки дорожного полотна. Система позволяет исправлять неровности на дорогах на ранних стадиях, в результате город экономит большие бюджеты. 
 
Еще пример: полиции Лос-Анджелеса удалось на треть снизить число краж и на 21% число насильственных преступлений.  Благодаря внедрению решений по анализу больших данных они могут предсказывать место с точностью до 50 кв.м., время и тип еще не совершенного преступления.
 

Большие данные для большого бизнеса

Опрос руководителей Fortune 1000, проводимый с 2012 года, впервые  в этом году зафиксировал почти большинство (48,4%) компаний, подтвердивших получение осязаемого положительного эффекта от инвестиций в big data. О каких цифрах идет речь? Более трети опрошенных уже вложили во внедрение технологии суммы, превышающие 100 млн. долларов; 6,5% из общего числа компаний инвестировали в big data более миллиарда долларов. Приведем для наглядности несколько примеров использования больших данных в разных отраслях экономики.
 
Инновационный лидер автомобилестроения концерн BMW в этом году объявил о начале сотрудничества с компанией Intel, в состав которой недавно вошел Mobileye, подразделение, занимающееся разработками в области «компьютерного видения». Компьютерное видение основывается на идее обучить компьютер «видеть» камерами так, как видят люди, и интерпретировать полученную информации так, как это делает человеческий мозг. 
 
По сути, это более продвинутая форма программы распознавания образов, основанной на машинном обучении, которой мы уже сейчас пользуемся при поиске визуальной информации в google. Программа, получая все новые изображения, каждый раз совершенствуется в их сортировке и классификации. На базе этих разработок BMW обещает уже к 2021 году выпустить автомобиль «пятого уровня автономии», который предполагает отсутствие человека за рулем. 
 
Далее, розничная торговля - одна из самых больших областей применения технологии big data. Чем большие данные помогут ритейлу?  Почти всем – от маркетинга до логистики. Это и составление детализированного портрета потребителя, и оценка отношения к бренду на базе анализа поведенческих привычек, и персонализированные торговые предложения, и оптимизация складских процессов и многое другое.    
 
Некоторые крупные розничные компании уже хвастаются значительными результатами внедрения big data. Например, американская сеть универмагов Macy’s смогла увеличить продажи на 10%, а компания Target являет собой, пожалуй, самый известный пример внедрения big data в торговле: по поисковым запросам пользователей они определяли срок беременности женщины и далее предлагали ей необходимые товары: вначале витамины и эластичное белье для беременных, затем коляски, люльки и прочее.
 
Примеров использования big data с каждым днем все больше – от промышленного производства до сельского хозяйства, от образования до здравоохранения.  
 

А что с малым и средним бизнесом?

Когда мы говорим о больших данных, насколько «большими» они действительно должны быть, чтобы применить к ним методы анализа big data? Точного ответа нет. Можно сказать так: они должны быть достаточными для того, чтобы с их помощью можно было бы вывести необходимую корреляцию. 
 
«Сам термин big data, - говорит Максим Скрябин, компания Stepik, – это не только про объем данных: в модели 5V (volume, variety, veracity, velocity, value) одно из V - как раз про ценность данных для бизнеса. Данные могут использоваться для выявления скрытых закономерностей, автоматизации рутинных процедур, создания помощников для процессов и бизнеса, более интеллектуального планирования и прогнозирования. Но, конечно, если объем данных небольшой, то это может ограничивать их область применения за счет невозможности применения продвинутых методах анализа, например, машинного обучения. В этом случае для принятия решений можно использовать более простые описательные методы, а также визуализацию данных». 
 
Во время эпидемии холеры в Лондоне в 1854 году врач-терапевт Джон Сноу использовал такой метод анализа больших данных для определения причины массового заражения. До его открытия считалось, что бубонная чума и холера разносятся загрязненным воздухом. Джон Сноу отметил точками на карте места проживания больных холерой, и выяснилось, что все они проживают вокруг водокачки на Бонд Стрит, которая и оказалась источником заражения. Количество зараженных чуть превысило 600 человек, но этого количества было достаточно для выведения корреляции.
 
Сегодня существуют биржи данных, где даже небольшие компании могут себе позволить приобретать данные для маркетинговых целей. Еще одна возможность - пользоваться облачными решениями, например, платформой Amazon, созданной специально для вычислений на основе big data.
 
Можно пойти еще дальше и построить собственную инфраструктуру на базе, скажем, Hadoop, продукта с открытым исходным кодом, который предлагает как хранение внушительных массивов данных, так и вычислительно-аналитические инструменты. 
 
Таким образом, при желании, малый и средний бизнес имеет возможность использования технологии big data для систематизации данных и увеличения скорости их обработки.
 

Большие данные и маленькие мы

Несмотря на всестороннюю пользу технологического прогресса, несмотря на то, что уже сейчас программы могут нам помочь в выборе фильма или книги, сориентировать на местности, дать рекомендации по приему лекарств или дозированию физической нагрузки, проблема с большими данными все же есть, и проблема эта этического характера. 
 
Максим Скрябин комментирует: «Не все так однозначно, когда речь идет о качестве жизни людей. Примером ситуации, в которой предсказательная аналитика должна использоваться с осторожностью, является кредитный скоринг, когда решение о выдачи кредита принимается на основе прошлой информации о клиенте. Насколько мы уверены в качестве алгоритма классификации? Какие риски сопряжены с его ошибками? Из-за этого возникают различные этические проблемы, связанные с использованием результата аналитики».
 
Никому не нравится жить с постоянным ощущением того, что «большой брат наблюдает за тобой», но многие готовы частично поступиться правом на конфиденциальность личной информации, если будут видеть в этом выгоду.      
 
Возвращаясь к аналогии с нефтью, право на ее добычу принадлежит недропользователю – собственнику земли либо государству, в зависимости от отношения к частной собственности. Собственником информации о себе является сам человек, он должен иметь право запретить использование персональных данных, которые он оставляет и хранит где бы то ни было. Как тогда будут строиться модели big data в будущем? 
 
Димитри де Йонге имеет ясный ответ. «Мы стоим перед выбором: мы либо говорим «да» большим данным и «нет» конфиденциальности, либо «да» конфиденциальности и «нет» большим данным. У нас есть вся информация в мире. И соблазн пользоваться ей велик. Но, если мы хотим предотвратить развитие различных нежелательных сценариев, мы уже сейчас должны ориентироваться на обработку только той информации, которую человек готов отдать в пользование. Да, возможно, и даже наверняка, ее объем будет значительно меньше, чем мы имеем сейчас или будем иметь в ближайшем будущем, но это будет честная сделка».

Подписаться на
ежемесячный бюллетень
IPM Review