Возросла роль аналитики на базе больших данных: как использовать ее во благо

ЭкспертHi-Tech

Сколько нужно труда и денег, чтобы создать систему анализа данных

В условиях пандемии роль аналитики, основанной на больших данных, возросла. Однако четкого понимания, как именно ее можно использовать себе во благо, у бизнеса по-прежнему нет.

Влада Сюткина

В России отсутствует законодательно закрепленное определение больших данных (big data), но обычно под ними понимают разнообразные инструменты, подходы и методы обработки данных, направленные на решение конкретных задач. К примеру, на создание персонализированных предложений или оптимизацию бизнес-подразделений. Эти задачи решались и раньше, но теперь благодаря big data выполнять их можно гораздо проще, лучше, быстрее. Более того, их решение стало приносить бизнесу ощутимую прибыль.

Еще двадцать лет назад специалисты сидели и вручную строили в соответствии с теорией вероятности различные сценарии, сравнивали предыдущие периоды продаж и на основании этого прогноза давали рекомендации клиентам. Например, никто не знал, как предложить человеку нужную музыку. Попытки понять предпочтения клиентов предпринимались — анализировались музыкальные рейтинги и продажи альбомов, — но картина все равно получалась неточная. Помимо этого требовалось много времени, чтобы проверить на практике реалистичность полученных прогнозов. Приходилось изучать привычки, предпочтения людей. На это иногда уходили годы. Сейчас предвосхитить желания клиента можно буквально за несколько часов благодаря прогнозам на основе аналитики больших данных, что значительно снижает затраты компании и повышает уровень персонализации.

Огромный эффект бизнесу обеспечивает поиск локации для открытия новой точки продаж при помощи технологий машинного обучения. Такие сервисы позволяют оценить потенциал локаций в интересующем городе/районе и найти ту из них, где товарооборот будет максимальным, а каннибализация существующих точек — минимальной. Многие крупные ритейлеры до сих пор принимают решения такого рода на основании экспертных оценок отдельных менеджеров. Однако технологии машинного обучения позволяют компаниям снизить инвестиционные риски при оценке новой локации до пяти раз.

Еще один пример того, как заметно улучшают жизнь большие данные, — использование big data решений в финансовой области. Раньше поиск аномалий в закупках, транзакциях и других операциях занимал у крупного банка дни или недели. Теперь продукты big data могут вылавливать аномалии в считанные секунды.

Новые возможности для банков открыли и решения, автоматизирующие ручной труд, например деятельность андеррайтеров в банках. Раньше проверка занятости, валидация анкетных данных и прочие проверки делались полностью вручную. Сегодня значимая доля проверок поддается автоматизации за счет синергии технологий машинного обучения и поведенческих данных. В результате прибыль страхового портфеля увеличивается на 5–10%.

Примеры применения продуктов big data в других областях тоже впечатляют. На искусственный интеллект перешла сейчас, например, вся сортировка почты. Другой пример — автоматическое планирование маршрутов перевозок, причем от обычных навигаторов с учетом пробок до оптимизации логистической цепи и путей поставок крупных компаний доставки. Посылки стали приходить быстрее, а время маршрута можно планировать более точно.

Не менее наглядный пример — управление производством, выявление брака. Например, брак при производстве бутылок или же гнилые овощи раньше выявлял специальный человек, который сбрасывал бракованную продукцию с конвейера. Сейчас системы компьютерного зрения делают это автоматически и в десятки раз быстрее.

Отстает ли Россия?

Российская индустрия больших данных только формируется. В 2019 году рынок big data в России составлял 45 млрд рублей, тогда как в США — 3 трлн рублей, в Китае — 157 млрд рублей. Такие цифры содержатся в стратегии развития рынка больших данных до 2024 года, разработанной Ассоциацией больших данных совместно с The Boston Consulting Group. Примечательно, что Китай также является мировым лидером по количеству патентов, зарегистрированных в сфере искусственного интеллекта и машинного обучения: с 2013 года он оформил около ста тысяч патентов, в 125 раз больше, чем Россия.

Данные для обработки и аналитики

Вместе с тем ежегодный темп роста рынка больших данных в России неплохой. С 2015 года он составляет 12%, отмечает исполнительный директор Ассоциации больших данных Алексей Нейман. Все больше компаний начинают использовать сервисы на основе аналитики больших данных, говорит директор по аналитике и алгоритмам компании oneFactor Максим Воеводский.

Осложняет развитие в России рынка больших данных главным образом стоимость решений — десятки миллионов рублей, а также сложность внедрения. Вместе с внедрением таких продуктов в компаниях идет обновление и замещение устаревших систем. Эти процессы влияют как на IT-ландшафт, так и на данные. В частности, появляются новые источники, что приводят к сложностям внедрения продуктов, основанных на характер данных.

Развитию big data в России мешает также недостаточная степень автоматизации бизнес-процессов в компаниях, а именно отсутствие некоторых базовых IT-решений, необходимых для эффективной работы решений с технологиями машинного обучения, например CRM-систем. Еще один барьер — нехватка квалифицированных кадров в области big data.

Есть ли у вас большие данные, которые могут быть обработаны

Абсолютно все данные могут быть использованы для построения моделей искусственного интеллекта. В роли источников информации могут выступать как структурированные (табличные) данные, так неструктурированные (фото, видео) и полуструктурированные (различные данные телеметрии, логи событий, геоданные и др.).

«Зачастую при решении задачи выбор данных определяется исключительно их доступностью и качеством, поскольку в любых данных благодаря использованию методов ИИ можно выделить разного рода взаимосвязи», — пояснил «Эксперту» руководитель направления «Большие данные» компании «Техносерв» Денис Рыбченко. В конечном счете все данные приводятся к некоторым цифрам, описывающим объект или ситуацию.

«Если это текст, то может браться как количество слов “машина”, так и более сложные, иногда не объяснимые словами свойства текста. Если говорят про изображение, то опять же берется числовое описание форм, цветов и фигур, которые на нем присутствуют. Данное числовое описание — его называют embedding — и позволяют получить, в частности, нейронные сети. Таким образом, любой оцифрованный вид данных потенциально подлежит анализу, вопрос только в том, как применительно к нему поставить задачу: соотнести изображения и класс, описать нужные свойства текстов, иными словами, разметить обучающую выборку», — рассказал «Эксперту» архитектор машинного обучения цифровой лаборатории Softline Николай Князев.

Руководитель направления продвинутой аналитики департамента аналитических решений ГК «Корус Консалтинг» Александр Зенькович привел нам конкретные примеры данных, которые могут быть проанализированы.

«Если мы хотим оптимизировать продажи в рознице, в дело идут чековые данные (для анализа покупательской картины) и фотографии продуктов на витрине (для оценки их качества здесь и сейчас, более точного прогнозирования спроса). Фото и видео помогают отслеживать процессы, например видеть брак на производстве или отсутствие каски на голове рабочего. Поведение клиентов в интернете тоже используется во множестве задач: автоматическом поиске похожих товаров, подборе жилья, оценке музыкальных и видеопредпочтений», — рассказал Александр Зенькович.

В зависимости от «носителя» данных и целей аналитики последняя разделяется на несколько видов:

— обработка естественного языка (всем знакомая «Сири» в iOS), помогающая перевести аудиотрек в текст, выделить из него смыслы, эмоции, по необходимости сформулировать ответную по смыслу реакцию, облачить ее во фразу и воспроизвести;

— обработка фото и видео (FaceID в iOS, распознавание текста на фото страницы книги, номер автомобиля нарушителя в «письмах счастья», огромное количество фотоприложений с фильтрами, спецэффекты в фильмах и проч.);

— отбор брака на конвейере с камерой;

— обработка потока структурированных данных в реальном времени (системы безопасности, алгоритмы торговли, динамическое ценообразование, антифрод, системы активной стабилизации и проч.);

— обработка потока данных (цифровой след, датчики, IoT и проч.) для выявления тренда, экстраполяции наблюдаемого процесса, формирование реакции на тренд;

— обработка структурированных данных.

Таким образом, учитывая, насколько разнообразны сегодня поддающиеся аналитике данные, обладать ими могут очень многие предприятия.

С помощью каких инструментов можно работать с данными

Для работы с большими данными используются два типа решений: проприетарное программное обеспечение и открытое. К первым относятся аналитические решения SAS, Tableau, Qlik, SAP и другие. Они представляют собой инструменты, дающие на выходе разнообразную инфографику, средства представления и визуализации, статистического анализа и поиска информации. К открытому программному обеспечению относится огромный набор программ для анализа данных средствами языков программирования Python, R.

«На базе комплекса этих решений IT-службы организуют наиболее подходящий для компании аналитический ландшафт, так как все решения уникальны для сферы бизнеса и инфраструктуры компании. Так, решения, созданные в разных компаниях, даже в разных департаментах одной организации, при помощи одних и тех же инструментов, могут разительно отличаться и не быть взаимозаменяемыми. В конце концов, и всем известный Excel — отличный инструмент для анализа начального уровня», — рассказал «Эксперту» Алексей Нейман.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Экономика развития: уроки Восточной Азии и Латинской Америки Экономика развития: уроки Восточной Азии и Латинской Америки

Экономика развития — альтернатива рыночному капитализму

Эксперт
Тьфу на вас: кобры научились плеваться ядом для защиты от древних людей Тьфу на вас: кобры научились плеваться ядом для защиты от древних людей

Ученые считают эту версию эволюционного развития кобр наиболее вероятной.

National Geographic
«Мы не тот банк, который забирает пользователей» «Мы не тот банк, который забирает пользователей»

Анна Кузьмина — зачем финтех-компаниям банковская лицензия и что такое необанк?

Эксперт
Выкинь из головы Выкинь из головы

Когда болит голова, не торопись принимать анальгетики

Лиза
«Стихи Берггольц спасали людей от смерти» «Стихи Берггольц спасали людей от смерти»

Режиссер Андрей Зайцев — о том, что вошло в фильм «Блокадный дневник»

Огонёк
Не сходите с ума на работе Не сходите с ума на работе

Как создать спокойную компанию

kiozk originals
Цой жив Цой жив

Виктор Цой погиб в автокатастрофе в Юрмале 15 августа 1990 года

Esquire
Почему не все любят ходить на работу Почему не все любят ходить на работу

Правда о вовлеченности сотрудников

kiozk originals
Как выбрать правильное обручальное кольцо: 3 лайфхака для жениха и невесты Как выбрать правильное обручальное кольцо: 3 лайфхака для жениха и невесты

Эксперт дает советы по выбору обручальных колец

Cosmopolitan
Почему рубль не резервная валюта Почему рубль не резервная валюта

Россию ждет накопление резервов, повышение налогов и ужесточение регулирования

СНОБ
Олеся Рудакова: «Когда мама узнала, что в «Лапшине» будет играть Андрей Миронов, отказалась сниматься» Олеся Рудакова: «Когда мама узнала, что в «Лапшине» будет играть Андрей Миронов, отказалась сниматься»

Дочь актрисы Нины Руслановой рассказывает о своей маме и ее пути в кино

Караван историй
Не только бессонница: что делать с храпом, лунатизмом и ночными кошмарами Не только бессонница: что делать с храпом, лунатизмом и ночными кошмарами

Психотерапевты и сомнологи — о расстройствах, мешающих полноценно спать

Reminder
«Феминистский задор у нас на первом месте» «Феминистский задор у нас на первом месте»

Что не так с современной русской прозой?

Полка
Правила жизни Константина Хабенского Правила жизни Константина Хабенского

Правила жизни актера Константина Хабенского

Esquire
Микробиом хлебной закваски оказался независим от географического положения Микробиом хлебной закваски оказался независим от географического положения

Взаимодействие микробов друг с другом в закваске повлияло на вкус хлеба

N+1
Найден древнейший прародитель морских звезд Найден древнейший прародитель морских звезд

Обнаружена окаменелость самого раннего животного, подобного морской звезде

National Geographic
Арал. Море, которого нет Арал. Море, которого нет

С научной точки зрения Арал — бессточное солёное озеро

4x4 Club
А кто не пьет? А кто не пьет?

Психолог – о том, как справиться с алкоголизмом мужа

Лиза
От альфонса до вождя: необычные роли Константина Хабенского От альфонса до вождя: необычные роли Константина Хабенского

Самые неожиданные роли в кинематографической биографии Константина Хабенского

Cosmopolitan
Как стилисты выбирают одежду клиентам — 15 лайфхаков, о которых ты не знала Как стилисты выбирают одежду клиентам — 15 лайфхаков, о которых ты не знала

В нашем материале ты найдешь лайфхаки, которые помогают стилистам в их работе

Cosmopolitan
Полет формальный Полет формальный

В парфюмерии есть коллекция арт-шедевров с увлекательной историей создания

Elle
В Западной Африке обнаружили новый вид летучих мышей В Западной Африке обнаружили новый вид летучих мышей

Ученые обнаружили в Гвинее летучих мышей с рыжей шерстью

National Geographic
Дочь Майкла Джексона и еще 5 детей погибших звезд: как сложились их судьбы Дочь Майкла Джексона и еще 5 детей погибших звезд: как сложились их судьбы

Чем занимаются дети умерших звезд?

Cosmopolitan
Мадс Миккельсен Мадс Миккельсен

Правила жизни датского актера Мадса Миккельсена

Esquire
До свадьбы не дошло: громкие расставания звезд после гражданских браков До свадьбы не дошло: громкие расставания звезд после гражданских браков

Звезды, которые расстались, не успев официально заключить брак

Cosmopolitan
Нейрохирург рассказал о пяти привычках, которые сделают нас умнее Нейрохирург рассказал о пяти привычках, которые сделают нас умнее

Санджай Гупта, нейрохирург: необходимо прокачивать свои когнитивные способности

Playboy
Евпатий Коловрат: сотворение героя Евпатий Коловрат: сотворение героя

Существовал ли Евпатий Коловрат

Дилетант
Дальше будет лучше Дальше будет лучше

Квартира в центре Санкт-Петербурга с интерьером для души

AD
С новым счастьем! С новым счастьем!

Психолог рассказывает, как научиться располагать к себе людей и стать счастливее

Лиза
Чтение выходного дня: как жила европейская богема в XX веке Чтение выходного дня: как жила европейская богема в XX веке

Отрывок из книги "Воспоминания" Бальтюса в переводе Алексея Воинова

Esquire
Открыть в приложении