Как избавляться от цифрового мусора и кому можно поручить эту работу?

РБКHi-Tech

Чистая работа

Как утилизаторы спасают мир от цифрового мусора и где можно освоить эту профессию

Авторы: Мария Решетникова, Андрей Абрамов

Фото: Gorodenkoff / Shutterstock / FOTODOM

Копии видеозаписей, дубли фотоснимков и ненужные письма в почте — каждый из нас ежедневно производит множество файлов, которые постепенно превращаются в цифровой мусор. Как от него избавляться и кому можно поручить эту работу?

Кто такой утилизатор цифрового мусора

Утилизатор цифрового мусора в сфере big data — это специалист, который занимается сортировкой, систематизацией и уничтожением лишних данных как на физических носителях, так и в облачных хранилищах.

Ежегодно основной объем ненужной информации растет за счет развития сферы больших данных. В 2023 году в мире генерировалось 120 зеттабайт (Зб) данных, или 328,77 млн терабайт в день, а к 2025 году этот объем составит более 180 Зб. Big data могут перегружать системы, поэтому растет потребность в профессионалах, которые могут чистить носители от лишней информации, копий и «битых» данных, чтобы избежать переполнения серверов.

Сфера задач

Специалист этой профессии будет анализировать данные в Сети при помощи инструментов big data и разрабатывать специальные алгоритмы, которые автоматически удаляют лишнюю информацию. Отдельные специалисты также будут работать над новыми способами сжатия файлов для снижения их «веса».

Утилизатор может работать не только с системами компаний, но и с данными, которые производит любой пользователь интернета, когда посещает сайты, отправляет письма или совершает другие действия в онлайне. Такой специалист способен выявлять дублирующую информацию, спам-рассылки, старые переписки и неработающие или вредоносные файлы, которые находятся в Сети и переносятся с одного сервера на другой.

Основные навыки

Поскольку работа утилизатора цифрового мусора, по сути, связана с профессиями дата-инженера и отчасти — дата-аналитика, то такому сотруднику потребуются знания:

  • структур данных и математических алгоритмов — это позволит понимать, как именно хранятся данные, чтобы правильно извлекать их и обрабатывать;
  • языков программирования: на Python пишутся алгоритмы для обработки данных, а на Java и Scala — инструменты для обработки данных;
  • SQL (структурированного языка запросов) и баз данных: такие запросы позволяют извлекать информацию из баз данных;
  • инструментов для работы с большими данными;
  • облачных технологий — во многих компаниях работа с данными ведется именно в облаках;
  • основ машинного обучения: навыки работы с ИИ помогут в моделировании данных и статистическом анализе, а внедрение новых инструментов позволит автоматизировать многие процессы.

Тренды в профессии

По данным аналитиков ReportLinker, в ближайшие годы индустрию обработки big data ожидает значительный подъем, вызванный спросом на аналитические данные в различных секторах.

Прогнозируется, что мировой рынок науки о данных будет расти в среднем ежегодно на 15,6% с 2023 по 2027 год. Его подъем будет обусловлен несколькими ключевыми факторами, в том числе быстрым развитием искусственного интеллекта и машинного обучения, а также растущим объемом структурированных и неструктурированных данных, генерируемых предприятиями.

Ожидается, что глобальный рынок платформ для обработки данных вырастет с нынешних $189,5 млрд до $1,1 трлн к 2030 году, а среднегодовой темп роста составит 25%. Это объясняется несколькими трендами:

  • ростом больших данных — с развитием интернета вещей, социальных сетей и других источников данных компаниям требуется больше специалистов по обработке и фильтрации информации;
  • фокусом на принятии решений на основе данных — чтобы анализировать массивы информации, ее нужно сначала отфильтровать и визуализировать;
  • появлением расширенной аналитики — машинное обучение и другие передовые методы аналитики требуют расширенной поддержки, в том числе в управлении хранением и извлечением данных;
  • спросом на обработку данных в реальном времени. Поскольку вакансий утилизаторов цифрового мусора на российском рынке пока нет, то говорить о зарплатах тоже преждевременно.

Однако можно примерно оценить их, если посмотреть, сколько получают специалисты смежных специальностей. Судя по объявлениям на HeadHunter, зарплаты дата-инженеров начинаются от 100 тыс. руб. По данным портала «Работа.ру», средняя зарплата инженера по работе с данными составляет 230 тыс.

Происхождение профессии

Работу утилизатора можно назвать смежной с работой дата-инженера, который собирает данные, очищает их и структурирует, а также настраивает загрузку и движение данных между инструментами. Однако около 80% рабочего времени таких специалистов уходит именно на очистку данных. При растущем объеме информации эти обязанности начнут исполнять утилизаторы цифрового мусора.

Соцсеть LinkedIn включила инженера по обработке данных в отчет о новых вакансиях за 2020 год, который показал, что темпы роста найма профессионалов на эту должность увеличились почти на 35% с 2015 года. По подсчетам аналитиков компании Zippia, число вакансий дата-инженеров вырастет на 21% к 2028 году по сравнению с 2018 годом.

Фото: Gorodenkoff / Shutterstock / FOTODOM

Как стать утилизатором цифрового мусора

В российских университетах и онлайн-школах пока нет обучающих программ по этому направлению. Чтобы подготовить себя к будущей работе утилизатором цифрового мусора, можно пройти обучение по профессии дата-инженера. Это позволит получить представление о том, как работать с большими данными и технологиями машинного обучения. Программных инженеров готовят такие вузы, как МГТУ имени Баумана, НИЯУ МИФИ, РТУ МИРЭА и НИУ ВШЭ.

Также можно пройти онлайн-обучение по специальности дата-инженера и дата-саентиста. Их предлагают Skillbox, SkillFactory, «Яндекс. Практикум», «Нетология», Productstar и другие образовательные платформы.

При наличии опыта работы в IT можно пройти и отдельные курсы, которые позволят получить важные для специальности базовые навыки, например бесплатный курс по основам программирования на Python или по SQL от Codeacademy. Курсы по алгоритмам и инструментам работы с базами данных можно найти на ресурсе Stepik. Кроме того, существует множество подборок бесплатных ресурсов, книг и видеоуроков по профессии.

Какие еще профессии будут востребованы в сфере работы с данными в будущем

IT — одна из самых быстрорастущих отраслей экономики. Цифровые технологии проникли во все сферы жизни. Нас повсюду окружают данные, поэтому сфера информационных технологий гарантирует рабочие места специалистам, умеющим с ними работать: от дата-журналиста до архитектора данных.

«РБК Тренды» составили список 150 самых востребованных профессий будущего. Помимо утилизаторов цифрового мусора в ближайшие 30 лет в сфере big data, IT и работы с информацией успешную карьеру смогут построить представители следующих профессий.

  • Дата-журналист — специалист, который анализирует и собирает большие данные, чтобы затем на их основе готовить статьи, заметки и прочие форматы журналистских материалов, включая интерактивные.
  • Консультант по безопасности личного профиля формирует информационный образ клиента в интернете, собирая всю информацию, которая о нем доступна. Проводит аудит безопасности пользователя в Сети и предлагает методы, чтобы ее усилить.
  • Инженер квантовых компьютеров будет работать на специализированных языках программирования для мощных и сложных компьютеров, чтобы решать новые задачи.
  • Инженер VR и AR создает программы виртуальной и дополненной реальности для смартфонов, ПК, шлемов, очков. VR/AR-технологии востребованы в играх и различных приложениях, применяемых не только для развлечения, но и, например, для обучения.
  • AI-тренер — редактор настоящего и будущего, проверяющий тексты, которые создают нейросети. Представители этой специальности также учат нейросети разговаривать подобно живым людям.
  • Брокер данных — специалист, который продает данные, собранные людьми, сообществами и корпорациями. Эта информация передается в алгоритмы машинного обучения для самых разных целей.
  • Медиаполицейский — сотрудник правоохранительных органов на просторах Сети. Борется с противоправным контентом, киберпреступниками, в том числе теми, кто совершает преступления против личности (кибербуллинг, сталкинг, интернет-мошенничество).

Подробнее об этих и других перспективных специальностях — в подборке РБК «150 профессий будущего».

Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Попали в историю Попали в историю

Какие цифровые данные оставляют пользователи в Сети и для чего их собирают

РБК
«Хитрости»: сериал о том, как уживаются друг с другом женщины разных поколений «Хитрости»: сериал о том, как уживаются друг с другом женщины разных поколений

«Хитрости»: сериал, рассказывающий о легенде стендапа Деборе Вэнс

Forbes
Платина обошла палладий Платина обошла палладий

Что происходит с ценами благородных металлов

Деньги
Почему важно давать мужчине пространство и как это сделать правильно? Почему важно давать мужчине пространство и как это сделать правильно?

Личное пространство — важный аспект в отношениях, но как его давать?

VOICE
В диалоге с цветами В диалоге с цветами

Формы и стили, которые подчеркивают и по-новому показывают красоту цветка

Наука и жизнь
Бескишечные морские черви, нефть, газ и жизнь на других планетах Бескишечные морские черви, нефть, газ и жизнь на других планетах

О положении вестиментифер и погонофор в системе животного царства

Наука и жизнь
Букет — маме, жене — цветок: новый тренд возмутил пользователей соцсетей Букет — маме, жене — цветок: новый тренд возмутил пользователей соцсетей

Кто дороже: мама или жена? Каждая занимает особое место в сердце мужчины

Psychologies
Как получить предупреждение вместо штрафа. Инструкция для водителей Как получить предупреждение вместо штрафа. Инструкция для водителей

Когда можно отделаться беседой с сотрудником ГИБДД и что нужно говорить

РБК
«Папа Урбан II на площади Клермона проповедует первый крестовый поход» «Папа Урбан II на площади Клермона проповедует первый крестовый поход»

Картина Франческо Айеца, на которой запечатлено начало крестовых походов

Дилетант
Ребенок за штурвалом: страшная катастрофа Airbus A310 авиакомпании «Аэрофлот», которая унесла жизни 75 человек Ребенок за штурвалом: страшная катастрофа Airbus A310 авиакомпании «Аэрофлот», которая унесла жизни 75 человек

Эта авивкатастрофа заняла первое место в рейтинге «самых нелепых»

ТехИнсайдер
Золотая комната Золотая комната

К дикому племени спускается сияющий человек в скафандре и протягивает к ним руку

Знание – сила
Стиль твоей удачи Стиль твоей удачи

Минимализм или классика: самый подходящий интерьер для твоего знака зодиака

Лиза
4 ошибки, которые мы допускаем, когда нас преследует тревога 4 ошибки, которые мы допускаем, когда нас преследует тревога

Большинство привычных способов реакции на тревогу лишь усугубляют ситуацию

Psychologies
Между Оруэллом и Хаксли: 10 отличных сериалов-антиутопий Между Оруэллом и Хаксли: 10 отличных сериалов-антиутопий

Сериалы-антиутопии: от инкубаторов для детей до религиозных конфликтов

Правила жизни
Запах белых ночей. Кем был создатель духов Chanel №5 Эрнест Бо Запах белых ночей. Кем был создатель духов Chanel №5 Эрнест Бо

Каким человеком был парфюмер Эрнест Бо?

СНОБ
CRISPR-терапия показала безопасность и частичный эффект при дегенерации сетчатки CRISPR-терапия показала безопасность и частичный эффект при дегенерации сетчатки

Успех клинических испытаний CRISPR-терапии наследственной дегенерации сетчатки

N+1
Источник вдохновения Источник вдохновения

Почему Марракеш привлекает богатых и знаменитых

RR Люкс.Личности.Бизнес.
Это не совсем я, Эдичка. Каким получился «Лимонов» Кирилла Серебренникова с Беном Уишоу и Викторией Мирошниченко? Это не совсем я, Эдичка. Каким получился «Лимонов» Кирилла Серебренникова с Беном Уишоу и Викторией Мирошниченко?

«Лимонов. Баллада об Эдичке» — кино о писателе-панке и партийном вожде

Правила жизни
Ученые узнали, почему реки Аляски начали ржаветь Ученые узнали, почему реки Аляски начали ржаветь

Почему реки Аляски окрасились в странный оттенок, который видно даже из космоса?

ТехИнсайдер
Как наладить отношения с новыми коллегами и подчиненными: правило трех К Как наладить отношения с новыми коллегами и подчиненными: правило трех К

Как влиться в коллектив, быть в нем эффективным и на хорошем счету?

Psychologies
Спасите наши души: как появился международный сигнал бедствия SOS Спасите наши души: как появился международный сигнал бедствия SOS

SOS: почему было выбрано такое сочетание букв и как оно стало международным?

ТехИнсайдер
Сложное соседство: как жить в одном доме с кошкой, если у вас появилась аллергия Сложное соседство: как жить в одном доме с кошкой, если у вас появилась аллергия

Как ужиться в одной квартире с кошкой, если у вас появилась аллергия на нее?

ТехИнсайдер
Гонки вокруг света Гонки вокруг света

Путешествие «леди Сенсация» привлекло внимание прессы и читателей по всему миру

Вокруг света
На пути к единой форме: нас ждет эра импакт-предпринимательства? На пути к единой форме: нас ждет эра импакт-предпринимательства?

Импакт-предпринимательство: лучшие аспекты социальных проектов и бизнеса

Позитивные изменения
Как понять, что вы встретили своего мужчину: 5 признаков того, что он вам подходит Как понять, что вы встретили своего мужчину: 5 признаков того, что он вам подходит

Как понять, есть ли у вас как пары будущее, а когда лучше расстаться?

Psychologies
6 признаков того, что в вашем рационе слишком много соли 6 признаков того, что в вашем рационе слишком много соли

Определить, что вы едите слишком много соли, можно по нескольким признакам

ТехИнсайдер
Кошмар владельца: самые сложные автомобили всех времен и народов Кошмар владельца: самые сложные автомобили всех времен и народов

Приобретя эти машины, вы можете очень сильно пожалеть

Maxim
Как не позволить ИИ заменить вас на работе? Узнайте ответ экспертов! Как не позволить ИИ заменить вас на работе? Узнайте ответ экспертов!

Какие меры принять людям, чтобы обеспечить свою конкурентоспособность перед ИИ

ТехИнсайдер
Больше молока от фермы до прилавка Больше молока от фермы до прилавка

Производство сырья и готовой продукции в молочном секторе будет увеличиваться

Агроинвестор
«Наша задача — не кости с места на место перенести, а достойно похоронить в братской могиле». Как в Московской области ищут останки пропавших без вести солдат «Наша задача — не кости с места на место перенести, а достойно похоронить в братской могиле». Как в Московской области ищут останки пропавших без вести солдат

Как поиск солдат из мальчишеского увлечения превратился в серьезную миссию

СНОБ
Открыть в приложении