Как избавляться от цифрового мусора и кому можно поручить эту работу?

РБКHi-Tech

Чистая работа

Как утилизаторы спасают мир от цифрового мусора и где можно освоить эту профессию

Авторы: Мария Решетникова, Андрей Абрамов

Фото: Gorodenkoff / Shutterstock / FOTODOM

Копии видеозаписей, дубли фотоснимков и ненужные письма в почте — каждый из нас ежедневно производит множество файлов, которые постепенно превращаются в цифровой мусор. Как от него избавляться и кому можно поручить эту работу?

Кто такой утилизатор цифрового мусора

Утилизатор цифрового мусора в сфере big data — это специалист, который занимается сортировкой, систематизацией и уничтожением лишних данных как на физических носителях, так и в облачных хранилищах.

Ежегодно основной объем ненужной информации растет за счет развития сферы больших данных. В 2023 году в мире генерировалось 120 зеттабайт (Зб) данных, или 328,77 млн терабайт в день, а к 2025 году этот объем составит более 180 Зб. Big data могут перегружать системы, поэтому растет потребность в профессионалах, которые могут чистить носители от лишней информации, копий и «битых» данных, чтобы избежать переполнения серверов.

Сфера задач

Специалист этой профессии будет анализировать данные в Сети при помощи инструментов big data и разрабатывать специальные алгоритмы, которые автоматически удаляют лишнюю информацию. Отдельные специалисты также будут работать над новыми способами сжатия файлов для снижения их «веса».

Утилизатор может работать не только с системами компаний, но и с данными, которые производит любой пользователь интернета, когда посещает сайты, отправляет письма или совершает другие действия в онлайне. Такой специалист способен выявлять дублирующую информацию, спам-рассылки, старые переписки и неработающие или вредоносные файлы, которые находятся в Сети и переносятся с одного сервера на другой.

Основные навыки

Поскольку работа утилизатора цифрового мусора, по сути, связана с профессиями дата-инженера и отчасти — дата-аналитика, то такому сотруднику потребуются знания:

  • структур данных и математических алгоритмов — это позволит понимать, как именно хранятся данные, чтобы правильно извлекать их и обрабатывать;
  • языков программирования: на Python пишутся алгоритмы для обработки данных, а на Java и Scala — инструменты для обработки данных;
  • SQL (структурированного языка запросов) и баз данных: такие запросы позволяют извлекать информацию из баз данных;
  • инструментов для работы с большими данными;
  • облачных технологий — во многих компаниях работа с данными ведется именно в облаках;
  • основ машинного обучения: навыки работы с ИИ помогут в моделировании данных и статистическом анализе, а внедрение новых инструментов позволит автоматизировать многие процессы.

Тренды в профессии

По данным аналитиков ReportLinker, в ближайшие годы индустрию обработки big data ожидает значительный подъем, вызванный спросом на аналитические данные в различных секторах.

Прогнозируется, что мировой рынок науки о данных будет расти в среднем ежегодно на 15,6% с 2023 по 2027 год. Его подъем будет обусловлен несколькими ключевыми факторами, в том числе быстрым развитием искусственного интеллекта и машинного обучения, а также растущим объемом структурированных и неструктурированных данных, генерируемых предприятиями.

Ожидается, что глобальный рынок платформ для обработки данных вырастет с нынешних $189,5 млрд до $1,1 трлн к 2030 году, а среднегодовой темп роста составит 25%. Это объясняется несколькими трендами:

  • ростом больших данных — с развитием интернета вещей, социальных сетей и других источников данных компаниям требуется больше специалистов по обработке и фильтрации информации;
  • фокусом на принятии решений на основе данных — чтобы анализировать массивы информации, ее нужно сначала отфильтровать и визуализировать;
  • появлением расширенной аналитики — машинное обучение и другие передовые методы аналитики требуют расширенной поддержки, в том числе в управлении хранением и извлечением данных;
  • спросом на обработку данных в реальном времени. Поскольку вакансий утилизаторов цифрового мусора на российском рынке пока нет, то говорить о зарплатах тоже преждевременно.

Однако можно примерно оценить их, если посмотреть, сколько получают специалисты смежных специальностей. Судя по объявлениям на HeadHunter, зарплаты дата-инженеров начинаются от 100 тыс. руб. По данным портала «Работа.ру», средняя зарплата инженера по работе с данными составляет 230 тыс.

Происхождение профессии

Работу утилизатора можно назвать смежной с работой дата-инженера, который собирает данные, очищает их и структурирует, а также настраивает загрузку и движение данных между инструментами. Однако около 80% рабочего времени таких специалистов уходит именно на очистку данных. При растущем объеме информации эти обязанности начнут исполнять утилизаторы цифрового мусора.

Соцсеть LinkedIn включила инженера по обработке данных в отчет о новых вакансиях за 2020 год, который показал, что темпы роста найма профессионалов на эту должность увеличились почти на 35% с 2015 года. По подсчетам аналитиков компании Zippia, число вакансий дата-инженеров вырастет на 21% к 2028 году по сравнению с 2018 годом.

Фото: Gorodenkoff / Shutterstock / FOTODOM

Как стать утилизатором цифрового мусора

В российских университетах и онлайн-школах пока нет обучающих программ по этому направлению. Чтобы подготовить себя к будущей работе утилизатором цифрового мусора, можно пройти обучение по профессии дата-инженера. Это позволит получить представление о том, как работать с большими данными и технологиями машинного обучения. Программных инженеров готовят такие вузы, как МГТУ имени Баумана, НИЯУ МИФИ, РТУ МИРЭА и НИУ ВШЭ.

Также можно пройти онлайн-обучение по специальности дата-инженера и дата-саентиста. Их предлагают Skillbox, SkillFactory, «Яндекс. Практикум», «Нетология», Productstar и другие образовательные платформы.

При наличии опыта работы в IT можно пройти и отдельные курсы, которые позволят получить важные для специальности базовые навыки, например бесплатный курс по основам программирования на Python или по SQL от Codeacademy. Курсы по алгоритмам и инструментам работы с базами данных можно найти на ресурсе Stepik. Кроме того, существует множество подборок бесплатных ресурсов, книг и видеоуроков по профессии.

Какие еще профессии будут востребованы в сфере работы с данными в будущем

IT — одна из самых быстрорастущих отраслей экономики. Цифровые технологии проникли во все сферы жизни. Нас повсюду окружают данные, поэтому сфера информационных технологий гарантирует рабочие места специалистам, умеющим с ними работать: от дата-журналиста до архитектора данных.

«РБК Тренды» составили список 150 самых востребованных профессий будущего. Помимо утилизаторов цифрового мусора в ближайшие 30 лет в сфере big data, IT и работы с информацией успешную карьеру смогут построить представители следующих профессий.

  • Дата-журналист — специалист, который анализирует и собирает большие данные, чтобы затем на их основе готовить статьи, заметки и прочие форматы журналистских материалов, включая интерактивные.
  • Консультант по безопасности личного профиля формирует информационный образ клиента в интернете, собирая всю информацию, которая о нем доступна. Проводит аудит безопасности пользователя в Сети и предлагает методы, чтобы ее усилить.
  • Инженер квантовых компьютеров будет работать на специализированных языках программирования для мощных и сложных компьютеров, чтобы решать новые задачи.
  • Инженер VR и AR создает программы виртуальной и дополненной реальности для смартфонов, ПК, шлемов, очков. VR/AR-технологии востребованы в играх и различных приложениях, применяемых не только для развлечения, но и, например, для обучения.
  • AI-тренер — редактор настоящего и будущего, проверяющий тексты, которые создают нейросети. Представители этой специальности также учат нейросети разговаривать подобно живым людям.
  • Брокер данных — специалист, который продает данные, собранные людьми, сообществами и корпорациями. Эта информация передается в алгоритмы машинного обучения для самых разных целей.
  • Медиаполицейский — сотрудник правоохранительных органов на просторах Сети. Борется с противоправным контентом, киберпреступниками, в том числе теми, кто совершает преступления против личности (кибербуллинг, сталкинг, интернет-мошенничество).

Подробнее об этих и других перспективных специальностях — в подборке РБК «150 профессий будущего».

Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Попали в историю Попали в историю

Какие цифровые данные оставляют пользователи в Сети и для чего их собирают

РБК
Как придать обивке мебели восхитительный свежий аромат: 5 лайфхаков профессиональных клинеров Как придать обивке мебели восхитительный свежий аромат: 5 лайфхаков профессиональных клинеров

Как сделать так, чтобы в гостиной всегда восхитительно пахло?

VOICE
Юлия Галкина: «В кино самое главное — компания» Юлия Галкина: «В кино самое главное — компания»

Горжусь, я единственная актриса — кандидат наук

Коллекция. Караван историй
Выиграть жену Выиграть жену

Интеллектуальные игры сопровождали калмыков с детства

Вокруг света
Меледá, или девять связанных колец Меледá, или девять связанных колец

Эта головоломка с кольцами, надетыми на шпильку, известна во многих странах

Наука и жизнь
Море без границ Море без границ

Bering Yachts разработала проект моторной суперъяхты Bering B165

Y Magazine
2 признака того, что вы встречаетесь с грандиозным нарциссом 2 признака того, что вы встречаетесь с грандиозным нарциссом

Как нарцисс ведет себя в отношениях?

Psychologies
Почтальон нашел недоставленные письма солдата времен Второй мировой! Вот что он сделал с ними Почтальон нашел недоставленные письма солдата времен Второй мировой! Вот что он сделал с ними

Как почтальон нашел семью погибшего солдата Второй мировой

ТехИнсайдер
«Я уеду в Туву»: как регион стал перспективным вариантом для жизни «Я уеду в Туву»: как регион стал перспективным вариантом для жизни

Как Тува становится все более привлекательной и для жизни, и для туризма

Правила жизни
Планета на песке Планета на песке

Попробуем разобраться в климатической истории планеты Дюна и химии меланжа

ТехИнсайдер
45 лет апартеида 45 лет апартеида

Что такое апартеид? Как он работал в Южно-Африканском Союзе?

Дилетант
«Претенденты»: спортивная драма с Зендеей о поединке на теннисном корте и в любви «Претенденты»: спортивная драма с Зендеей о поединке на теннисном корте и в любви

«Претенденты»: чего не хватило этой истории о любовном треугольнике на корте

Forbes
Ай, меня ужалили! Ай, меня ужалили!

Встретить медуз можно на любом курорте – и ожоги некоторых очень неприятны

Лиза
Как взбодриться без кофе: 6 научно доказанных способов (с примерами) Как взбодриться без кофе: 6 научно доказанных способов (с примерами)

Глубокое дыхание, холодная вода, берпи и другие альтернативные источники энергии

РБК
Без вины виноватые: почему учителя становятся объектами травли со стороны подростков Без вины виноватые: почему учителя становятся объектами травли со стороны подростков

С чем связана агрессия у подростков и как правильнее на нее реагировать учителю?

Psychologies
Выкидыш, муж-тиран и страшная болезнь: трагедии «Моей прекрасной няни» Анастасии Заворотнюк Выкидыш, муж-тиран и страшная болезнь: трагедии «Моей прекрасной няни» Анастасии Заворотнюк

В жизни Анастасии Заворотнюк хватало поводов для слез

VOICE
Следующая золотая лихорадка будет в океане Следующая золотая лихорадка будет в океане

О шансах человека взять под контроль 72 процента площади Земли

Монокль
«К 2026 году ей будет страдать каждый второй европеец». Врач-иммунолог — о причинах появления аллергии, эффективных способах лечения и мифе о гипоаллергенных животных «К 2026 году ей будет страдать каждый второй европеец». Врач-иммунолог — о причинах появления аллергии, эффективных способах лечения и мифе о гипоаллергенных животных

Откуда у человека берется аллергия и какие существуют способы её лечения?

СНОБ
Спускался к «Титанику», подлодке «Курск» и на дно Северного Ледовитого океана. Интервью с подводником и Героем России Евгением Черняевым Спускался к «Титанику», подлодке «Курск» и на дно Северного Ледовитого океана. Интервью с подводником и Героем России Евгением Черняевым

Евгений Черняев рассказал, что увидел во время погружения к подлодке «Курск»

СНОБ
Психологические травмы: чем они могут быть полезны — беседа с психотерапевтом Психологические травмы: чем они могут быть полезны — беседа с психотерапевтом

Что такое травма? Чем она опасна как для нас, так и для окружающих?

Psychologies
«Компании снижают градус серьезности» «Компании снижают градус серьезности»

Как перекус новостями и жажда новых зрелищ меняют тренды в индустрии контента

РБК
Сила света Сила света

Легкий и выразительный интерьер московской квартиры для семьи с двумя детьми

SALON-Interior
Как вернуть мотивацию к бегу: примените эти 10 способов и вам захочется надеть кроссовки Как вернуть мотивацию к бегу: примените эти 10 способов и вам захочется надеть кроссовки

Как вернуть радость от пробежек и мотивацию к бегу

ТехИнсайдер
Мадс Миккельсен. Великий и ужасный Мадс Миккельсен. Великий и ужасный

Он никогда не мечтал сниматься в кино и вообще становиться  актером

Караван историй
Молодо-зелено Молодо-зелено

Проблемы, которые мешают вырастить идеальный газон

Лиза
Ультразвук в кофемашине приготовил колд-брю за три минуты Ультразвук в кофемашине приготовил колд-брю за три минуты

Ультразвуковые колебания на фильтр кофемашины ускорили приготовление колд-брю

N+1
Как взять в отпуск всё, что надо, но обойтись небольшой сумкой: 8 советов опытных путешественников Как взять в отпуск всё, что надо, но обойтись небольшой сумкой: 8 советов опытных путешественников

Отпуск был бы прекрасен, если бы не предшествующие ему сборы

VOICE
Первая атомная катастрофа СССР: авария на химкомбинате «Маяк» Первая атомная катастрофа СССР: авария на химкомбинате «Маяк»

Почему произошла первая атомная катастрофа СССР и как ликвидировали это ЧП

ТехИнсайдер
Какие бывают огнетушители для автомобиля, какой лучше, и как его выбрать Какие бывают огнетушители для автомобиля, какой лучше, и как его выбрать

Все об автомобильных огнетушителях: выбор, требования ГИБДД, сравнение

РБК
«Извне», «Защищая Джейкоба» и «Дом с прислугой»: 10 лучших сериалов последних лет в жанре триллер «Извне», «Защищая Джейкоба» и «Дом с прислугой»: 10 лучших сериалов последних лет в жанре триллер

Собрали многосерийные триллеры, которые можно осилить за выходные

Правила жизни
Открыть в приложении