компания "мтс" big data мтс – место, где телеком данные превращаются в реально работающие it-продукты. мы создали и протестировали несколько десятков сервисов. самые успешные из них уже стали частью экосистемы мтс. например, мтс маркетолог, рекомендации в kion (мтс тв), услуга “кто звонит?” или спам blacklist. кого мы ищем? обязательно: опыт работы с данными в одной из отраслей: телеком, интернет-компании, банки, страхование, ритейл понимание моделей данных и принципов устройства хранилищ данных хорошее знание sql опыт работы хотя бы с одной промышленной бд знание стека hadoop/hive/spark и опыт работы с большими объемами данных знание одного из языков программирования: python, scala навыки загрузки данных из неструктурированных источников (data exploration, data wrangling, data cleansing) умение работать в unix консоли, базовое понимание (как минимум умение читать) shell scripts хорошее знание технического английского, навыки поиска информации. что предстоит делать? загрузка данных из kafka в hdfs, из kafka в hbase фильтрация, обогащение, трансформация, дедупликация данных регламентная сборка витрин проведение code review сейчас мы ищем data engineer на продукт netscout ис net является одним из основных источником данных и витрин для инфраструктурных и продуктовых команд bigdata, загружая и преобразуя данные из системы мониторинга опорной сети мтс. данные загружаются как в батчевом режиме, так и в потоковом по следующим направлениям: гео, включая информацию о международном роуминге информация об интернет-активности абонентов данные по звонкам и смс, включая непринятые хранение данных осуществляется с учетом нескольких слоев согласно архитектуре data lake. поскольку ис net обрабатывает большие объемы данных (через наш kafka-кластер проходит ~ 20 млн событий в секунду, ~ 6 птб данных хранится на кластере), то большое внимание уделяется оптимизации программного кода, занимаемого места в хранилище, а также качеству данных. что вы найдете в команде big data? стек технологий: sql, scala, java, python, flink, spark, hadoop, airflow, субд команда: в команде data engineer сейчас 30 человек (во всей big data мтс более 300 человек). все data инженеры разработчики поделены на группы со своими лидами. каждую неделю мы обмениваемся опытом на совместных синках. data инженеры работают в продуктах со своей автономной командой, в которой есть все роли: аналитики, ds, разработчики, девопсы, менеджеры продукта. условия: каждый месяц - аванс и зарплата, дважды в год - премия. дмс + стоматология, корпоративная связь, специальные предложения от партнеров и друзей мтс, отпуск 31 день в год. выдаем 16” macbook pro или dell на выбор. есть ли обучение? конференции, митапы. корпоративный университет мтс и масштабная виртуальная библиотека. а ещё мы регулярно обмениваемся опытом на совместных синках с лидами экспертизы какой график? гибкое начало рабочего дня в промежутке с 8 до 11. есть возможность работать несколько дней вне офиса по договоренности с командой. сколько этапов при отборе? не более трех: hr + первое тех. интервью с лидом направления тестовое задание/второе интервью - по необходимости собеседование с po и командой, выбор кандидатом проекта
Адрес
Москва