компания "билайн" что и как мы делаем? мы создаем продвинутое аналитическое хранилище (data lake) по принципам data mesh. все данные мы описываем в каталоге, чтобы их можно было легко находить и переиспользовать. для каждого куска данных мы определяем владельца, который относится к ним, как к продукту. для этого в каждом подразделении должны быть люди с навыками data engineer, погруженные в предметную область. под эту задачу мы сейчас активно набираем людей. наши преимущества: мы развиваем свое сообщество de. сейчас в нем состоит 300 человек с разным уровнем навыков от junior до senior. инженеры помогают друг другу бороться с трудностями и развиваться, делятся друг с другом кодом, всякими лайфхаками; мы проводим митапы по инфраструктурным и софтовым темам. коллеги делятся опытом, помогают разобраться в востребованных темах; мы даем все инструменты для обучения и развития (в том числе, платные). конференции, подписки, книги, курсы – все что помогает расти профессионально; мы даем возможность выбрать удобный формат работы: удаленный или гибридный. типовые задачи de: анализ требований к витринам данных (взаимодействие с владельцем продукта, bi-разработчиками, data scientist-ами); поиск и исследование источников данных для последующей интеграции; оценка пригодности, качества исходных данных; разработка etl процессов на spark; оркестрация etl процессов в airflow; проектирование баз данных; создание конвейеров данных nifi. мы понимаем, что каждый de индивидуален. поэтому даем описание как бы выглядел идеальный кандидат. de в билайн: любит работать в команде и умеет это делать; знает sql на высоком уровне (в т. ч. ddl, табличные выражения, оконные функции); работал с hive, postgresql; умеет разрабатывать etl процессы spark на scala (потоковая обработка как преимущество); пользовался airflow или другими оркестраторами – oozie, luigi, ну или cron; может что-то написать на python – в объеме чтобы пользоваться airflow или еще круче; имеет опыт потоковой разработки конвейеров данных в nifi или flink; интересуется flink, пробовал применять его в проектах; умеет проектировать базы данных (знает data vault 2.0 например); понимает принципы работы реляционных субд и hdfs; имеет представление о колоночных и nosql субд; понимает подходы к работе с качеством данных; применяет системный подход к работе, думает о конечной бизнес-задаче, мыслит логически, уделяет внимание деталям. наши проекты у нас все организовано в виде продуктов, имеющих бесконечный срок жизни. продуктов очень много – несколько сотен. если делить их по группам – получится так: клиентский опыт: обобщаем все клиентские взаимодействия с компанией в одну историю, под одним универсальным идентификатором; прогнозируем и корректируем общую выручку от клиента на всем периоде жизни с компанией; боремся с фродом на стороне клиентских устройств сотовой связи; предсказываем отток и next-best-action для клиентов. управление оборудованием и качеством услуг связи: собираем и анализируем метрики качества предоставления связи; выполняем интеллектуальное планирование постройки базовых станций; осуществляем предиктивное обслуживание оборудования. для продуктовых команд: создаем для себя фреймворки и утилиты; развиваем сервис мониторинга как единую точку сбора и просмотра метрик. стек и технологии в своей работе de используют следующий стек технологий: экосистема hadoop – hdfs, yarn, hive, hbase; etl-процессы – spark (scala); потоковая обработка – nifi, flink; брокер сообщений – kafka; оркестрация etl процессов – airflow; субд – postgresql, greenplum, aerospike, oracle, sql server; ci/cd – gitlab. присоединяйся к лучшей команде в качестве data engineer!
Адрес
Москва