Data engineer

Что и как мы делаем? Мы создаем продвинутое аналитическое хранилище (Data Lake) по принципам Data Mesh. Все данные мы описываем в каталоге, чтобы их можно было легко находить и переиспользовать. Для каждого куска данных мы определяем владельца, который относится к ним, как к продукту. Для этого в каждом подразделении должны быть люди с навыками data engineer, погруженные в предметную область. Под эту задачу мы сейчас активно набираем людей. Что для нас важно? Постоянное развитие – одно из условий успеха в компании. У нас для этого есть все условия: периодическая оценка знаний и навыков, система обучения. Наши преимущества: Мы развиваем свое сообщество DE. Сейчас в нем состоит 300 человек с разным уровнем навыков от Junior до Senior. Инженеры помогают друг другу бороться с трудностями и развиваться, делятся друг с другом кодом, всякими лайфхаками; Мы проводим митапы по инфраструктурным и софтовым темам. Коллеги делятся опытом, помогают разобраться в востребованных темах; Мы даем все инструменты для обучения и развития (в том числе, платные). Конференции, подписки, книги, курсы – все что помогает расти профессионально; Мы даем возможность выбрать удобный формат работы: удаленный или гибридный. Типовые задачи DE: Анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами); Поиск и исследование источников данных для последующей интеграции; Оценка пригодности, качества исходных данных; Разработка ETL процессов на Spark; Оркестрация ETL процессов в Airflow; Проектирование баз данных; Создание конвейеров данных NiFi. Мы понимаем, что каждый DE индивидуален. Поэтому даем описание как бы выглядел идеальный кандидат. DE в Билайн: Любит работать в команде и умеет это делать; Проработал от 2 лет и более в таких областях как: коммуникационные технологии, безопасность, маркетинг и продажи, финансы; Знает SQL на высоком уровне (в т. ч. DDL, табличные выражения, оконные функции); Работал с Hive, PostgreSQL; Умеет разрабатывать ETL процессы Spark на Scala (потоковая обработка как преимущество); Пользовался AirFlow или другими оркестраторами – Oozie, Luigi, ну или cron; Может что-то написать на Python – в объеме чтобы пользоваться AirFlow или еще круче; Имеет опыт потоковой разработки конвейеров данных в NiFi или Flink; Интересуется Flink, пробовал применять его в проектах; Умеет проектировать базы данных (знает Data Vault 2.0 например); Понимает принципы работы реляционных СУБД и HDFS; Имеет представление о колоночных и NoSQL СУБД; Понимает подходы к работе с качеством данных; Применяет системный подход к работе, думает о конечной бизнес-задаче, мыслит логически, уделяет внимание деталям. Наши проекты У нас все организовано в виде продуктов, имеющих бесконечный срок жизни. Продуктов очень много – несколько сотен. Если делить их по группам – получится так: Клиентский опыт: обобщаем все клиентские взаимодействия с компанией в одну историю, под одним универсальным идентификатором; прогнозируем и корректируем общую выручку от клиента на всем периоде жизни с компанией; боремся с фродом на стороне клиентских устройств сотовой связи; предсказываем отток и next-best-action для клиентов. Управление оборудованием и качеством услуг связи: собираем и анализируем метрики качества предоставления связи; выполняем интеллектуальное планирование постройки базовых станций; осуществляем предиктивное обслуживание оборудования. Для продуктовых команд: создаем для себя фреймворки и утилиты; развиваем сервис мониторинга как единую точку сбора и просмотра метрик. Стек и технологии В своей работе DE используют следующий стек технологий: Экосистема Hadoop – HDFS, YARN, Hive, HBase; ETL-процессы – Spark (Scala); Потоковая обработка – NiFi, Flink; Брокер сообщений – Kafka; Оркестрация ETL процессов – Airflow; СУБД – PostgreSQL, Greenplum, Aerospike, Oracle, SQL Server; CI/CD – GitLab. Присоединяйся к лучшей команде в качестве Data Engineer!