Обязанности: Создавать потоки для пакетной транспортировки данных (ETL/ELT) посредством ПО InformaticaPowerCenter и технологий Apache Spark и Apache Airflow Развивать потоки для потоковой транспортировки данных (Streaminig) посредством технологий Apache Kafka и Apache Structured Streaming Реализовывать оптимальный код с учетом SLA для решения бизнес-задач в виде проектов Python и SQL на платформе Apache Hadoop с помощью технологий Apache Spark, Apache Livy, Apache Hive Развивать и оптимизировать существующие процессы в системе управления задачами и балансировке нагрузки с помощью Python и Apache Airflow Работать с версионным хранилищем кода и сложными процессами непрерывной интеграции и доставки кода на прод (CI/CD GitLab) - работать с существующими процессами в различных СУБД (Teradata, Postgres, Oracle, Redis) Поддерживать в актуальном состоянии документацию проекта Проводить проверку кода младших специалистов Работать с serverless сервисами в облаке (Yandex Cloud, Microsoft Azure) и системами упаковки ПО (Docker, K8S) Наши ожидания: Стек технологий: SQL, Python, Linux, Docker, Cloud, Apache (Spark, Hive, Airflow) Опыт работы с Hadoop и другими СУБД Опыт работы в курирование командой и постановкой задач Условия: График работы 5/2 с гибким началом Возможность работать в офисе в Москве и удаленно Оформление по ТК РФ, оплачиваемые больничные и отпуска Развитие – мы оплачиваем обучение на курсах/конференциях Дружескую атмосферу и поддержку команды профессиональных и активных коллег
Адрес
Москва