ETL разработчик Hadoop (Решения для моделирования)

Чем ты будешь заниматься: реализацией интеграций в гетерогенной среде с помощью Python/Spark; ETL; Применением моделей в Openshift; Работа с Airflow, написание кастомных операторов, формирование дагов; Оптимизацией дагов; контейнеризация процессов загрузки/выгрузки данных; Оптимизацией существующего кода; Базовые знания работы Kerberos; Развертыванием, поддержкой, внедрением DevOps инструментов; Разработкой и поддержкой платформы исполнения моделей. Какие знания и навыки для нас важны: Опыт реализации интеграции в гетерогенных средах; Понимание и опыт работы со средствами экосистемы технологий Hadoop; Знание Python /Scala(Spark); Знание Apache Airflow; Знание Apache Kafka; Знание Docker; Опыт решения ETL/data engineering задач. Как преимущество: Знание Java; Приветствуется опыт работы с REST сервисами; Разработка микросервисов для внутренних инфраструктурных задач; Опыт работы с Grafana, разработка мониторинга на Grafana; Опыт работы с ELK; Опыт построения Devops-инфраструктуры; Знание и опыт администрирования Linux-систем; Опыт работы с Openshift\Kubernetes; Понимание концепций построения CI/CD, опыт проектирования и построения CI/CD pipeline, управление процессом сборки и развертывания ПО; Опыт построения фреймворков с нуля.