ETL разработчик Hadoop (Решения для моделирования)

компания "иннотехнум, группа компаний" чем ты будешь заниматься: реализацией интеграций в гетерогенной среде с помощью python/spark; etl; применением моделей в openshift; работа с airflow, написание кастомных операторов, формирование дагов; оптимизацией дагов; контейнеризация процессов загрузки/выгрузки данных; оптимизацией существующего кода; базовые знания работы kerberos; развертыванием, поддержкой, внедрением devops инструментов; разработкой и поддержкой платформы исполнения моделей. какие знания и навыки для нас важны: опыт реализации интеграции в гетерогенных средах; понимание и опыт работы со средствами экосистемы технологий hadoop; знание python /scala(spark); знание apache airflow; знание apache kafka; знание docker; опыт решения etl/data engineering задач. как преимущество: знание java; приветствуется опыт работы с rest сервисами; разработка микросервисов для внутренних инфраструктурных задач; опыт работы с grafana, разработка мониторинга на grafana; опыт работы с elk; опыт построения devops-инфраструктуры; знание и опыт администрирования linux-систем; опыт работы с openshift\kubernetes; понимание концепций построения ci/cd, опыт проектирования и построения ci/cd pipeline, управление процессом сборки и развертывания по; опыт построения фреймворков с нуля.