Разработчик Python, Инфраструктура, Хранение и обработка данных

компания "ozon" команда de-infra занимается разработкой инструмента управления главного двигателя автоматизации в компании ozon – airflow, по модели airflow as a service, а также разработкой инструмента интеграции данных. мы помогаем нашим пользователям разрабатывать пайплайны движения данных и предосталяем им окружение для работы. в процессе работы мы используем практики devops, разнообразные инструменты и технологии: python, kubernetes, airflow, hadoop, spark, mysql, postgresql, vertica, clickhouse, prometheus, hive, kafka, grafana, git, helm. наш стек: • python • vertica, ms sql, clickhouse, hadoop (hadoop3, hdfs, yarn, hive) и др. • airflow (celery executor, k8s) • gitlab ci/cd, kubernetes • kafka, prometheus, grafana • gitlab, git вам предстоит: • анализ возникающих проблем: мониторинг, алертинг, анализ логов сервисов, анализ и чтение логов подов в k8s, анализ метрик бд и сервисов • airflow: написание/рефакторинг обобщенного кода для привоза данных • рефакторинг дагов airflow • реализация фабрики airflow: сетап, грейсфул апдейт • поддержка работоспособности airflow: введение метрик, борды, алертов • развитие airflow: кастомные операторы, common code • внедрение dev/stage контура airflow, локальная отладка, e2e тесты • документирование разрабатываемых решений • проведение code review мы ожидаем: • уверенное владение python • опыт работы с airflow (celery executor, k8s) • опыт работы с субд (postgre sql/ms sql) • опыт работы с kubernetes, git мы предлагаем: • динамичный и быстроразвивающийся бизнес, ресурсы, возможность сделать вместе сделать лучший продукт на рынке e-commerce • свободу действий в принятии решений • достойный уровень заработной платы • профессиональную команду, которой мы гордимся • возможность развиваться вместе с нашим бизнесом