Data Engineer, инфраструктура, обработка и хранение данных

компания "ozon" команда de-infra занимается разработкой инструмента управления главного двигателя автоматизации в компании ozon – airflow, по модели airflow as a service, а также разработкой инструмента интеграции данных. мы помогаем нашим пользователям разрабатывать пайплайны движения данных и предосталяем им окружение для работы. в процессе работы мы используем практики devops, разнообразные инструменты и технологии: python, kubernetes, airflow, hadoop, spark, mysql, postgresql, vertica, clickhouse, prometheus, hive, kafka, grafana, git, helm. наш стек: python; vertica, ms sql, clickhouse, hadoop (hadoop3, hdfs, yarn, hive) и др.; airflow (celery executor, k8s); gitlab ci/cd, kubernetes; kafka, prometheus, grafana; gitlab, git. вам предстоит: поддержка пользователей в контексте подвоза данных: реакция, анализ проблемы, фикс или задача на фикс; анализ возникающих проблем: мониторинг, алертинг, анализ логов сервисов, анализ и чтение логов подов в k8s, анализ метрик бд и сервисов; помощь пользователям в оптимизации запросов, таблиц и загрузок в бд verica; airflow: написание/рефакторинг обобщенного кода для привоза данных; рефакторинг дагов airflow; реализация фабрики airflow: сетап, грейсфул апдейт; поддержка работоспособности airflow: введение метрик, борды, алертов; развитие airflow: кастомные операторы, common code; внедрение dev/stage контура airflow, локальная отладка, e2e тесты; документирование разрабатываемых решений; проведение code review; развивать базу знаний по работе с базой данных для бизнес-пользователей. мы ожидаем: уверенное владение python; опыт работы с airflow (celery executor, k8s); опыт работы с аналитическими бд (vertica/greenplum/bigquery/redshift/synapse); опыт работы с субд (postgre sql/ms sql); опыт работы с kubernetes, git; опыт работы с kv-хранилищами. будет плюсом: опыт работы с kafka, prometheus, grafana; владение scala; опыт работы с hadoop (hdfs, yarn, hive). мы предлагаем: динамичный и быстроразвивающийся бизнес, ресурсы, возможность сделать вместе сделать лучший продукт на рынке e-commerce; свободу действий в принятии решений; достойный уровень заработной платы; профессиональную команду, которой мы гордимся; возможность развиваться вместе с нашим бизнесом.