Data Engineer, Платформа, Обработка и хранение данных

компания "ozon" команда de platform строит инструменты интеграции данных, которые выступают как мост между бизнесом и bi. эти данные используются во множестве процессов внутри компании. экспертиза команды также позволяет решать нетривиальные задачи по гарантиям доставки, технологическому развитию как инструментов, так и инфраструктуры вокруг. наш стек: java, scala vertica, ms sql, clickhouse, hadoop (hadoop3, hdfs, yarn, hive) и др. airflow gitlab ci/cd, kubernetes kafka,prometheus, grafana gitlab, git вам предстоит: создание и развитие существующих инструментов на базе hadoop (hadoop3, hdfs, yarn, hive) разработка spark приложений для обработки данных поддержка и развитие существующих решений внедрение полноценного dev/stage контура для сервисов внедрение/рефакторинг e2e тестирования сервисов участие в проектировании архитектуры разрабатываемых решений участие в выборе используемых технологий и компонентов внедрение и сопровождение технических решений документирование разрабатываемых решений проведение code review мы ожидаем: уверенное владение java опыт работы с hadoop (hdfs, yarn, hive) опыт разработки многопоточных приложений опыт работы с субд (postgre sql/ms sql) опыт работы с аналитическими бд (vertica/greenplum/bigquery/redshift/synapse) опыт работы с kubernetes, kafka, git опыт работы с kv-хранилищами будет плюсом: опыт работы с prometheus, grafana опыт работы со scala опыт работы с airflow (celery executor, k8s) мы предлагаем: динамичный и быстроразвивающийся бизнес, ресурсы, возможность вместе сделать лучший продукт на рынке e-commerce свободу действий в принятии решений достойный уровень заработной платы профессиональную команду, которой мы гордимся возможность развиваться вместе с нашим бизнесом