Data Engineer, Платформа, Обработка и хранение данных

Команда DE Platform строит инструменты интеграции данных, которые выступают как мост между бизнесом и BI. Эти данные используются во множестве процессов внутри компании. Экспертиза команды также позволяет решать нетривиальные задачи по гарантиям доставки, технологическому развитию как инструментов, так и инфраструктуры вокруг. Наш стек: Java, Scala Vertica, MS SQL, ClickHouse, Hadoop (hadoop3, hdfs, yarn, hive) и др. Airflow Gitlab CI/CD, Kubernetes Kafka,Prometheus, Grafana Gitlab, GIT Вам предстоит: Создание и развитие существующих инструментов на базе Hadoop (hadoop3, hdfs, yarn, hive) Разработка spark приложений для обработки данных Поддержка и развитие существующих решений Внедрение полноценного dev/stage контура для сервисов Внедрение/рефакторинг e2e тестирования сервисов Участие в проектировании архитектуры разрабатываемых решений Участие в выборе используемых технологий и компонентов Внедрение и сопровождение технических решений Документирование разрабатываемых решений Проведение code review Мы ожидаем: Уверенное владение Java Опыт работы с Hadoop (hdfs, yarn, hive) Опыт разработки многопоточных приложений Опыт работы с СУБД (Postgre SQL/MS SQL) Опыт работы с аналитическими БД (Vertica/Greenplum/BigQuery/Redshift/Synapse) Опыт работы с Kubernetes, Kafka, git Опыт работы с KV-хранилищами Будет плюсом: Опыт работы с Prometheus, Grafana Опыт работы со Scala Опыт работы с Airflow (Celery Executor, k8s) Мы предлагаем: Динамичный и быстроразвивающийся бизнес, ресурсы, возможность вместе сделать лучший продукт на рынке e-commerce Свободу действий в принятии решений Достойный уровень заработной платы Профессиональную команду, которой мы гордимся Возможность развиваться вместе с нашим бизнесом