Руководитель группы Data Engineer, платформа интеграции данных

Команда DE Platform строит инструменты интеграции данных, которые выступают как мост между бизнесом и BI. Эти данные используются во множестве процессов внутри компании. Экспертиза команды также позволяет решать нетривиальные задачи по гарантиям доставки, технологическому развитию как инструментов, так и инфраструктуры вокруг. Наш стек: Scala Vertica, MS SQL, ClickHouse, Hadoop (hadoop3, hdfs, yarn, hive) и др. Airflow (Celery Executor, k8s); Gitlab CI/CD, Kubernetes Kafka, Prometheus, Grafana Gitlab, GIT Вам предстоит: Формирование и развитие команды (найм, менторство, мотивация), команда 5-10 человек Оперативное и стратегическое планирование разработки (спринт, месяц, квартал) Организация работы со смежными командами Внедрение практик поддержки пользователей в контексте интеграции данных: реакция, анализ проблемы, фикс или задача на фикс Внедрение практик анализа возникающих проблем: мониторинг, алертинг, анализ логов сервисов, анализ и чтение логов подов в k8s, анализ метрик БД и сервисов Оптимизация запросов, таблиц и загрузок в БД Verica и Clickhouse; AirFlow: написание / рефакторинг обобщенного кода для привоза данных Развитие и поддержка транспортов данных Архитектурное планирование развития проектов команды Мы ожидаем: Уверенное владение Scala Опыт работы с big data (Hadoop, hive, spark, kafka) Опыт работы с аналитическими БД (Vertica/Greenplum/ClickHouse) от года Опыт работы с СУБД (Postgre SQL/MS SQL) Опыт работы с Kubernetes, GIT Будет плюсом: Опыт работы с Prometheus, Grafana; Владение Java Владение Python Опыт работы с Airflow Мы предлагаем: Динамичный и быстроразвивающийся бизнес, ресурсы, возможность сделать вместе сделать лучший продукт на рынке e-commerce Свободу действий в принятии решений Достойный уровень заработной платы Профессиональную команду, которой мы гордимся Возможность развиваться вместе с нашим бизнесом