Middle/Senior Data Engineer

Мы — Wildberries. Мы — это крупнейший маркетплейс Европы, 30 млн пользователей ежедневно и технологические задачи, у которых нет аналогов. Наша компания стабильно развивается и работает в усиленном режиме: использует современный стек и новейшие технологии, разрабатывает множество новых hi-tech продуктов. В связи с желанием усилить текущую команду мы находимся в поиске Data Engineer для работы над продуктом: аналитическое хранилище Wildberries. Предстоящие задачи: Участие в проекте построения DWH на базе СУБД Greenplum и Clickhouse. Создание и доработка ETL процессов загрузки, трансформации данных и формирования витрин. Реализация и развитие микросервисов импорта\экспорта данных из\в DWH (CI\CD, gitlab, k8s). Развитие процессов управления данными и их качеством. Развитие системы мониторинга данных и инфраструктуры. Проектирование экспериментов, проверка концепций\гипотез полезности данных для различных задач. Требования: Наличие опыта работы с БД Greenplum, PostgreSQL. Понимание принципов работы БД: оптимизация запросов, планы выполнения, индексы, join. Опыт работы с ETL инструментами SSIS\Airflow. Понимание принципов построения ХД. Понимание принципов ООП и знание Python. Опыт работы с Linux: docker, bash. Будет большим преимуществом: Знание микросервисной архитектуры, Kubernetes. Опыт работы с s3\ceph. Знание Flink. Опыт работы с SSAS MDX\DAX. Мы предлагаем: Гибридный график работы с гибким началом рабочего дня (возможно обсуждение удаленной занятости с периодическими приездами в офис). Достойное вознаграждение: «в рынке» и даже чуть интереснее. Корпоративные скидки у партнеров компании. Работу над интересными проектами, которые прокачают ваши технические навыки и аналитическое мышление. Интересные и амбициозные задачи, дающие ощущение причастности к значимому делу, которым можно гордиться.