Инженер данных (Эксперт Департамента развития аналитических систем)

Мы развиваем аналитическое хранилище данных, используя лучшие практики. Не просто собираем и обрабатываем данные - команда является держателем бизнес-смыслов в сложной предметной области. Помогаем принимать взвешенные отраслевые решения на основе данных. С чем мы работаем: Стек: реляционные БД; ядро DWH Vertica, десятки различных источников; ETL Airflow; много кастомной автоматизации на Python (включая вебсервисы, боты, парсинг внешних сайтов); деплой docker, jenkins, git/SNV. Особенности процессов: основной процесс загрузки работает несколько раз в сутки по появлении инкремента; загрузка - ELT с иногда нетривиальными трансформациями; специфическая предметная область электроэнергетики; являемся бизнес-аналитиками хранилища при помощи аналитиков систем-источников; тесное взаимодействие внутри команды с аналитиками данных, специалистами по оптимизации и моделированию; раскатываем код сами, базовые инженерные вещи на нас, по сложным техническим вопросам есть возможность консультаций погруженного подрядчика. Что предстоит делать: Ориентировочное распределение направлений: Доли очень примерные, могут смещаться в сторону наибольших интересов/следовать за командными проектами: 40% доработки ETL (изменение в системах-источниках, запросы от пользователей); 25% доработки утилит ETL, автоматизация процессов, рефакторинг; 20% мониторинг и поддержка существующих процессов автоматизации, качества данных в хранилище; 15% участие в смежных проектах. Какие знания пригодятся: Обязательные знания и навыки: Python ядро + библиотеки для работы с данными; SQL на хорошем уровне (сложные запросы, оптимизация, оконные вычисления); знакомство с системами на linux. Будет большим плюсом опыт работы с: Airflow; СУБД Vertica; разработкой хранилищ данных; документацией. Что у нас: Условия: открытые коммуникации, система наставничества, молодой дружный коллектив; работаем преимущественно удалённо, из РФ; стабильная компания, включена в перечень IT-компаний Минцифры; официальное оформление по ТК + ДМС.