компания "x5 retail group" в команде etl x5 технологии открыта позиция dwh разработчикнаш стек: apache nifi, apache airflow, kafka, hadoop, hive, greenplum на данный момент, у нас несколько кластеров субд greenplum общий емкостью более 100 терабайт и кластер hadoop общей емкостью 6 петабайт. команда разработки/развития dwh отвечает за прогрузку данных из кластера hadoop в субд greenplum. построение основных слоёв хранилища по методу моделирования данных - data vault. проверку архитектурных гипотез на практике и выработку предложений по выбору инструментов для наиболее эффективной реализации задач. результат нашей работы - стабильно работающее хранилище, удовлетворяющее потребностям заказчиков и техническим веяниям времени. чем предстоит заниматься: проектирование и разработка потоков данных на etl/elt инструментах; имплементация кастомных трансформаций; проектирование и построение прототипов, витрин; анализ производительности, масштабирование существующих систем; оптимизация sql запросов и структур баз данных; разработка процедур на языке pl/pgsql; развитие архитектуры dwh, анализ и выбор оптимальных технологий, методологий, инструментов; создание и актуализация базы знаний для пользователей dwh; контроль работы внешних подрядчиков. наш кандидат: знание принципов построения хранилищ данных; понимание архитектур mpp систем; опыт работы с экосистемой hadoop/ навыки data engineer (hdfs/yarn/spark/kafka/nifi/sqoop/flume и т.д.); знание sql (ddl, dml), опыт оптимизации запросов; опыт работы с greenplum, либо отличное знание postgresql; опыт разработки на python; практический опыт работы с sas dis/informatica powercenter; опыт использования систем ведения проектов и документации, сопровождения и мониторинга информационных систем, находящихся в зоне ответственности; навык работы с git, jira, confluence. мы предлагаем: работаем удаленно, но если хочется в офис, то есть возможность выбрать гибридный вариант работы; гибкий график работы; оформление по тк рф с официальной заработной платой; возможность обучаться и сертифицироваться за счет компании: очные мастер-классы, платформы онлайн - образования, электронная библиотека; бонусная программа: дмс со стоматологией, консультации психолога, страхование жизни и выезжающих за рубеж, скидки в магазинах сети х5, скидки от компаний-партнеров на prime-zone.
Адрес
Москва