Ведущий разработчик баз данных DWH/ETL/Data engineer( DPD в России )

компания "dpd в россии" ведущего разработчика хранилищ данных в департамент по управлению данными крупной логистической компании требуется ведущий разработчик хранилищ данных для построения централизованной платформы данных. это продуктово-ориентированная команда с функциями развития новых технологических направлений, отражающих современный подход компании к данным и их дальнейшему использованию (аналитика/bi, machine learning). команда занимается развитием продуктового стека на базе решений mpp и его непрерывной интеграцией в ит-ландшафт компании. у нас дружный коллектив профессионалов в области управления и обработки данных. чем предстоит заниматься: создание хранилища данных и data lake одного из крупнейших логистических операторов россии; разработка алгоритмов преобразования и анализа данных с использованием mpp субд vertica, apache airflow и инструментов экосистемы hadoop для обработки больших данных; проведение предпроектных обследований (определение объема работ, продолжительности работ, ресурсов для их выполнения); самостоятельная разработка и проектирование потоков данных, алгоритмов загрузки и обработки данных в аналитическую бд и hadoop; оценка кода и предложение по улучшению архитектуры и используемых инструментов в рамках стратегии развития платформы данных; оптимизация и настройка производительности etl-процессов; документирование разработанного кода. что мы ждем от кандидата: уверенные знания sql и принципов работы реляционных бд; опыт оптимизации производительности запросов; опыт работы с промышленными etl; опыт корпоративной разработки на python. будет плюсом: знакомство с архитектурой mpp баз данных, в том числе с колоночным хранением (vertica, greenplum); знакомство с apache airflow; знакомство с экосистемой hadoop (hdfs, hive, spark). мы предлагаем: возможность работать удаленно; интересные задачи и опытную команду; комфортные и стабильные условия для работы; возможности для профессионального роста; рабочий график 9:30—18:00 (может смещаться); в пятницу до 16:00 оформление по тк рф. оклад белый; также есть офис: г. москва, ул.электрозаводская (7 мин от метро преображенская площадь или 15 мин от метро электрозаводская). есть парковка.