компания "лига цифровой экономики" проект по загрузке данных из источников в аналитическое хранилище в крупном банке. твои задачи: приведение существующих etl-потоков к целевой архитектуре и актуальным стандартам разработки; реализация двусторонних интеграций с новыми источниками по api и через кшд; разработка новых etl-потоков; проработка архитектуры доработок совместно с архитектором; проведение функционального тестирования совместно с аналитиком; подготовка проектной документации (часть от разработчика). что мы от тебя ждем: отличное знание sql и hql (агрегирующие функции, оконные функции, оптимизация запросов); понимание принципов работы реляционных субд и hdfs; опыт работы с hadoop и hive от 1,5 лет; знание архитектуры hdfs (партиционирование данных, форматы файлов, особенности хранение и т.д.); знание scala; опыт работы с apache airflow; умение работать с git; опыт работы с postgresql или любой другой промышленной субд; знание python (на уровне написания сложных dag-ов в apache airflow); опыт работы с детальными слоями хранилищ данных; опыт внедрения промышленного функционала плюсом будет: опыт работы с apache kafka (batch, streaming).
Адрес
Москва