Обязанности: Анализ требований к витринам данных в рамках взаимодействия с внутренними заказчиками. Создание витрин данных. Проектирование высокодоступных и высоконагруженных процедур как пакетной так и потоковой обработки данных. Поиск и исследование источников данных для последующей интеграции. Оценка пригодности, качества исходных данных. Разработка ETL процессов на Spark. Оркестрация ETL процессов в Airflow. Проектирование баз данных. Создание конвейеров данных NiFi. Требования: Знание SQL на высоком уровне (в т.ч. DDL, табличные выражения, оконные функции). Опыт работы с Hive,SQL Server, Oracle, PostgreSQL. Опыт разработки ETL процессов Spark. Опыт работы с оркестраторами (AirFlow, Oozie etc.). Опыт потоковой разработки конвейеров данных в NiFi или Flink. Опыт работы с брокерами сообщений Kafka или RabbitMQ. Опыт программирования на Java / Scala или Python Понимание принципов работы реляционных СУБД и HDFS. Понимание принципов работы колоночных и NoSQL СУБД.
Адрес
Москва