компания "билайн" задачи: анализ требований к витринам данных (взаимодействие с владельцем продукта, bi-разработчиками, data scientist-ами); поиск и исследование источников данных для последующей интеграции; оценка пригодности, качества исходных данных; разработка etl процессов на spark; оркестрация etl процессов в airflow; проектирование баз данных; создание конвейеров данных nifi. в своей работе de используют следующий стек технологий: экосистема hadoop – hdfs, yarn, hive, hbase; etl-процессы – spark (scala); потоковая обработка – nifi, flink; брокер сообщений – kafka; оркестрация etl процессов – airflow; субд – postgresql, greenplum, aerospike, oracle, sql server; ci/cd – gitlab. требования: опыт разработки на spark, scala от 2 лет; знание стека: hadoop, airflow, postgresql, kafka
Адрес
Москва