компания "альфа-банк" в команду развития платформы datalake ищем инженера данных, который не боится вносить новые идеи в подходы разработки надежной и гибкой платформы для решения передовых бизнес-задач в развитии альфа-банка. наша задача - реализовать гибридную платформу данных, предоставляющую возможность хранения данных, как on-premise (на стэке hadoop), так и в “облаке”, позволяющую максимально эффективно отвечать запросам контрагентов. в работе мы используем следующий стэк: gitlab, docker, kubernetes, yarn, hdfs, hive, impala, apache airflow, apache spark, apache flink, apache beam, apache griffin, alation. чем предстоит заниматься: разработка и поддержка пайплайнов обработки данных (на базе apache airflow, apache spark, apache beam) развитие сервисов контроля качества данных платформы datalake (на базе apache griffin, apache spark) разработка и развитие гибридного хранилища данных (на базе стэка hadoop on-premise, yandex.cloud и microsoft azure) что мы от тебя ждем: опыт работы c кластерным по, распределёнными файловыми системами, понимание принципов кластеризации опыт работы с реляционными базами данных mysql, oracle. уверенное использование языка sql опыт разработки etl-пайплайнов на apache airflow / apache oozie опыт программирования на java, scala, python будет плюсом что предлагаем работу в офисе с частичной удаленкой для кандидатов из москвы. удаленный формат работы для кандидатов из других городов. работа в команде экспертов в своей области современный стек, передовая инфраструктура наличие квартальной премии, пятница - сокращенный рабочий день 10 дней 100% оплаты больничного, корпоративный тренажерный зал (м. технопарк) расширенный дмс, скидки для родственников дисконт-программы от компаний партнеров удобное рабочее место: современный офис находится в банковском кластере в 3-х минутах от м. технопарк.
Адрес
Москва