компания "«газпромбанк» (акционерное общество)" разработчик etl framework команде предстоит большой блок работ по строительству новой платформы данных на базе greenplum, hdfs/s3, clickhouse, tarantool, с запуском elt фреймворка на стэке airflow, nifi, dbt, spark, kafka, python, sql. плюс гейт в компоненты и практики data governance, data quality, dataops (ci/cd).чем вам предстоит заниматься:– разработка/внедрение elt фреймворка (автоматизация процессов трансформации данных между hdfs/s3, greenplum, clickhouse, tarantool). развитие функциональности, оптимизация (необходима высокая скорость обработки большого объема данных);– интеграция elt с фреймворками контроля качества, каталогом метаданных. (datastore, featurestore и datalinage)– настройка мониторинга. разработка компонент анализа производительности и мониторинга elt;– участие в выборе технологий, компонентов, архитектуры решений;– создание etl процессов в рамках созданного framework– review работ коллег, внешних подрядчиков;– пилотирование выбора фреймворка, модулей интеграционного взаимодействиячто ожидаем от кандидата:– опыт работы с промышленным etl/elt решением, опыт работы/создания etl/elt фреймворка;– опыт оптимизации и настройки производительности etl/elt компонент;– опыт разработки apache airflow, apache nifi, apache spark (pyspark framework);– опыт ооп разработки на python;– опыт работы, понимание особенностей современных субд;– опыт разработки, оптимизации sql-процедур и запросов;будет плюсом:– понимание особенностей работы с mpp решениями greenplum, clickhouse, hadoop (hive/impala;– опыт интеграции etl/elt фреймворка с datastore, featurestore и datalinage компонентами;– опыт автоматизации командной разработки: ci/cd, git, jira, автотесты, … .– опыт работы с dbt;условия:созидательная среда и интересные проектыработа в команде профессионалов. неравнодушных, активных, ответственных за свой результат.конкурентная заработная плата и система премирования.привлекательный социальный пакет:медицинская страховка с первого дня работыотпуск 33 календарных дняматериальная помощь и дополнительные выплатыдисконтные и корпоративные программы компаний-партнеровобширные возможности для всестороннего развития и расширения кругозора сотрудников:программы по развитию профессиональных знаний, личных качеств, управленческих компетенций-гпбинтеллекторий, квизы, спартакиада, программы трансформации духа, разума и силы – лайфхаки от гуру в различных областях:-знакомство и обмен опытом с коллегами из других подразделений и других городов-танцы, занятия по вокалу, актерскому мастерству – это только малая часть айсберга корпоративно-культурной жизни, предлагаемой сотрудникам.комфортные условия работыготовы предложить удаленный или гибридный формат работы.
Адрес
Москва