Нашей Команде предстоит большой блок работ по строительству новой платформы данных на базе GreenPlum, HDFS/S3, ClickHouse, Tarantool, с запуском ELT фреймворка на стэке Airflow, Nifi, DBT, Spark, Kafka, Python, SQL. Плюс гейт в компоненты и практики Data Governance, Data Quality, DataOps (CI/CD). Чем Вам предстоит заниматься:– Разработка/Внедрение ELT фреймворка (автоматизация процессов трансформации данных между HDFS/S3, GreenPlum, ClickHouse, Tarantool). Развитие функциональности, оптимизация (необходима высокая скорость обработки большого объема данных);– Интеграция ELT с фреймворками контроля качества, каталогом метаданных. (datastore, featurestore и datalinage);– Настройка мониторинга. Разработка компонент анализа производительности и мониторинга ELT;– Участие в выборе технологий, компонентов, архитектуры решений;– Создание ETL процессов в рамках созданного framework;– Review работ коллег, внешних подрядчиков;– Пилотирование выбора фреймворка, модулей интеграционного взаимодействия. Что ожидаем от кандидата:– Опыт работы с промышленным ETL/ELT решением, опыт работы/создания ETL/ELT фреймворка;– Опыт оптимизации и настройки производительности ETL/ELT компонент;– Опыт разработки Apache Airflow, Apache Nifi, Apache Spark (PySpark Framework);– Опыт ООП разработки на Python;– Опыт работы, понимание особенностей современных СУБД;– Опыт разработки, оптимизации SQL-процедур и запросов;Будет плюсом:– Понимание особенностей работы с MPP решениями GreenPlum, ClickHouse, Hadoop (Hive/Impala);– Опыт интеграции ETL/ELT фреймворка с datastore, featurestore и datalinage компонентами;– Опыт автоматизации командной разработки: CI/CD, git, Jira, автотесты; … .– Опыт работы с DBT;Условия:Созидательная среда и интересные проектыРабота в команде профессионалов. Неравнодушных, активных, ответственных за свой результат.Конкурентная заработная плата и система премирования.Привлекательный социальный пакет:медицинская страховка с первого дня работыотпуск 33 календарных дняматериальная помощь и дополнительные выплатыдисконтные и корпоративные программы компаний-партнеровОбширные возможности для всестороннего развития и расширения кругозора сотрудников:программы по развитию профессиональных знаний, личных качеств, управленческих компетенций-ГПБИнтеллекторий, КВИЗы, Спартакиада, программы Трансформации Духа, разума и силы – лайфхаки от гуру в различных областях:-знакомство и обмен опытом с коллегами из других подразделений и других городов-танцы, занятия по вокалу, актерскому мастерству – это только малая часть айсберга корпоративно-культурной жизни, предлагаемой сотрудникам.Комфортные условия работыГотовы предложить удаленный или гибридный формат работы.
Адрес
Москва