Дата Инженер

Наша команда создает информационную платформу для решения аналитических и исследовательских задач в области создания продуктов и услуг на мировых финансовых рынках: торговля валютой, ценными бумагами, производными финансовыми инструментами. Этот бизнес потребляет и порождает огромное количество данных, которые должны обрабатываться c целью: ∙ Разработки витрин данных и моделей машинного обучения ∙ Поддержки регулярных бизнес-операций ∙ Проведения Ad hoc анализа ∙ Подготовки регулярной аналитической и управленческой отчетности Разрабатываемая нами информационная платформа – высоконагруженное решение, призванное обеспечить достижение всех этих целей. Обязанности Проектирование и разработка корпоративной аналитической платформы (ПКАП) Системная разработка, поддержка и оптимизация ETL-процессов и ML-моделей (MLOps) на платформах Greenplum и Hadoop R&D, реализация пилотов по выбору технологий и решений Поддержка промышленной эксплуатации разработанных решений Проведение презентаций и обучения процессам в ПКАП членов продуктовых команд Поддержание технической документации в актуальном состоянии Требования Опыт промышленной разработки на python (ETL-процессы Airflow) Опыт с экосистемой Hadoop (HDFS, Hive, Impala, Spark, Oozie, ...) Опыт работы с CI/CD решениями на базе Jenkins и Bitbucket/Git Опыт работы с популярными РСУБД (Greenplum, Teradata, Oracle, MSSQL) Знание SQL, PL/SQL Знание основ администрирования ОС Linux Понимание построения хранилищ данных (DWH) Будет плюсом: Опыт программирования на Java/Scala Создание моделей машинного обучения, прохождение курсов по машинному обучению Понимание основ облачных технологий и технологий виртуализации и контейнеризации Практический опыт с автоматизацией развертывания ПО Опыт администрирования РСУБД