Cтек: Airflow, HDFS, Postgres, Kafka, Docker, Jira, Confluence, GitLab;Azure Stack (Data Factory, Databricks, Azure SQL Database, Azure SQL Data Warehouse)Языки: Python, PySpark, SQLОбязанности: Разработка и поддержка ETL/ELT пайплайнов для сбора и обработки данных из новых источников с мониторингом и логированием; Оптимизация/изменение существующих пайплайнов; Обеспечение SLA, контроля качества и полноты данных (ручные и автоматические DQ тесты); Формулирование требований к новым источникам данных и интегрирование их в существующие модели данных; Построение, оптимизация/автоматизация подготовки витрин данных для отчетности ; Быть ключевой точкой контакта между аналитиком данных / дата стюардом / архитектором решений и владельцами продуктов данных; Предоставление экспертной поддержки; Документирование разработанных решений; Требования: От 3-х лет лет профессионального опыта в качестве инженера данных / инженера хранилища данных; Опыт работы с облачными платформами Microsoft Azure / Yandex Cloud Platform больше 2ух лет Опыт и понимание устройства Big Data технологий (Hadoop, Spark, Kafka и т. д.); Уверенное знание Python (включая библиотеки для парсинга и обработки данных) и SQL; Подтвержденный опыт работы с Airflow в реальных проектах; Опыт обработки объемных файлов (json, csv); Понимание основных концепций DWH; Понимание основных принципов работы с Git; Чтение технической документации на английском языке Способность писать чистый, оптимальный код, который легко поддерживать и тестировать; Стремление к саморазвитию и изучению новых технологий и инструментов; Готовность принимать решения и брать на себя ответственность; Сильные устные и письменные коммуникативные навыки; Будет плюсом: Опыт работы дата инженером в FMCG компаниях Опыт работы с данными на Scala Построение предметно ориентированного хранилища по методологии Data Mesh Условия: Интересные проекты, в том числе международные Добровольное медицинское страхование Корпоративный английский язык Оформление по ТК РФ(Возможна проектная занятость) Конкурентную и официальную ЗП Современный офис, в 5 минутах пешком от метро Автозаводская(возможно удаленное сотрудничество) Молодую и энергичную команду
Адрес
Москва