компания "masterdata" cтек: airflow, hdfs, postgres, kafka, docker, jira, confluence, gitlab;azure stack (data factory, databricks, azure sql database, azure sql data warehouse)языки: python, pyspark, sqlобязанности: разработка и поддержка etl/elt пайплайнов для сбора и обработки данных из новых источников с мониторингом и логированием; оптимизация/изменение существующих пайплайнов; обеспечение sla, контроля качества и полноты данных (ручные и автоматические dq тесты); формулирование требований к новым источникам данных и интегрирование их в существующие модели данных; построение, оптимизация/автоматизация подготовки витрин данных для отчетности ; быть ключевой точкой контакта между аналитиком данных / дата стюардом / архитектором решений и владельцами продуктов данных; предоставление экспертной поддержки; документирование разработанных решений; требования: от 3-х лет лет профессионального опыта в качестве инженера данных / инженера хранилища данных; опыт работы с облачными платформами microsoft azure / yandex cloud platform больше 2ух лет опыт и понимание устройства big data технологий (hadoop, spark, kafka и т. д.); уверенное знание python (включая библиотеки для парсинга и обработки данных) и sql; подтвержденный опыт работы с airflow в реальных проектах; опыт обработки объемных файлов (json, csv); понимание основных концепций dwh; понимание основных принципов работы с git; чтение технической документации на английском языке способность писать чистый, оптимальный код, который легко поддерживать и тестировать; стремление к саморазвитию и изучению новых технологий и инструментов; готовность принимать решения и брать на себя ответственность; сильные устные и письменные коммуникативные навыки; будет плюсом: опыт работы дата инженером в fmcg компаниях опыт работы с данными на scala построение предметно ориентированного хранилища по методологии data mesh условия: интересные проекты, в том числе международные добровольное медицинское страхование корпоративный английский язык оформление по тк рф(возможна проектная занятость) конкурентную и официальную зп современный офис, в 5 минутах пешком от метро автозаводская(возможно удаленное сотрудничество) молодую и энергичную команду
Адрес
Москва