Выполнение аналитики по данным (Витрины данных, Хранилище данных, системы- источники данных) в процессах команды "DDS/КИБ/СМБ". Анализ причин, которые привели к построению ошибок качества данных. Разработка контролей по Качеству данных и создание инцидентов Качества данных. Вместе с нами ты будешь: Выполнение функциональных обязанностей в рамках проекта по Миграции Платформ Данных (Arenadata Hadoop) Обеспечение загрузки необходимых данных в Data Lake или необходимые витрины данных Проектирование и разработка, тестирование и внедрение ETL процессов, используя ETL Framework и конвейер данных Реализация различных интеграций в гетерогенной среде с помощью Python/Spark Оптимизация существующего кода и используемых платформ Конфигурация потоков данных из систем источников, их мониторинг, своевременную модификацию, оптимизацию Оптимизация конвейера данных и ETL-процессов для поддержания процессов проверки качества данных Контейнеризация процессов загрузки/выгрузки данных в Data Lake Какие знания и навыки для нас важны: Опыт работы в роли разработчика на стеке Hadoop не менее 2-х лет Опыт разработки приложений с использованием инструментария экосистемы Hadoop (Spark streaming, Hbase, Spark SQL, KAfka, Hive, Impala, Hue и т.д.) Опыт разработки на Java / Python / Spark / Scala Понимание принципов модели распределенных вычислений Опыт разработки ETL / Self service ETL процессов по наполнению данными Data Lake, формирование витрин данных на Hadoop желателен Опыт решения ETL/data engineering задач Опыт реализации интеграции в гетерогенных средах Навыки работы с системами контроля версий / репозиториями кода на основе Git Успешный опыт работы в команде от 7 человек Понимание методологий Agile/Scrum Знание Unix/Linux, навыки работы в shell Опыт развертывания Linux серверов/ контейнеров, использования скриптовых языков (Bash) как преимущество Базовые знания работы kerberos как преимущество Знание и опыт работы с инструментами DevOPS рассматривается как преимущество
Адрес
Москва