Разработчик ETL(Hadoop)( Иннотехнум, Группа компаний )

компания "иннотехнум, группа компаний" выполнение аналитики по данным (витрины данных, хранилище данных, системы- источники данных) в процессах команды "dds/киб/смб". анализ причин, которые привели к построению ошибок качества данных. разработка контролей по качеству данных и создание инцидентов качества данных. вместе с нами ты будешь: выполнение функциональных обязанностей в рамках проекта по миграции платформ данных (arenadata hadoop) обеспечение загрузки необходимых данных в data lake или необходимые витрины данных проектирование и разработка, тестирование и внедрение etl процессов, используя etl framework и конвейер данных реализация различных интеграций в гетерогенной среде с помощью python/spark оптимизация существующего кода и используемых платформ конфигурация потоков данных из систем источников, их мониторинг, своевременную модификацию, оптимизацию оптимизация конвейера данных и etl-процессов для поддержания процессов проверки качества данных контейнеризация процессов загрузки/выгрузки данных в data lake какие знания и навыки для нас важны: опыт работы в роли разработчика на стеке hadoop не менее 2-х лет опыт разработки приложений с использованием инструментария экосистемы hadoop (spark streaming, hbase, spark sql, kafka, hive, impala, hue и т.д.) опыт разработки на java / python / spark / scala понимание принципов модели распределенных вычислений опыт разработки etl / self service etl процессов по наполнению данными data lake, формирование витрин данных на hadoop желателен опыт решения etl/data engineering задач опыт реализации интеграции в гетерогенных средах навыки работы с системами контроля версий / репозиториями кода на основе git успешный опыт работы в команде от 7 человек понимание методологий agile/scrum знание unix/linux, навыки работы в shell опыт развертывания linux серверов/ контейнеров, использования скриптовых языков (bash) как преимущество базовые знания работы kerberos как преимущество знание и опыт работы с инструментами devops рассматривается как преимущество