компания "иннотехнум, группа компаний" вместе с нами ты будешь: разработка etl пайплайна для загрузки данных из систем источников в хд (хд состоит из 2 слоев в hadoop и 5 слоев в greenplum) разработка etl для формирования витрин данных с расчетами показателей. разработка etl для формирования витрин данных для обеспечения построения olap отчетности. какие знания и навыки для нас важны: понимание различных архитектур (инмон, кимбалл и др.) и слоев хранения корпоративных хранилищ данных понимание подходов к построению модели данных хд на базе 3нф, datavault 2.0, dimensional modeling и др. понимание типовых трансформаций etl конвейера (scd, загрузка в схему “звезда”, вычисление дельты и др.) практический опыт разработки etl конвейера на базе приложений spark, хранимых процедур субд или etl инструментария не менее 2 лет практический опыт автоматизации бизнес расчетов показателей и формирования витрин данных практический опыт использования средств devops (gitlab, teamcity и др.)желательно: опыт работы с промышленными etl-инструментами (sas data integration studio, informatica powercenter, pentaho и др.) опыт создания элементов etl фреймворка (библиотека типовых трансформаций) опыт оптимизации запросов в субд и spark приложениях опыт работы с mpp базами данных (greenplum, teradata и др.) опыт разработки olap витрин данных на базе clickhouse и других специализированных субд
Адрес
Москва