ETL Developer

компания "группа нлмк" нлмк - международная сталелитейная компания с активами в россии, сша и пяти странах европы.производство вертикально интегрировано, это позволяет контролировать всю цепочку создания металлопродукции от добычи сырья до финальной обработки и поставки стали потребителям. в рамках трехлетней стратегии компании мы планируем разработать и внедрить принципиально новые системы управления производством, учитывающие лучшие практики в микросервисной архитектуре на современном стеке технологий. у нас развернута мощная технологическая платформа, на которой внедрено большинство сервисов управления жизненным циклом разработки. вас ждет: на проекты по созданию централизованных хранилищ данных требуется инженер по работе с данными. на текущий момент развертывается хранилище на базе стека hadoop (дистрибутив cloudera). типовая схема получения данных от источников – на стороне систем-источников настраивается передача данных в централизованные кластера kafka. в качестве elt-инструментов, в основном, используются opensource решения (nifi, airflow) и процессы на базе собственной разработки (python, sql). spark-а пока мало. мы ждем от вас: опыт работы не менее 3 -х лет в данном направлении высшее техническое образование (предпочтительно ит) опыт работы не менее 2х лет со стеком hadoop (знание impala будет плюсом) опыт процессинга данных c использованием spark опыт разработки etl/elt-процессов (nifi / airflow) владение sql и python (знание java / scala будет плюсом); опыт работы с очередями сообщений – rabbitmq, kafka; опыт работы с реляционными базами данных postgresql, mysql, oracle db опыт использования систем версионирования кода (gitlab), хранилищ артефактов (nexus / artifactory) знание и опыт использования инструментов автоматизации ci/cd: jenkins / gitlab ci и др опыт сборки и развертывания приложений, запускаемых в контейнерах (docker). опыт использования платформ оркестрации (kubernetes / openshift) будет плюсом. опыт работы с системами мониторинга и сбора диагностических данных: elk grafana, prometheus являются преимуществом: опыт работы с базами данных mongodb, greenplum, clickhouse, объектными s3-совместимыми хранилищами понимание схем data vault, anchor modeling, «звезда», olap-кубов, их плюсов/минусов, паттернов использования, опыт проектирования структур (баз) данных понимание принципов работы с данными: архитектура слоев данных методологий data governance / data quality каталогизации данных (создания каталогов данных) мы предлагаем: лучшие практики мирового опыта учета производства, в микросервисной архитектуре на современном стеке. у нас технологическая платформа, на которой внедрено большинство сервисов управления жизненным циклом разработки. удаленный и комбинированный график работы; конкурентный уровень заработной платы и ежегодная индексация. корпоративные льготы: дмс, льготное страхование родственников, банковские продукты сотрудникам и скидки партнеров. обучение и развитие: английский язык в лучших языковых школах, большое количество обучающих курсов от внутреннего корпоративного университета, посещение митапов и конференций. возможность принять участие в интересных и сложных проектах с лучшими специалистами индустрии.