компания "спортмастер" мы находимся в поиске ведущего data engineerchr(39)a, который будет заниматься развитием направлений :цифровая аналитика "антифрод", "инфраструктура datalake". ваши задачи: реализация etl в hadoop (с помощью airflow). работа с различными источниками данных: oracle ms sql api личных кабинетов, микросервисы. батч и стримы с помощью pyspark и kafka. подготовка витрин для анализа (hive + spark+ sql) наш стек: cloudera hadoop; kafka, spark, airflow; jira; confluence; gitlab мы ждем от будущих коллег: уверенное владение python. опыт использования эко-системы hadoop: hdfs, apache airflow, hive, kafka,spark. знание sql опыт работы с реляционными базами данных (oracle).
Адрес
Краснодар