компания "лига цифровой экономики" проект по обеспечению выполнения банковских требований к хранению данных, путем конфигурирования, разработки и внедрения новых решений для озера данных. твои задачи: обработка данных посредством spark; разработка витрин, агрегатов; пересчёт истории, перезапуск задач, обнаружение конфликтов в агрегатах; работа с hive, impala, oozie; изучение логов, нахождение проблемы и устранение; общение с заказчиками, написание документации; работа с git; работа с командной строкой unix, разработка sh-скриптов; общение с платформой по проблемам кластера и заведение задач на критические сбои. что мы ждем от тебя: опыт работы с apache hadoop: hive, impala, oozie, sqoop, airflow; опыт разработки на python (java, scala приветствуется); опыт разработки с pyspark (разработка etl-процессов, парсингов xml,json и т.п.); работа с реляционными базами данных: sql (оптимизация запросов), oracle (pl/sql); работа с unix-системами, написание простейших bash скриптов; системы контроля версий (git); опыт работы с jira, confluence; навыки сбора и анализа требований к разрабатываемому функционалу.
Адрес
Москва