Разработчик Hadoop

Проект по обеспечению выполнения банковских требований к хранению данных путем конфигурирования, разработки и внедрения новых решений для озера данных. Твои задачи: Обработка данных посредством Spark Разработка витрин, агрегатов Пересчёт истории, перезапуск задач, обнаружение конфликтов в агрегатах Работа с Hive, Impala, Oozie Изучение логов, нахождение проблемы и устранение Общение с заказчиками, написание документации Работа с GIT Работа с командной строкой UNIX, разработка sh-скриптов Общение с платформой по проблемам кластера и заведение задач на критичсекие сбои Мы ждём от тебя: Опыт работы с Apache Hadoop: Hive, Impala, Oozie, Sqoop, Airflow Опыт разработки на Python (Java, Scala приветствуется) Опыт разработки с PySpark (разработка ETL-процессов, парсингов XML,JSON и т.п.) Работа с реляционными базами данных: SQL (оптимизация запросов), Oracle (PL/SQL) Работа с Unix-системами, написание простейших bash скриптов Системы контроля версий (GIT) Опыт работы с Jira, Confluence ​