Инженер по интеграции неструктурированных данных/ETL

компания "мегафон" в команду кхд мегафон ищем инженера по интеграции мы используем: стек технологий oracle, который включает в себя oracle exadata, oracle database, oracle big data sql, oracle data integrator, а также big data на базе дистрибутива cloudera hadoop: hdfs, hive, spark, sqoop и пр. чем предстоит заниматься: участвовать в проектах по развитию корпоративного хранилища данных; анализировать технические документы/общие требования к разработке/доработке интеграционных процессов; разрабатывать, дорабатывать, осуществлять первичное тестирование интеграционных процессов с использованием средств etl (odi); составлять sql-запросы разной степени сложности; разрабатывать и модифицировать объекты бд (структура, пакеты) с целью загрузки данных; оптимизировать процессы загрузки, преобразования данных, при необходимости участвовать в анализе и решении инцидентов; составлять техническую документацию/регламенты по разработанным решениям; для этого потребуется: высшее техническое образование; опыт работы на аналогичной позиции разработчика кхд/etl-разработчика и т.п.; опыт работы с корпоративными хранилищами данных, понимание принципов организации dwh; хорошее знание sql – t-sql или pl/sql, понимание механизмов соединения таблиц, секционирование и индексирование данных; опыт разработки etl-решений и понимание подходов тестирования etl с использованием промышленного etl инструмента (предпочтительно oracle data integrator 12c); опыт работы с реляционными субд (oracle, postgresql и др.), знание принципов работы бд (умение читать план запроса, понимание механизмов соединения таблиц, опыт работы с партиционированными таблицами); понимание контроля версий (git tortoise, gitlab); знание базовых команд ос семейства unix; понимание принципов обработки структурированных и полу-структурированных данных (json и xml) (желательно); опыт работы в jira и confluence (желательно); развитые коммуникационные способности, самообучающийся, исследовательский и проактивный; опыт планирования и оценки сроков работ владение английским языком (чтение технической документации). будет плюсом: опыт оптимизации сложных запросов на базе субд oracle; опыт работы с unix системами, написание shell скриптов; понимание принципа работы web сервисов (rest, soap); знания стека технологий big data (hdfs, hive, sqoop, spark); знания одного из языков программирования python, java, scala. мы предлагаем: возможность работать с самым большим объемом данных в россии; компенсация затрат на мобильную связь; дмс (включая стоматологию), страхование при выезде заграницу; частичная компенсация спорта; регулярные митапы в офисе с внешними спикерами из разных областей; смешанный график работы (50/50); офис в центре: м. маяковская/новослободская/чеховская.