компания "иннотехнум, группа компаний" обязанности: разработка dag airflow для реализации etl-процессов; реализация интеграции по получения данных из источников вида: rest api, soap, ftp, s3, парсинг сайтов и xls; построение и верификация схем данных на соответствии модели данных и требования безопасности банка; реализация функционала укладки данных в hadoop; мониторинг, управление инцидентами по реализованным процессам; разработка и поддержка внутренних инструментов; ведение разработки в системе контроля версий; участие в agile церемониях команды и стрима требования: опыт разработки на python от трех лет; опыт проектирования и разработки etl-процессов; опыт работы с интерфейсами взаимодействия: rest api, soap; знание основных алгоритмов, структур данных и основных паттернов проектирования приложений; умение читать и понимать документацию, разрабатывать приложения на основании документации; опыт разработки на airflow, глубокое понимание принципов разработки dag-ов; опыт работы с брокерами сообщений: rabbitmq, kafka; знание sql и инфраструктуры hadoop, понимание особенностей ее работы; опыт работы с каким-либо дистрибутивом hadoop (cloudera, arenadata, hortonworks, apache и т.п.); опыт разработки приложений на spark; умение работать с системами контроля версий git; опыт работы в ос семейства unix: rhel, ubuntu; общее понимание работы сетевых протоколов: tcp/ip, udp, ssh, ftp, smtp, imap будет плюсом, если у тебя есть: понимание особенностей экосистемы hadoop; знание kerberos; знание работы с системами шифрования: криптопро понимание подходов к оптимизации производительности python и spark приложений; опыт написания многопоточных приложений на python
Адрес
Москва