Data Engineer (Middle)

компания "лига цифровой экономики" команда реализует собственные аналитические продукты для защиты инфраструктуры банка. в основе используется стек технологий bigdata и инструменты потоковой обработки. твои задачи: участие в проектах по развитию решений в области информационной и кибербезопасности; разработка и согласование технической документации на доработку структур и процессов ас; согласование документации с бизнес-требованиями на новый функционал; участие в обсуждении инициатив бизнес-пользователей; разработка скриптов и прототипов для анализа качества данных и последующей реализации промышленных решений; проектирование интеграционных решений в соответствии с существующим архитектурным ландшафтом банка; анализ источников данных задачи; сбор данных аудита и телеметрии с инфраструктуры банка; мониторинг угроз и атак; поиск по всем данным и проведение расследований. что мы ждём: опыт моделирования информационно-технологических процессов; опыт разработки технической документации; хорошие знания реляционных баз данных, архитектур хранилищ данных; уверенные знания sql (portgresql, oracle); способность анализировать чужой код; знание основ теории алгоритмов, теории баз данных, теории систем и системного анализа, основ безопасности информации; умение сформулировать и поставить задание для разработки программного обеспечения; знакомство с банковской предметной областью. будет плюсом: опыт работы со стеком hadoop: hdfs, yarn, hive, spark; опыт постановки задач на разработку etl процессов с использованием стека hadoop; навыки работы с key-value хранилищами nosql: redis, tarantool, mongodb, elasticsearch; знания в области машинного обучения.