компания "райффайзенбанк" мы занимаемся разработкой платформы для создания новых финансовых сервисов (стек java/spring/pyspark). каждый новый сервис - это высоконагруженное приложение для пакетной обработки операций по всем банковским продуктам. центральная часть платформы - разрабатываемый в команде фреймворк вычислений на основе технологии pysparkonkubernetes.мы ищем специалиста на позицию senior data engineer, знакомого с концепцией "многовариантной персистентности", которому не чужды как rdbms-источники, так и nosql (например, postgresql/hdfs/hive/cassandra/greenplum), который поможет нам построитьс нуля эффективное хранилище финансовых данных, благодаря которому расчеты будут выполняться быстрее и надежнее.у вас будет реальный шанс видеть результаты своей работы и настоящая возможность лидировать процесс создания хранилища. стек технологий:- sql;- pyspark;- hadoop (hive, hdfs);- spring cloud data flow orchestrator- gitlabci- kubernetes- apache ignite обязанности: • прорабатывать архитектуру интеграционных решений между хранилищем данных и системами-источниками;• заниматься организацией пайплайнов для поставки данных;• реализовывать процессы по загрузке данных и автоматизации расчетов;• совместно с командой заниматься проектированием эффективной с точки зрения дальнейших расчетов модели данных;• участвовать в оценке и планировании задач требования: • опыт работы de;• опыт проектирования хранилищ данных с нуля;• знание различных типов субд (sql, nosql) и профили использования (olap, oltp);• знание различных способов организации хранилищ данных;• опыт написания сложных запросов на sql для классических rdbms-систем;• обладаете проактивным подходом в решении задач и коммуникации с заказчиками и коллегами по команде.будет плюсом:• понимание банковской предметной области;• опыт в разработке сложных etl процессов;• опыт работы с hadoop, hdfs, hive в качестве data engineer’а;• опыт работы greenplum;• опыт работы с оркестраторами (airflow, luigi, scdf)• читали и любите мартина клеппмана designing data-intensive applications условия: широкие возможности по обучению и повышению компетенций за счет внутренней it-академии, внешних курсов и профессиональных конференций; активные внутренние it-сообщества; возможность работать в комфортном современном офисе в 3 минутах ходьбы от м. технопарк, гибкий график и отсутствие дресс-кода; возможность удаленной работы (из любой страны мира); отличный социальный пакет (дмс с первого месяца со стоматологией и массажем, страхование выезжающих за рубеж, скидки на корпоративные продукты, тренажерный зал в офисе); льготное кредитование, программа корпоративных скидок и не только; возможность выбора оборудования; доплата по больничным, отпуск в январе и мае без потери в зп, корпоративный пенсионный план.
Адрес
Москва