Мы занимаемся разработкой платформы для создания новых финансовых сервисов (стек Java/Spring/pySpark). Каждый новый сервис - это высоконагруженное приложение для пакетной обработки операций по всем банковским продуктам. Центральная часть платформы - разрабатываемый в команде фреймворк вычислений на основе технологии pySparkOnKubernetes.Мы ищем специалиста на позицию Senior Data Engineer, знакомого с концепцией "многовариантной персистентности", которому не чужды как RDBMS-источники, так и NoSQL (например, PostgreSQL/HDFS/Hive/Cassandra/Greenplum), который поможет нам построитьс нуля эффективное хранилище финансовых данных, благодаря которому расчеты будут выполняться быстрее и надежнее.У вас будет реальный шанс видеть результаты своей работы и настоящая возможность лидировать процесс создания хранилища. Стек технологий:- SQL;- pySpark;- Hadoop (Hive, HDFS);- Spring Cloud Data Flow orchestrator- GitlabCI- Kubernetes- Apache Ignite Обязанности: • прорабатывать архитектуру интеграционных решений между хранилищем данных и системами-источниками;• заниматься организацией пайплайнов для поставки данных;• реализовывать процессы по загрузке данных и автоматизации расчетов;• совместно с командой заниматься проектированием эффективной с точки зрения дальнейших расчетов модели данных;• участвовать в оценке и планировании задач Требования: • опыт работы DE;• опыт проектирования хранилищ данных с нуля;• знание различных типов СУБД (SQL, NoSQL) и профили использования (OLAP, OLTP);• знание различных способов организации хранилищ данных;• опыт написания сложных запросов на SQL для классических RDBMS-систем;• обладаете проактивным подходом в решении задач и коммуникации с заказчиками и коллегами по команде.Будет плюсом:• понимание банковской предметной области;• опыт в разработке сложных ETL процессов;• опыт работы с Hadoop, HDFS, Hive в качестве Data Engineer’а;• опыт работы Greenplum;• опыт работы с оркестраторами (Airflow, Luigi, SCDF)• читали и любите Мартина Клеппмана Designing Data-Intensive Applications Условия: широкие возможности по обучению и повышению компетенций за счет внутренней IT-академии, внешних курсов и профессиональных конференций; активные внутренние IT-сообщества; возможность работать в комфортном современном офисе в 3 минутах ходьбы от м. Технопарк, гибкий график и отсутствие дресс-кода; возможность удаленной работы (из любой страны мира); отличный социальный пакет (ДМС с первого месяца со стоматологией и массажем, страхование выезжающих за рубеж, скидки на корпоративные продукты, тренажерный зал в офисе); льготное кредитование, программа корпоративных скидок и не только; возможность выбора оборудования; доплата по больничным, отпуск в январе и мае без потери в зп, корпоративный пенсионный план.
Адрес
Москва