Big Data engineer

У меня есть вакансия Data Engineer в одно из крупнейших Бюро кредитных историй в России. Что мы делаем? Мы храним и обрабатываем кредитные истории более 100 миллионов россиян, уделяя большое внимание не только количеству данных, но и качеству их обработки. Проект Строим data lakehouse на базе hadoop Аналитическая платформа – продукт Бюро, агрегирующий всю информацию о кредитной истории участников финансового рынка. Платформа обрабатывает, анализирует и хранит данные, поступающие от кредитных организаций, и предоставляет множество продуктов на их основе. Технологический стек продукта: Scala, Python, Spark, Golang Hadoop Cassandra Apache Flink EFK PostgreSQL Kafka Jira, Confluence, Bamboo (CI/CD) OKD, Kubernetes Команда Руководитель: архитектор решений Состав команды: 2 Data Engineers (+1 вакансия) Чем предстоит заниматься Разрабатывать пайплайны загрузки данных из различных источников (РСУБД, NoSQL, files, streaming) в Datalake; Реализовать PoC (MVP) с использованием новых инструментов и технологий; Реализация распределенных алгоритмов на больших данных; Оптимизировать процессы хранения и обработки данных с использованием современных технологии и подходов; Продукционализация моделей машинного обучения. Что ожидаем от тебя Опыт работы с Apache Spark, Apache Spark structured streaming, Flink, Kafka; Опыт работы с экосистемой кластера Hadoop (CDP, Arenadata, Hortonworks); Опыт работы с Apache Airflow и Apache NiFi; Опыт работы с БД: Oracle, Postgre, Greenplum, HBase; Опыт разработки на Scala от 2 лет; Отличные знания - SQL. Что готовы предложить Фиксированный оклад + годовой бонус (20% от годового дохода); Компания входит в реестр ИТ компаний (сотрудники получают отсрочку от мобилизации); Офис в г. Москва, м. Павелецкая, 6 минут от метро пешком; Режим работы на выбор: -офисный; -гибридный ( 2 дня-офис, 3 дня- из дома); -удаленный (на территории РФ); Гибкое начало рабочего дня: с 8:30, 9:30,10:30 по согласованию с командой; Официальное оформление, белая ЗП, годовой бонус; ДМС со стоматологией (с 1 рабочего дня, РЕСО, +полис путешественника); Частичная компенсация фитнеса / обучения / доп. мед. услуг (лимит-25 тыс. рублей в год); Льготная ипотека (от Сбербанк), в том числе рефинансирование (ставка по ипотеке на 2 пункта ниже); Дополнительные дни к ежегодному отпуску (всего 31 день в году); Предоставляются корпоративные рабочие ноутбуки. Как мы проводим собеседования 15-20 минут - общение с рекрутером; 60-90 минут - руководитель направления; Проверка документов - 3-5 дней (анкета в электронном виде); Оффер, обсуждение даты выхода на работу.