DataEngineer (Дата-инженер/Специалист по работе с данными)

СГ«АльфаСтрахование», одна из лидирующих компаний на рынке страхования, приглашает DataEngineer в Департамент машинного обучения и работы с данными. Команда занимается задачами в области больших данных: обогащением данных профиля клиента, извлечением ценной информации из имеющихся данных в различных аспектах бизнеса, начиная от формирования наиболее оптимального приложения для клиента и заканчивая защитой бизнеса от мошенников с применением моделей машинного обучения. Является ответственной за Hadoop-стек в компании, строит современный Feature Store и развивает платформу машинного обучения, совершенствует текущую систему хранения и управления данными. Мы ищем не просто специалиста, а партнера, соратника и товарища, который разделяет наши ценности в своей работе и будет рад работать вместе с нами. Что предстоит делать: Обеспечение качества и непрерывности поставки данных. Трансформация данных. Разработка новых data-пайплайнов с использованием Pyspark, Airflow. Подготовка витрины данных, в том числе из сырых логов. Чего мы ожидаем: Уверенный Python и хорошие базовые знания SQL (JOIN, подзапросы) Базовые знания стека Hadoop (HDFS, YARN, Hive) и Pyspark Понимание принципов построения data-пайплайнов (kappa И lambda - архитектуры) Знакомство с Kafka и Airflow, понимание их роли в data-пайплайне Знание базовых команд Linux-консоли, git Интерес к технологиям больших данных и большое желание учиться Будет хорошо, если: Знакомы с Apache Nifi или Streamsets Имеете опыт разработки REST-сервисов на Python (Flask / FastAPI) Стек технологий: Python, Hadoop, Hive, Pyspark + Airflow, Feast, Kafka, NiFi, Gitlab, Jira/Confluence, Docker, Grafana, командная коммуникация - Slack; Что мы предлагаем: Работу в профессиональной команде, которая готова делиться знаниями и опытом; Прозрачную систему грейдов, возможность внешнего обучения и прокачки твоих скиллов за счет Компании; Заботу о сотрудниках: возможность прохождения медицинских chek-апов, безлимитные бесплатные консультации с финансовыми консультантами, юристами и психологом. В компании поддерживается и развивается культура ЗОЖ; Отличный социальный пакет, включающий ДМС, скидки на страховые продукты компании, скидки от наших партнеров (туризм, фитнес и т.д.); Обеспечение техникой для работы (предлагаются варианты на выбор, также можно предложить свой); График работы 5\2 (гибкое начало дня с 8 до 10); Возможность удалённо работать из любой точки РФ — главное, чтобы там был стабильный интернет. А если тебе захочется поработать из офиса - в твоём распоряжении комфортный офис в 3 минутах от станции метро Шаболовская. Ждем ваши резюме в откликах!