Чем нужно будет заниматься? Оптимизировать Spark Streaming джобы. Трансформировать старый ETL из родного overnight batching в модный молодёжный realtime streaming на Spark3/Flink. Создавать пайплайны NRT обработки данных для аналитики и рекомендаций. Подключать источники новые источники событий. Внедрять Data Quality Gates и лучшие практики работы с данными. Интегрировать платформу данных Звука в большую экосистему Сбера. Что мы ожидаем от кандидата: Релевантный опыт работы на scala/ java от 2-х лет. Практический опыт работы с spark, Flink, hadoop, kafka. Опыт работы с stream и batch обработкой данных. Знакомство с kubernetes и опыт его использования в работе. Будет плюсом: Python: у нас много кода на питоне, но уверенно идем к скала платформе. Опыт разработки инструментов контроля качества данных. Опыт работы с airflow. Опыт взаимодействия с Presto/Trino, clickhouse, cassandra, Scylla, GreenPlum. Работа должна быть в удовольствие, поэтому: Стильное рабочее пространство рядом м. Кутузовская (буквально 5 минут от метро / МЦК) или удаленно. ДМС с первого рабочего дня. Компенсация обучения и митапов. Активно развивающийся HR-бренд. Ламповость и крутые корпоративы, а еще у нас есть вписки на концерты и мероприятия, Присоединившись к нам, ты сможешь принять участие в развитии продукта, которым пользуются миллионы. Банально, но факт: у нас белая зарплата и оформляем по ТК РФ.
Адрес
Москва