Lead Data Engineer

компания "сберзвук" чем нужно будет заниматься? лидировать центр компетенций de в звуке от code review и совершенствования процессов разработки до обучения своих инженеров и построения их планов развития; создавать вместе с командой и архитекторами платформу данных от базового batch, так и stream процессинга, до создания и интеграции инструментов self-service для аналитики и разработки; много взаимодействовать с командами потребителями и поставщиками данных, чтобы решать их проблемы и учить не создавать новые; помогать команде ml-инженеров строить платформу обработки петабайт данных аудиоконтента; заниматься интеграцией внешних систем по api, ftp, s3, etc.; внедрять практики data quality, clean code, etc. что мы ожидаем от кандидата: опыт работы с stream и batch обработкой данных; опыт с python/scala для работы с данными (наш батч написан на python, а стриминг уже на scala); практический опыт и глубокое понимание работы spark, spark structured streaming или flink; практический опыт работы с оркестраторами пайплайнов: airflow, luigi, flyte; практический опыт работы с hadoop; знакомство с контейнерами docker/k8s, и опыт использования в работе.будет плюсом: опыт взаимодействия с mpp, presto и аналогами; опыт взаимодействия и настройки clickhouse; опыт работы с cloud решениями (sber, huawei, yandex, aws, gcp, azure). работа должна быть в удовольствие, поэтому: стильное рабочее пространство рядом м. кутузовская (буквально 5 минут от метро / мцк) или удаленно; дмс с первого рабочего дня; компенсация обучения и митапов; активно развивающийся hr-бренд; ламповость и крутые корпоративы, а еще у нас есть вписки на концерты и мероприятия; присоединившись к нам, ты сможешь принять участие в развитии продукта, которым пользуются миллионы; банально, но факт: у нас белая зарплата и оформляем по тк рф.