Data Engineer в команду автоматизации ML-процессов

компания "mail.ru group" мы разрабатываем специальные технические решения для автоматизации ml и оптимизации внутренних процессов работы вконтакте. мы стремимся, чтобы наши сервисы предвосхищали ожидания пользователей и непрерывно улучшали ux. ищем специалиста, который поможет обеспечить технические решения всеми необходимыми для работы данными. вам предстоит: • разрабатывать и внедрять пайплайны поставки и препроцессинга данных для работы триггерных правил и обучения ml-моделей; • поддерживать и улучшать работу созданных решений в условиях непрерывного изменения данных; • помогать в сборке витрин объектов для различных исследований, в том числе для feature engineering. у нас интересно, потому что вы: • сможете не только применить и прокачать свои навыки, но и узнать, как устроены внутренние процессы в разных командах; • поработаете над true bigdata etl — в наших кластерах десятки петабайт различных данных; • будете создавать и улучшать сервисы с месячной аудиторией более 100 млн пользователей. мы ожидаем, что вы: • работали на аналогичной должности data engineer не менее 2 лет; • отлично владеете python (pyspark) и понимаете концепцию функционального программирования; • уверенно разбираетесь в стеке hadoop (hdfs, yarn, hive, spark), работали с ним не менее года, включая опыт разработки etl-процессов; • неоднократно убеждались на практике, что clickhouse не тормозит. будет плюсом, если вы работали с apache kafka. приглашаем специалиста, который сможет посещать офис в москве или работать в гибридном режиме. ждём ваших откликов. удачи!