Data engineer (направление предиктивной аналитики)

компания "mail.ru group" отдел занимается созданием продуктов и реализацией проектов в области предиктивной аналитики. то есть, фактически, прогнозирует целевые события или действия пользователей и, таким образом, помогает внутренним и внешним заказчикам принимать решения. на основе анализа огромных объемов данных из различных источников строятся модели машинного обучения и аналитические сервисы, способные оценить, например, вероятность того, заинтересуют ли пользователя предложение покупки авто в кредит или, возможно, новые тарифы мобильного оператора. задачи: создавать новые надежные и улучшать существующие пайланы, обрабатывающие терабайты данных; разрабатывать новые витрины данных для аналитики и построения предиктивных моделей на основе многопетабайтного хранилища и множества источников; интегрировать данные из новых источников с продакшен-системами, решающими задачи near real-time обработки данных, и ml-сервисами. мы ожидаем от кандидата: понимание sql, умение составить нетривиальный запрос (joinchr(39)ы, подзапросы и т.д.); написание читабельного кода на python (уметь в 3 версию, не бояться); навыки работы с bash, git, linux, docker — опыт работы с экосистемой hadoop: hdfs, spark, hive; знания о работе ос, базовых алгоритмах и структурах данных.