Data engineer (направление предиктивной аналитики)

Отдел занимается созданием продуктов и реализацией проектов в области предиктивной аналитики. То есть фактически прогнозирует целевые события или действия пользователей и, таким образом, помогает внутренним и внешним заказчикам принимать решения. На основе анализа огромных объемов данных из различных источников строятся модели машинного обучения и аналитические сервисы, способные оценить, например, вероятность того, заинтересуют ли пользователя предложение покупки авто в кредит или, возможно, новые тарифы мобильного оператора. Задачи: создавать новые надежные и улучшать существующие пайланы, обрабатывающие терабайты данных; разрабатывать новые витрины данных для аналитики и построения предиктивных моделей на основе многопетабайтного хранилища и множества источников; интегрировать данные из новых источников с продакшен-системами, решающими задачи near real-time обработки данных, и ML-сервисами. Мы ожидаем от кандидата: понимание SQL, умение составить нетривиальный запрос (JOINchr(39)ы, подзапросы и т.д.); написание читабельного кода на Python (уметь в 3 версию, не бояться); навыки работы с bash, git, linux, docker — опыт работы с экосистемой Hadoop: HDFS, Spark, Hive; знания о работе ОС, базовых алгоритмах и структурах данных.