Data engineer (Big data)

компания "платформа офд" «платформа офд» - продуктовая it-компания, крупнейший в россии оператор фискальных данных. мы создаем полезные и удобные сервисы для предпринимателей. делаем рыночную аналитику на основе данных из магазинных чеков. компания резидент сколково, входит в экосистему сбера. что у нас есть: много данных: каждый 3-й чек, пробиваемый в россии, находится на наших серверах. мы принимаем до 50 млн чеков в день, имеем 2 млрд уникальных названий товаров в базе. развитая инфраструктура: есть несколько кластеров hadoop, у ds есть несколько мощных машин, gpu делают бр-бр команда из 4 de и сильная экспертиза 80% кода мы пишем на scala оформление по тк рф, белая зп дмс с госпитализацией, скорой и стоматологией офис близко от м. спортивная/лужники. можно работать из дома. гибкий график начала рабочего дня. удобная кухня, релакс-зона с тренажером, массажным креслом, приставкой и караоке пицца-пати раз в месяц и корпоративные праздники наш стек: hadoop, spark, hive, scala, python, java, postgresql, clickhouse, zeppelin/intellij, airflow, elasticsearch, apache superset gitlab, k8s, docker, jira, confluence чем предстоит заниматься: разрабатывать etl-процессы с использованием библиотеки apache spark на scala анализировать, проектировать и создавать витрины данных в соответствии с требованиями конкретного проекта развивать инфраструктуру для обработки больших данных и кодовой базы scala работать с ds для внедрения математических алгоритмов и ml-моделей в промышленные процессы откликайся, если ты: не менее 2-х лет решаешь задачи в области сбора, хранения и анализа данных используешь при этом один из следующих языков: java, scala, python отлично знаешь sql применяешь в работе инструменты bigdata: airflow, hadoop, spark, hive, zeppelin будет плюсом опыт работы с docker и k8s собеседование проходит в 1-2 этапа сразу с руководителем команды разработки