Data engineer (Big data)

«Платформа ОФД» - продуктовая IT-компания, крупнейший в России оператор фискальных данных. Мы создаем полезные и удобные сервисы для предпринимателей. Делаем рыночную аналитику на основе данных из магазинных чеков. Компания резидент Сколково, входит в Экосистему Сбера. Что у нас есть: Много данных: каждый 3-й чек, пробиваемый в России, находится на наших серверах. Мы принимаем до 50 млн чеков в день, имеем 2 млрд уникальных названий товаров в базе. Развитая инфраструктура: есть несколько кластеров Hadoop, у DS есть несколько мощных машин, GPU делают бр-бр Команда из 4 DE и сильная экспертиза 80% кода мы пишем на Scala Оформление по ТК РФ, белая зп ДМС с госпитализацией, скорой и стоматологией Офис близко от м. Спортивная/Лужники. Можно работать из дома. Гибкий график начала рабочего дня. Удобная кухня, релакс-зона с тренажером, массажным креслом, приставкой и караоке Пицца-пати раз в месяц и корпоративные праздники Наш стек: Hadoop, Spark, Hive, SCALA, Python, Java, PostgreSQL, ClickHouse, Zeppelin/IntelliJ, AirFlow, ElasticSearch, Apache Superset GitLab, k8s, Docker, Jira, Confluence Чем предстоит заниматься: Разрабатывать ETL-процессы с использованием библиотеки Apache Spark на Scala Анализировать, проектировать и создавать витрины данных в соответствии с требованиями конкретного проекта Развивать инфраструктуру для обработки больших данных и кодовой базы Scala Работать с DS для внедрения математических алгоритмов и ML-моделей в промышленные процессы Откликайся, если ты: Не менее 2-х лет решаешь задачи в области сбора, хранения и анализа данных Используешь при этом один из следующих языков: Java, Scala, Python Отлично знаешь SQL Применяешь в работе инструменты BigData: Airflow, Hadoop, Spark, Hive, Zeppelin Будет плюсом опыт работы с Docker и k8s Собеседование проходит в 1-2 этапа сразу с руководителем команды разработки