компания "раблз" мы в rubbles занимаемся созданием data science-продуктов и разработкой аналитических решений для различных индустрий: системы предсказания спроса на товары для оффлайн-ритейлов, рекомендательные системы в банках, поисковые системы по товарам для онлайн-ритейлеров и многое другое. среди наших клиентов: сбербанк, пятёрочка, kfc, перекрёсток, альфа-банк, мвидео и др. мы находимся в поиске data engineer уровня middle+ или senior для усиления нашего продуктового направления по разработке систем прогнозирования спроса и товарооборота в ритейле. сейчас в команде 5 технических специалистов (data scientists, system analysts, разработчиков), и мы планируем увеличить её вдвое. мы ищем человека, который взял бы на себя задачи по организации потоков данных в рамках разрабатываемой платформы, оптимизацию систем хранения и обработки с использованием современных программных продуктов и подходов, а также привнес свою экспертизу в общее дело и помогал коллегам в повышении культуры работы с данными в целом. обязанности: разработка и поддержка промышленных пайплайнов обработки данных и машинного обучения на python и spark с использованием популярных фреймворков (airflow, prefect, airbyte и т.д.), а также собственных разработок; разработка коннкеторов к системам-источникам данных и системам-потребителям; организация потоков данных в рамках микросервисной архитектуры платформы; разработка схемы данных компонентов платформы в едином информационном поле; работа над оптимизацией систем хранения (clickhouse, postgresql, redis); настройка и поддержка интеграционной шины данных на базе kafka; поддержка data scientist’ов и аналитиков данных (также работают на python) в задачах разработки; код ревью коллег; обучение проектных команд в работе с компонентами разрабатываемой платформы. минимальные требования: опыт промышленной разработки на python от 3х лет; опыт работы с популярными etl фреймфорками (airflow, prefect, airbyte и т.д.) от полугода, практический опыт в создании сложных пайплайнов; опыт работы с mpp – системами и с колоночными хранилищами данных; опыт разработки схемы данных, знание основных методологий построения хранилищ данных; участие в строительстве dwh в роли разработчика; опыт разворачивания, настройки мониторинга и передача на поддержку разработанных решений; умение работать с командной строкой linux/macos; умение вести проекты в git. на что ещё смотрим: знакомство со spark; знания java\kotlin; опыт devops (docker, kubernetes, gitlab-ci, настройка окружения на серверах и др.); опыт разработки сервисов (flask, django, asyncio и др.); опыт работы со streamsets/nifi. у нас: участие в интересных проектах на перспективном ai рынке; удаленная работа при желании; необходимая техника для работы при желании; возможность участия в различных интересных проектах в рамках компании, если вдруг заскучал; поддержка кандидата в профессиональном и карьерном росте; совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами; гибкий график работы; оформление полностью белое по тк рф; дмс (включая стоматологию) после прохождения испытательного срока; офис в центре москвы (2 минуты от м. сухаревская) со всем необходимым для комфортной работы.
Адрес
Москва