Data engineer

компания "dodo brands (dodo pizza, drinkit, doner 42)" о компании: dodo engineering — it-подразделение международной компании dodo brands, развивающей 3 бренда: додо пицца: более 814 пиццерий в 16 странах; дринкит: 5 кофеен в москве; донер 42: 5 донерных по россии. о всей команде data team цель нашей команды - сделать dodo brands data-driven компанией. сейчас над этими задачами работают команды business intelligence и data engineering. кроме этого в компании в разных доменах есть свои ml инженеры и data analysts. data engineering отвечает за своевременную доставку данных до datalake, создание data platform - децентрализованной платформы данных для ml, data analytics, reporting и dashboarding.стек: python, spark (batch и structured streaming на платформе databricks), deltalake, azure data explorer, azure eventhubs (kafka api), kafka connect (debezium), github actions, mlflow, superset. обязанности: создание инфраструктуры и инструментов для работы с данными для других команд. развертывание и обслуживание data сервисов: superset, kafka connect и т.д., ci/cd для пайплайнов, автоматизация вгрузок из разных источников (cdc, события), интеграция данных платформы с другими системами, автоматизация lineage, data quality, подготовка платформы к data mesh подходу. помощь другим командам в работе с данными, с интеграциями, с нашими инструментами, с оптимизациями (центр экспертизы по работе с аналитическими данными). проектирование модели данных детального слоя под бизнес требования с оптимальным хранением данных. mlops: ci/cd для ml проектов, создание тулинга для вывода ml-моделей в production. доработка spark коннекторов к azure ресурсам, доработка superset’а, написание платформенных библиотек (именно поэтому здорово, если ты умеешь программировать). требования: уверенное владение одним из языков программирования: python, scala, java. построение пайплайнов данных с мониторингом и логированием; опыт в оптимизации/изменении существующих пайплайнов. spark, spark streaming (у нас structured streaming) apache kafka и/или rabbitmq. system design дизайн dwh. хорошие навыки в моделировании данных как для классических реляционных моделей, так и для dwh. будет плюсом: mpp/cloud data warehouse решения (snowflake, redshift, bigquery, vertica, teradata, greenplum, azure dwh, clickhouse и т.д.). как писать и оптимизировать сложные sql запросы. дизайн распределенных систем. опыт mlops опыт работы с hudi или iceberg или delta lake. умеете балансировать между mvp и собственным перфекционизмом условия: работа в офисе или удаленная работа расширенная дмс с первого рабочего дня оплата профильных конференций, курсов, профессиональной литературы партнерские программы (скидки на изучение английского языка skyeng, 50% компенсация психологической помощи на платформе alter); митапы, лекции, воркшопы и интенсивы по вашему направлению у нас в офисе. прокачка навыков публичных выступлений (сделаем из вас крутого спикера). помощь в написании профессиональных статей и раскрутку вас, как автора, на профильных ресурсах (хабр, vc).