компания "mail.ru group" vk видео — это один из самых крупных сервисов потокового видео в россии. ежедневно им пользуются десятки миллионов людей, и перед нами стоит амбициозная задача — стать видеосервисом №1 в рф. мы ищем сильных data engineer, которые помогут нам грамотно выстроить etl-процессы и создать хранилище мечты для наших ml и аналитических команд. задачи: совместно с командами аналитики и ml построить архитектуру хранилища данных для сервиса потокового видео; построить etl-процессы, преобразующие сырые логи сервисов в удобные плоские таблицы с понятными бизнес-сущностями. требования: имеете опыт разработки оптимизированных и отказоустойчивых etl-пайплайнов над большими объемами данных; отлично программируете на python, разбираетесь в парадигме mapreduce и умеете составлять сложные sql-запросы; можете быстро разобраться в плохо формализованной задаче, сформулировать ее и выделить главное; умеете видеть за данными физический смысл и выделять ключевые бизнес-сущности; способны вести несколько проектов одновременно и самостоятельно расставлять приоритеты. условия: умение программировать на java/scala; опыт работы в смежных предметных областях; опыт работы с apache airflow, hadoop, spark, clickhouse, kafka; отдельным плюсом — знание основ php.
Адрес
Санкт-Петербург