компания "mail.ru group" в команду, занимающуюся анализом и хранением данных, ищем человека на роль senior data engineer. основные задачи команды – это построение и оптимизация etl-процессов на базе hadoop-стека. мы ожидаем хорошее понимание принципов распределённых вычислений, опыт работы с данными и навыки самостоятельного ведения задач и проектов. конкретный опыт с теми или иными технологиями не сильно критичен, важно понимание основных принципов работы с большими данными, алгоритмов их обработки и умение работать без четких тз, плотно взаимодействуя с заказчиком. задачи: активное взаимодействия с продуктовыми командами для решения собственных задач; продвижение культуры работы с данными внутри команды и за её пределами; участие в определении направления развития data platform и etl-фреймворка; построение новых и оптимизация существующих etl-процессов, преимущественно на spark + java; ad-hoc задачи по подготовке данных, их автоматизация; участие в доработках платформы и фреймворков для расчетов; анализ сырых данных, построение модели данных. требования: опыт самостоятельного ведения проектов, прямого общения с бизнесом; опыт продвижения своих идей, внедрения новых процессов работы с данными; уверенное понимание принципов и опыт работы с большими объемами данных и распределенными вычислениями; опыт работы или знакомство с hadoop-стеком: в первую очередь, spark + java или scala; знакомство с kafka и hive – будет плюсом; опыт построения сложных etl-процессов; навыки разработки с применением концепций ооп; знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределенных систем. будет плюсом опыт продуктовой аналитики; знакомство с ml/ds, знание базовых идей и концепций; понимание основ теории вероятности/статистики. условия: сложные и интересные задачи: высоконагруженные быстрорастущие сервисы, которые задают уровень для конкурентов качеством и технологиями; оборудование: мощное железо, более экзабайта данных, gpu-кластера и облачный инструментарий; команда: с нами работают професcионалы экстра класса, каждый из которых может поделиться своей экспертизой; профессиональное развитие: прямо в офисе мы организуем митапы, конференции, семинары и тренинги, куда открыт доступ каждому сотруднику; новый опыт: лучшие сотрудники преподают в наших образовательных проектах, выступают на российских и международных конференциях; офис в 5 минутах от метро, крытый паркинг для сотрудников, велопарковка; возможность работать в гибридном формате (как удаленно, так и из офиса); спорт: компания компенсирует затраты на спортивные активности — занятия в фитнес-клубе, индивидуальные тренировки, участия в соревнованиях; компенсация питания; регулярно пересматриваемая зарплата, годовые бонусы, социальный пакет с первого дня (дмс, английский язык).
Адрес
Москва