компания "mail.ru group" в команду, занимающуюся анализом и хранением данных, ищем человека на роль data engineer. основные задачи команды – это доработка платформы и фреймворков для расчетов etl-процессов на базе hadoop-стека. немного о нас, тут: https://youtu.be/btgdch02l0q https://habr.com/ru/company/odnoklassniki/blog/ https://www.youtube.com/watch?v=tfie8wz-rum https://www.youtube.com/watch?v=xkbyyp5k_uo&list=plen_80lmomy05bljdqyqiftdqqqoe5p6v&index=15 https://www.youtube.com/watch?v=e8gu7-nf350 https://www.youtube.com/watch?v=t6y2it5pmfy мы ожидаем хорошее понимание принципов распределённых вычислений, опыт работы с big data и java. задачи: участие в доработках платформы для хранения данных и фреймворков для регулярных расчетов; построение новых и оптимизация существующих etl-процессов, преимущественно на spark + java; анализ сырых данных, построение модели данных. требования: уверенное понимание принципов и опыт работы с большими объёмами данных и распределенными вычислениями; отличные знания sql; опыт работы или знакомство с hadoop-стеком: в первую очередь, spark + java; опыт построения сложных etl-процессов; навыки разработки с применением концепций ооп; знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределенных систем. будет плюсом опыт работы с clickhouse. условия: сложные и интересные задачи: высоконагруженные быстрорастущие сервисы, которые задают уровень для конкурентов качеством и технологиями; оборудование: мощное железо, десятки петабайтов данных, gpu-кластера и облачный инструментарий; команда: с нами работают профессионалы экстра класса, каждый из которых может поделиться своей экспертизой; профессиональное развитие: прямо в офисе мы организуем митапы, конференции, семинары и тренинги, куда открыт доступ каждому сотруднику, а также регулярно посещаем лучшие мировые конференции; новый опыт: лучшие сотрудники преподают в наших образовательных проектах, выступают на российских и международных конференциях; офис в 5 минутах от метро, крытый паркинг для сотрудников, велопарковка; здоровье и спорт: программа дмс доступна с первого месяца работы; для поддержания иммунитета круглый год во фреш-баре овощи и фрукты; компенсация фитнес-клуба, индивидуальных тренировок, участий в соревнованиях.
Адрес
Санкт-Петербург