Big Data engineer

VK Видео — самая масштабная видеоплатформа в рунете по аудитории и форматам контента. Она объединяет видеоплатформы ВКонтакте, Одноклассников и других продуктов VK, ею пользуются более 100 млн человек в месяц.VK Клипы — это бесконечная лента коротких вертикальных видео. Здесь зрители могут найти увлекательный контент на самые разные темы, а авторы — заявить о себе. Качественные клипы можно создавать прямо ВКонтакте с помощью AR-эффектов и социальных механик, без специальных навыков и дорогой техники.Вместе с нами вы будете разрабатывать рекомендательные системы для двух крупнейших российских видеосервисов. У нас классно потому что:мы каждый день сталкиваемся со сложными задачами и постоянно ищем оптимальные решения;разрабатываем собственные технологии с учётом природы данных, с которыми мы работаем;выжимаем максимальную производительность из кода и думаем не только об отдельных решениях, но и о свойствах системы в целом;если вы хотели поработать в сердце высоконагруженной системы — мы с вами сработаемся. Особенности: big data: 4 hdfs кластера общим объёмом ~150PB; high load: обслуживаем десятки тысяч серверов; high available: все сервера расположены в 5 разных дата центрах; не enterprise: разрабатываем решения, которые сами же и используем; stack: hadoop-3.1.x, kafka-2.4.x, spark-2.3.x, grafana 7.x, clickhouse, airflow; lang: java, scala, python, bash. Задачи: развивать платформу хранения и обработки больших данных; предлагать, отстаивать и реализовывать архитектурные решения; оптимизировать и настраивать различные компоненты: hdfs, kafka, clickhouse, spark, zeppelin, etc; разрабатывать инструменты для хранения и обработки данных на java/scala/kotlin. Мы ожидаем: хорошее знание java/scala; опыт работы и понимание внутреннего устройства: hadoop, hdfs, kafka, spark, zeppelin, airflow, zookeeper, clickhouse. Условия: сложные и интересные задачи: высоконагруженные быстрорастущие сервисы, которые задают уровень для конкурентов качеством и технологиями; оборудование: мощное железо, десятки петабайт данных, GPU-кластера и облачный инструментарий; команда: с нами работают профессионалы экстра класса, каждый из которых может поделиться своей экспертизой; профессиональное развитие: прямо в офисе мы организуем митапы, конференции, семинары и тренинги, куда открыт доступ каждому сотруднику, а также регулярно посещаем лучшие мировые конференции; новый опыт: лучшие сотрудники преподают в наших образовательных проектах, выступают на российских и международных конференциях; социальный пакет (спорт, ДМС, английский язык); комфортный офис с парковкой, душем и зонами отдыха в паре минут от м. «Аэропорт»; возможность работать в гибридном режиме (совмещение удаленки с работой в офисе совместно с командой); дополнительное обучение за счет компании, участие в профессиональных конференциях и форумах по всему миру; корпоративные мероприятия и Team Building Events в России и за рубежом.