компания "mail.ru group" тебе предстоит заниматься администрированием сервисов, которые работают с большими данными. мы стремимся сделать единую точку аналитики в vk и ищем нового админа в команду, с которым мы смогли бы это сделать еще быстрее и успешнее. наш стек — это hadoop, kafka, spark, clickhouse, postgres. часть сервисов написана на python, деплоятся в kubernetes с использованием gitlab ci и puppet. мы автоматизируем различные сценарии для удобной работы с данными. для аналитики используются данные размером десятки петабайтов. мы планируем доработать и улучшить существующие сервисы, внедрить их как экосистему в большинство проектов внутри vk. задачи: администрирование приложений стека hadoop (hdfs, hive, yarn, spark, hue) и сервисов вокруг (freeipa, jupyter, kvm); администрирование распределенных бд (vertica, clickhouse); внедрение дистрибутива hadoop, разработанного в vk; аудит и анализ существующих инсталляций hadoop; создание документации и инструкций. требования: опыт администрирования linux (centos); опыт работы с configuration management инструментами (puppet/ansible/salt); опыт написания скриптов автоматизации (bash/python). будет плюсом: опыт настройки и эксплуатации нескольких кластеров hadoop, объединенных в федерацию; опыт интеграции ldap/kerberos с приложениями стека hadoop (hdfs, hive, yarn); опыт работы с vanilla hadoop; опыт работы с виртуализацией; опыт работы с docker, k8s; опыт работы с git; опыт работы с apache kafka.
Адрес
Москва