Тебе предстоит заниматься администрированием сервисов, которые работают с большими данными. Мы стремимся сделать единую точку аналитики в VK и ищем нового админа в команду, с которым мы смогли бы это сделать еще быстрее и успешнее. Наш стек — это hadoop, kafka, spark, clickhouse, postgres. Часть сервисов написана на Python, деплоятся в Kubernetes с использованием GitLab CI и puppet. Мы автоматизируем различные сценарии для удобной работы с данными. Для аналитики используются данные размером десятки петабайтов. Мы планируем доработать и улучшить существующие сервисы, внедрить их как экосистему в большинство проектов внутри VK. Задачи: администрирование приложений стека Hadoop (HDFS, Hive, YARN, Spark, Hue) и сервисов вокруг (FreeIPA, Jupyter, KVM); администрирование распределенных БД (Vertica, Clickhouse); внедрение дистрибутива Hadoop, разработанного в VK; аудит и анализ существующих инсталляций Hadoop; создание документации и инструкций. Требования: опыт работы с Configuration Management инструментами (Puppet/Ansible/Salt); опыт администрирования и траблшутинга приложений стека Hadoop (HDFS, Hive, YARN); опыт администрирования Linux (Centos); опыт написания скриптов автоматизации (Bash/Python). Будет плюсом: опыт настройки и эксплуатации нескольких кластеров Hadoop, объединенных в федерацию; опыт интеграции LDAP/Kerberos с приложениями стека Hadoop (HDFS, Hive, YARN); опыт работы с Vanilla Hadoop; опыт работы с виртуализацией; опыт работы с Docker, k8s; опыт работы с git; опыт работы с Apache Kafka.
Адрес
Москва