Инженер Hadoop ops, Платформа, Хранение и обработка данных

компания "ozon" у нас интересно: большой hadoop кластер, который вырастет в несколько раз уже в этом году мы готовимся перейти на мульти-цод архитектуру, обеспечив максимальную надежность и доступность данных, что означает построение новых кластеров команде предстоит совместно с инженерами data science построить полноценный datalake на hadoop мы не сильно обросли legacy, есть возможность определять правила игры, выбирать технологии и подходы есть широкий спектр задач на выбор — от повседневной эксплуатации до творческих rnd и исследований мы адепты концепции everything as code: минимум ручных действий, максимум автоматизации. мы используем лучшие практики для построения внутренней экосистемы, позволяющей поддерживать множество проектов красиво и эффективно вам предстоит: строить, развивать и эксплуатировать кластера hadoop (hdfs/hive, hbase, hdp, ambari, ranger, spark, hue, yarn) сопровождать и развивать сервисы вокруг hadoop (jupyter, airflow, kvm) разрабатывать инфраструктурный код для поддерживаемой инфраструктуры (ansible) автоматизировать рутинные задачи, разрабатывать и развивать решения “as a service” обеспечивать устойчивость инфраструктуры к отказам и катастрофам (ha & dr) сотрудничать с командой инженеров data science (как последняя линия поддержки, "никто кроме вас") траблшутить и мониторить поддерживаемую инфраструктуру и сервисы обязательно документировать сервисы мы ожидаем: умение писать и тестировать инфраструктурный код, понимание концепции infrastructure as code понимание принципов, опыт построения отказоустойчивых сервисов и эксплуатации высоконагруженных систем умение автоматизировать рутинные задачи, деплоймент сервисов и инфраструктуры, разрабатывать инструментарий и писать под них тесты (мы пишем на python/go/bash) понимание архитектуры, принципов и механизмов работы ос linux (управление процессами, файловые системы, сетевой стек) на уровне системного администратора опыт работы с технологиями виртуализации (оркестрация как плюс) понимание принципов мониторинга и навыки траблшутинга, как системных, так и прикладных компонентов: какие метрики собирать, куда смотреть при проблемах, какие дашборды для этого нужны (мы используем prometheus/grafana). будет плюсом: большой опыт эксплуатации/развития/построения кластеров на технологиях из стека apache hadoop понимание концепции хранилищ данных и etl-процессов. мы предлагаем: динамичный и быстроразвивающийся бизнес, ресурсы, возможность вместе сделать лучший продукт на рынке e-commerce свободу действий в принятии решений достойный уровень заработной платы профессиональную команду, которой мы гордимся возможность развиваться вместе с нашим бизнесом