Middle cистемный администратор в команду сервиса путешествий

компания "туту.ру" привет! меня зовут вадим, я руковожу одной из команд админов в туту. нас в команде 8 человек, и мы поддерживаем значительную часть инфраструктуры компании - базы данных, очереди, сервера приложений, фронтпрокси, сервисы мониторинга и многое другое. всего в компании примерно 400 сотрудников, из них 150 в it. у нас нет совсем уж bleeding edge технологий, но достаточно много свежих и не сильно распространенных в стране. мы прекрасно понимаем, что им, да и тому, как мы их готовим, всё равно придётся учиться, поэтому самое главное для нас - не знание конкретных технологий, а выраженная ответственность за системы и умение нормально договориться в команде. будет и достаточно много рутины, и регулярные сложные задачи, которыми можно будет гордиться в профессиональном смысле. мы в поисках системного администратора, который вольётся в команду и возьмёт на себя часть работы по некоторым из наших сервисов. по каким именно – зависит в том числе и от ваших навыков и предпочтений – выберем на этапе собеседований или первых недель работы. немного про стек: centos - базовые образы в облаках и внутренние репозитории пакетов; lvs - ключевой элемент нашей ha; ansible, terraform - инструменты внутренней автоматизации; очереди: kafka, rabbitmq; frontproxy: envoy, nginx; стек мониторинга: prometheus, grafana, promgen, alertmanager, pyroscope; сбор ошибок: sentry со всеми внутренностями; elasticsearch - несколько продуктовых инсталляций и основной узел системы логирования (с пайплайном доставки fluent-bit - kafka - fluentd); apache - legacy application server в монолите, иногда с ним приходится что-то делать; docker - часть сервисов предоставляется в контейнерах на хостах с самодельной оркестрацией, часть - на платформе openshift (но саму платформу сопровождает другая команда); mariadb (+proxysql + github orchestrator); mongodb; redis + sentinel; основные задачи: развивать текущие сервисы (elasticsearch, kafka, envoy, minio, части пайплайна сбора логов - efk - и элементы инфраструктуры мониторинга - prometheus-based): оптимизировать под увеличивающиеся нагрузки или меняющиеся паттерны использования, добавлять отказоустойчивость, повышать observability, упрощать использование сервисов в коде приложений, заниматься закрытием уязвимостей, обновлением; разворачивать и в дальнейшем развивать еще не используемые в компании сервисы - по запросам разработки или в рамках внутренних проектов команды; чинить проблемы на продакшне – реагировать на алерты конкретных сервисов и на комплексные сбои; готовить элементы нашей платформы к интеграции с платформой openshift; поддерживать продуктовую разработку в режиме helpdesk - типовые не автоматизированные операции, консультации, отладка сложных багов; автоматизировать то, до чего еще не дошли руки. не придётся: трогать железо; настраивать сети; поддерживать кластера openshift; все это в компании есть, но занимаются данными задачами другие команды. что мы ожидаем: что вы вольётесь в команду и возьмёте на себя часть работы по некоторым из наших сервисов. по каким именно – зависит в том числе и от ваших навыков и предпочтений – выберем на этапе собеседований или первых недель работы; по ним будете делать задачи на развитие, генерировать и продвигать свои улучшения. кроме этого - реагировать на алерты, закрывать тикеты от разработки, прилетающие через внутренний servicedesk, заниматься стандартной ops-работой. примеры задач из беклога: управлять пользователями облаков через терраформ; поддержка stream_idle_timeout для grpc доменов на envoy (+control-plane); попробовать поставить более новый prometheus c xrate-форком; мониторинг за корректностью настроек bfd для всех (и новых) lvs. от вас нужно: опыт работы linux-администратором (хотя можете называть себя и девопсом и sre инженером). для нас это подразумевает умение развернуть и настроить с нуля новый софт - на нескольких серверах и не вручную - и дальше сопровождать его; опыт работы больше года на реальных проектах, желательно именно в вебе; любить помогать разработчикам, умение их услышать, разобраться и придумать варианты. нам на самом деле не пофиг, и разработка ценит это. они делают продукт, мы помогаем с инфраструктурой настолько, насколько это возможно; способность спокойно, быстро и четко реагировать в случае сбоев – они бывают; умение разбираться в чем-то новом или странном с помощью логики и google’а (англоязычного); желание работать в команде. придется много общаться, а это значит - и аргументировать свою точку зрения, и слушать и понимать других. мы признаем свои косяки и не наказываем за них, поэтому ожидаем этого и от вас – главное делать из ошибок правильные выводы. если для вас важны искренность и открытость, то у нас вам будет хорошо; готовность работать не только с новым, но и с легаси. за почти 20 лет существования компании его накопилось в достатке, поэтому важно уметь оценивать: где лучше оставить, где чуть пошевелить, а где – переделать с нуля; готовность писать скрипты и знание или желание изучить python; вы ничего не имеете против "котиков" - команда называется именно так :) про команду и рабочие процессы: анжи - эксперт по envoy, на который мы переехали с nginx; яша придумал и внедрил центральный элемент нашего видения ha — балансировщики на базе lvs и эникаст-адресов. развернул новую систему централизованного мониторинга на базе prometheus (вместо graphite) и пайплайн сбора логов fluentbit-kafka-fluent вместо rsyslog-logstash. сейчас занимается внедрением инструментов chaos engineering; антон внедрил в компании kafka, главный эксперт по этому сервису. сейчас занимается развитием инструментов управления облаками - главный по terraform’у; леонид. в команде чуть больше полугода, специализируется преимущественно на инструментах мониторинга и логирования. недавно развернул pyroscope в openshift для удобной профилировки продуктовых сервисов на go; леха. ведущий dba с опытом более 15 лет. сделал отказоустойчивым весь наш парк mariadb, с использованием proxysql, github orchestrator и самописного «клея» на питоне. сейчас "дожаривает" redis, проводя тонкий тюнинг sentinelchr(39)ов; элина - самый первый админ в туту - уже больше 10 лет в компании. сейчас dba и основной специалист по mongodb; саша - разработчик, раньше занималась эксплуатацией монолитного приложения, а сейчас развивает инструменты внутренней автоматизации; вадим (я) – бывший разработчик, а сейчас главный зануда команды. помимо руководства помогаю ребятам с кодом, архитектурой и диагностикой сложных сбоев. как мы работаем: все новые конфигурации описываем кодом, храним в системе контроля версий. из старого зафиксировано почти все, но не 100%; все существенные решения - роли, плейбуки, инвентори, скрипты и прочее - проводим через ревью внутри команды; анализируем сбои и стараемся не допустить их повторения; по всем сервисам собираем метрики и логи, делаем алерты; по возможности автоматизируем типовые рутинные операции; рисуем и пишем документацию. стараемся, но пока есть пробелы; при выяснении требований напрямую общаемся с заказчиками из других команд; из регулярных встреч – командный созвон раз в неделю и one-to-one со мной (раз в неделю или две). все остальное – по необходимости. график работы: у нас частичная удаленка, но возможен вариант с полной удаленкой. про компанию: — компания с хорошим техническим стеком, техруководителями и готовностью одними из первых пробовать новые технологии;— сильный блог на хабре, где пишут в том числе технари о своей работе;— хорошая техническая инфраструктура, очень крутая внутренняя база знаний, культура api и так далее;— открываются новые направления, где можно делать всё с нуля. весь положенный набор плюшек: дмс со стоматологией, кухня в офисе, страховка на путешествия, ноутбук, премии по результатам работы, оплата больничных, регулярная переиндексация зарплаты, а также обучение, премия за прочитанные книги и обмен опытом. структура собеседований: —интервью с hr-менеджером и руководителем отдела. никаких «кем вы видите себя через 5 лет»; — техническое интервью; — финалка с руководителем отдела и заместителем сто.