Чем вам предстоит заниматься: Решение задач по развитию «Узла данных», подсистема HADOOP, включая разработку необходимых компонент/продуктов собственными силами. Развитие платформы данных на базе Hadoop и компонент стэка ArenaData. Управлять/создавать процессами установки/обновления HADOOP продуктов в средах (dev, test, prod)ю Разработка frameworkchr(39)ов обработки и управления жизненным циклом данных. Повышение устойчивости платформы за счёт автоматизации задач администрирования, развития мониторинга и практик SRE, оптимизация платформы. Управление ценностью в платформе, как продуктом. Решение задач по повышению отказоустойчивости, определение SLI/SLO, развитие культуры разбора инцидентов. Помощь в выборе архитектуры дата-решений на платформе в обозначенных выше целях. Проработка архитектуры собственных решений. Построение стратегии развития, продвижение собственных идей по развитию. Развитие УД (HADOOP) и компонент, которые входят в CDH. Решение задач по обеспечению отказоустойчивости, непрерывной работы УД (HADOOP). Ведение инцидентов по УД (HADOOP) и их решение. Оптимизация работы УД (HADOOP). Участие в разработке продуктов с использованием инструментов УД (HADOOP). Эта вакансия для вас, если: Опыт работы DevOps HADOOP или разработчиком (опционально) УД от 2 лет. Опыт поддержки HADOOP от 12 data хостов и выше. Разворачивание и администрирование инфраструктурных высоконагруженных компонент УД : кластера CDH (HDFS, Impala, Kudu, Spark, HBASE), Kafka, Jupyter Notebook. Настройка и внедрение процессов мониторинга состояния инфраструктурных компонент, а также системы автоматического обновления ОС и системных компонент, автоматизация стандартных задач DevOps для обслуживания распределенного кластера и устранения неполадок. Умение работы с Enterprise версией CDH (Kerberos, ролевая модель, SSL) всех компонент. Расследование инцидентов от команды разработки и Data Science, связанных с производительностью или работоспособностью инфраструктурных компонент УД. Проведение исследований и RND по оптимизации инфраструктурных компонент, тестирование новых технологий и решений. Планирование и подготовка требований по оптимизации и обновлению HW. Участие в оптимизации процессов сбора, первичная обработка и хранение большого объема данных из различных типов источников. Практический опыт работы с ОС СentOS, RedHat – предпочтительно. Ведение переписки по обработке SR с на английском языке (желательно). Знания bash, sql & vsql (java, scala, python как +). Разработка CI/CD процессов. Что мы предлагаем: Заработная плата по результатам собеседования, премии за эффективную работу и результат. Действительно нестандартные задачи, которые требуют креатива и новых подходов, мы работаем в реальном секторе, наши пользователи - реальные люди. Современный стек и гибкие методологии разработки, работа в команде высококлассных профессионалов из разных технологических областей. Возможность обучения и участия в жизни IT-сообщества: большой выбор курсов в нашем корпоративном университете, посещение митапов, конференций. Корпоративные льготы: ДМС, льготное страхование родственников, большой выбор внутренних спортивных секций, скидки на абонементы сети World Class.
Адрес
Санкт-Петербург