компания "райффайзенбанк" перед командой data lake стоит задача развития и поддержки основного компонента современной аналитической платформы, включающей инструменты по сбору, хранению, обработке и анализу данных. платформа дает нашим пользователям (аналитикам и разработчикам из продуктовых команд) возможность быстрой, параллельной и независимой разработки etl по загрузке данных и построению витрин для решения прикладных бизнес-задач. данные, которые регулярно загружаются в data lake, используются data scientistchr(39)ами и аналитиками данных для построения моделей машинного обучения, отчетности и визуализации. для работы с ними мы так же предоставляем сервисы mlflow и jupyterhub. так же данные data lake являются источником для аналитического компонента платформы на базе greenplum (adwh). ищем в команду devops-инженера, для поддержки и развития data lake, смежных сервисов и внутренних процессов. наш текущий основной стек: rhel7, hadoop (hdfs, yarn), hive, spark2/3, ranger, airflow, zabbix, rundeck, gitlab ci, ansible, docker, nginx. на текущий момент перед нами стоят следующие задачи: миграция сервисов платформы в kubernetes, обновление версии airflow на версию 2.x, миграция части компонент hadoop на ванильные версии с собственной сборкой, оптимизация использования ресурсов в части хранения данных, проработка и настройка тест и превью контуров кластеров. чем предстоит заниматься: обеспечивать работоспособность data lake; настраивать мониторинг; анализировать и оптимизировать производительность различных компонент data lake; поддерживать в актуальном состоянии имеющуюся инфраструктуру; устранять выявленные уязвимости; настраивать и поддерживать процессы и инструменты интеграции data lake с системами-источниками и потребителями данных; разрабатывать ci/cd; решать пользовательские инциденты и анализировать их причины; документировать разрабатываемые процессы и обучать коллег работе с ними. чего мы ждем от тебя: linux: знания rpm-based дистрибутивов (rhel, centos) - troubleshooting, virtualization, performance optimization; programming: опыт автоматизации с помощью скриптов на python, общие знания в области устройства jvm/jdk (gc, heap); database: опыт администрирования и эксплуатации postgresql - понимание ролевой модели и структуры сервисных объектов, базовые навыки в написании sql запросов. monitoring: опыт настройки мониторинга системы с помощью zabbix devops: опыт работы с gitlab или другим инструментом в части организации ci/cd, знания в области автоматизации (ansible, rundeck). будет большим плюсом: опыт администрирования hadoop, умение работать с hdfs, yarn, hive, ranger, spark и прочими компонентами окружения. понимание архитектуры и навыки в устранении проблем и оптимизации производительности в разрезе различных компонентов. будет большим плюсом: опыт развертывания и эксплуатации приложений в k8s/pks, в том числе с helm. что мы предлагаем: самостоятельно сформировать гибкий график удаленной работы с возможностью работать в офисе (м. технопарк); развиваться: мы оплачиваем профессиональные тренинги и образовательные курсы, отправляем на лучшие тематические профессиональные конференции, а также проводим внутрибанковские митапы с приглашёнными экспертами; влиять на конечный результат и понимать бизнес-логику продуктов; работать на корпоративном macbookchr(39)е; также для наших сотрудников мы предлагаем специальные условия по продуктам нашей компании; отличный социальный пакет, включая дмс + стоматология, страхование жизни в том числе и выезжающих за рубеж; полную отплату больничного (14 календарных дней в год); обширную программу скидок в компаниях партнерах (фитнес, рестораны, мобильная связь и т.д.).
Адрес
Москва