Что будет входить в твою работу: Развитие хранилища данных Data Lake крупнейшего частного банка России Формирование стратегии развития платформы Data Lake (архитектура, технологический стек, переход на open-source решения) Разработка стандартов хранения данных Big Data (слои, модель хранения данных, жизненный цикл данных) Разработка и внедрение методологии расчета метрик мониторинга качества данных Развитие концепции Platform as a Service (PaaS). Создание и поддержка инструментов работы с платформой для пользователей (Self-Service) и команд продуктовой разработки.Развитие концепции системного мониторинга в платформе и обеспечение доступности систем Руководство командой платформы, обучение персонала Оптимизация процессов (Run / Change) в платформенной команде Оптимизация процесса разработки, внедрение Code Review, CI/CD практик в команды разработки Оптимизация и настройка производительности ETL-процессов Документирование разработанного кода Постановка задач и контроль и выполнения внутри проектной команды Чего мы ждем от тебя: Высшее образование (техническое) Опыт участия в проектах по созданию корпоративного хранилища данных Опыт администрирования Hadoop кластеров от 3-х лет (сборка Cloudera, Hortonworks – Hadoop v2.0+) Опыт работы с инструментами/компонентами экосистемы Hadoop (HDFS, Hive, Spark, Impala, Kafka, Airflow, YARN, Ranger, Ambari и др.) Опыт работы с системами обработки больших данных на (Kafka, Cassandra, GreenPlum/Vertica, PostgreSQL) Опыт работы с реляционными СУБД (DB2, Oracle, MS SQL) Опыт работы с NoSQL базами данных Опыт внедрения CI/CD практик в платформенной команде / команде разработки Опыт создания и реализации проверок качества данных, внедрения процессов качества данных Понимание принципов построения распределенных систем хранения и обработки данных Понимание жизненного цикла разработки систем Знание одного/нескольких инструментов CI/CD используемых в построении конвеера (GitLab, Jenkins, TeamCity). Знание одного/нескольких инструментов мониторинга и визуализации (Prometheus/Zabbix, Grafana/Power BI) Знание OC Linux (RHEL, CentOS) на уровне уровне опытного пользователя Высокий уровень знания SQL, Python, Apache Spark, Java Опыт работы Team Lead-ом команды от 3-х лет Приветствуется опыт работы с ETL-инструментами (Informatica, Apache NiFi) Что ты получишь: Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия Работа в команде с лучшими профессионалами над сложными и интересными задачами Чувство локтя: у нас дружелюбная атмосфера и сплоченный коллектив, который всегда поможет Заботу о вашем здоровье: программа ДМС, куда входит стоматология и обслуживание в лучших клиниках города, страхование жизни, страхование выезжающих за рубеж, страхование от несчастных случаев, компенсация 10 дней 100% оплаты больничного Возможность удаленного формата работы
Адрес
Москва