компания "сбербанк" о проекте: наша команда создает информационную платформу для решения аналитических и исследовательских задач в области создания продуктов и услуг на мировых финансовых рынках: торговля валютой, ценными бумагами, производными финансовыми инструментами. этот бизнес потребляет и порождает огромное количество данных, которые должны обрабатываться c целью: ∙ разработки витрин данных и моделей машинного обучения ∙ поддержки регулярных бизнес-операций ∙ проведения ad hoc анализа ∙ подготовки регулярной аналитической и управленческой отчетности разрабатываемая нами информационная платформа – высоконагруженное решение, призванное обеспечить достижение всех этих целей. обязанности: проектирование и разработка корпоративной аналитической платформы (пкап) системная разработка, поддержка и оптимизация etl-процессов и ml-моделей (mlops) на платформах greenplum и hadoop r&d, реализация пилотов по выбору технологий и решений поддержка промышленной эксплуатации разработанных решений проведение презентаций и обучения процессам в пкап членов продуктовых команд поддержание технической документации в актуальном состоянии требования: опыт промышленной разработки на python (etl-процессы airflow) опыт с экосистемой hadoop (hdfs, hive, impala, spark, oozie, ...) опыт работы с ci/cd решениями на базе jenkins и bitbucket/git опыт работы с популярными рсубд (greenplum, teradata, oracle, mssql) знание sql, pl/sql знание основ администрирования ос linux понимание построения хранилищ данных (dwh) будет плюсом: опыт программирования на java/scala создание моделей машинного обучения, прохождение курсов по машинному обучению понимание основ облачных технологий и технологий виртуализации и контейнеризации практический опыт с автоматизацией развертывания по опыт администрирования рсубд
Адрес
Москва