14.06.2022 01:43

Разработчик ETL (Hadoop)

По договоренности
14.06.2022 01:43
компания "иннотехнум, группа компаний" в банке втб реализуется программа «лаборатория продвинутой аналитики». в данной программе создаются различные ит-решения для работы с big data по направлениям: геоаналитика, анализ информации с большим количеством связей на основе графов, анализ человеческой речи и её контекста, анализ изображений, анализ видео и многое другое. результаты такого анализа используются в действующих автоматических и автоматизированных бизнес-процессах банка. большинство ит-решений в основе используют современные и перспективные технологии: машинное обучение на базе экосистемы hadoop, фреймворков для распределенных вычислений, кластерные системы и системы управления контейнерами. также применяются вычисления с аппаратным ускорением (на gpu). команда «развитие data research platform» занимается широким спектром задач, связанных с экосистемой hadoop и её развертыванием. подразделение департамент технологического развития общебанковских систем специализация hadoop/spark/контейнеры/postgresql python/scala/javascript/sql informatica pc, oracle data integrator задачи выполнение функциональных обязанностей в рамках проекта по миграции платформ данных (arenadata hadoop) обеспечение загрузки необходимых данных в data lake или необходимые витрины данных проектирование и разработка, тестирование и внедрение etl процессов, используя etl framework и конвейер данных реализация различных интеграций в гетерогенной среде с помощью python/spark оптимизация существующего кода и используемых платформ конфигурация потоков данных из систем источников, их мониторинг, своевременную модификацию, оптимизацию оптимизация конвейера данных и etl-процессов для поддержания процессов проверки качества данных контейнеризация процессов загрузки/выгрузки данных в data lake требования опыт работы в роли разработчика на стеке hadoop не менее 2-х лет опыт разработки приложений с использованием инструментария экосистемы hadoop (spark streaming, hbase, spark sql, kafka, hive, impala, hue и т.д.) опыт разработки на java / python / spark / scala понимание принципов модели распределенных вычислений опыт разработки etl / self service etl процессов по наполнению данными data lake, формирование витрин данных на hadoop желателен опыт решения etl/data engineering задач опыт реализации интеграции в гетерогенных средах навыки работы с системами контроля версий / репозиториями кода на основе git успешный опыт работы в команде от 7 человек понимание методологий agile/scrum знание unix/linux, навыки работы в shell опыт развертывания linux серверов/ контейнеров, использования скриптовых языков (bash) как преимущество базовые знания работы kerberos как преимущество знание и опыт работы с инструментами devops рассматривается как преимущество что предлагаем мы: — работа в удобном формате: удаленный/гибридный/в офисе (современном и комфортном). — конкурентная заработная плата (зависит от квалификации и обсуждается по итогам интервью). — гибкое начало и окончание рабочего дня (обсуждается с руководителем). — пакет приятных льгот от наших партнеров: зарплатный проект втб, льготное кредитование и страхование. — помощь при релокации, если вы решите сменить место жительства. — необходимая техника для успешной работы: дополнительные мониторы, мощное железо. расходы на мобильную связь тоже компенсируем! — интересные задачи, которые помогут в самореализации, росте и совершенствовании навыков. — искренняя забота о сотрудниках: страхование жизни (для себя и родственников); расширенный дмс со стоматологией и массажем; обучение английскому языку и soft-skills; абонементы в фитнес-клубы; скидки на психологические сессии; оплата профессиональных курсов и конференций.

Адрес

Москва

Похожие вакансии

По договоренности
25.09.2022 15:17
компания "транснефть-технологии" транснефть-технологии оказывает it-услуги организациям системы «транснефть» в области внедрения, технической эксплуатации и сопровождения корпоративных информационных систем и it-инфраструктуры. ...
Партнерские Вакансии
Москва
По договоренности
12.08.2022 15:07
Транснефть-Технологии оказывает IT-услуги организациям системы «Транснефть» в области внедрения, технической эксплуатации и сопровождения корпоративных информационных систем и IT-инфраструктуры. В связи ...
Транснефть Технологии
Москва
По договоренности
14.06.2022 01:43
компания "иннотехнум, группа компаний" в банке втб реализуется программа «лаборатория продвинутой аналитики». в данной программе создаются различные ит-решения для работы ...
Партнерские Вакансии
Москва

Новости

Смотрите также вакансии