В SberData мы создаем централизованное хранилище данных всего Сбера. Это более 350 источников данных и 100+ Пб информации, заказ и получение данных за 15 минут и современный технологический стек работы с данными, включая собственные сборки СУБД на базе Hadoop и Greenplum. Наши решения отмечены международной премией Data Award в 2021г, а лидеры, обладающие уникальными знаниями в разработке кода и современном технологическом стеке С, Scala, Java, Python, Hadoop, Teradata, Oralce и др., являются участниками организации-фонда Apache Foundation. Масштаб задач, объемы данных, сложности финансовых процессов — мы все время на передовой современных технологий, а где-то и создаем их. Мы ищем Java разработчиков для наших продуктов - сервисов федеративного доступа. Мы разрабатываем инфраструктурные компонента на основе open source кода для дата центра с данными объемом 10+ петабайт данных и десятками тысяч ядер, с фокусом на защиту данных и реализацию алгоритмов безопастности. Waggle-Danсе: Обеспечивает возможность работы с HMS нескольких кластеров Hadoop (SDP/Cloudera) при условии наличия федерации между кластерами. Фактически представляет собой proxy сервис, который в онлайне запрашивает данные из внешнихHMS. Технически это Java процесс который запускается отдельно от Cloudera и реализует Thrift интерфейс Hive Meta store. Sentry-proxy: Обеспечивает авторизация операций для Hive и Impala. Является proxy сервисов, который для настроенных федераций получает авторизационную информацию из внешних сервисов Sentry и Hadoop использует эту информацию для авторизации операция пользователя в Hive и Impala. Сервис собой представляет реализацию интерфейса Sentry и может запускаться как в случае наличия Sentryсервиса на локальном кластере, так и в случае его отсутствия. В случае отсутствия создаются синтетические права пользователям кластера. HDFS Gateway: Представляет собой proxy cервис (шлюз), реализующий Hadoop Data protocol. Для внешних пользователей представляет собой HDFS, к которому можно настраивать федерацию и подключатcя как Hadoop client. В процесс запроса данных компонент может трансформировать данные отдаваемые клиенту HDFS любым образом. В текущей момент планируется использовать как компонент Сервиса защиты данных для применения политик доступа к данным подписок. Потенциально может работать с любыми данными хранящимися в HDFS, сейчас реализована поддержка Apache parquet. Обязанности исследовать OSS библиотеки и фреймворки, проводить их анализ и доработку разрабатывать компоненты для маскирования и шифрования работать с библиотеками шифрования проводить анализ требований и предлагать архитектуру компонентов Требования уверенное владение Java SE знание и опыт работы с Hadoop компонентами (прежде всего HDFS, Hive) уверенные навыки кодирования знание Kerberos, GSS API, JAAS Java Security, SASL, Apache Thrift понимание сетевого программирования (socket) и сетей опыт работы с реляционными БД Будет плюсом: знание Scala или Python опыт использования Ansible Условия стабильный оклад+ годовое премирование и социальная поддержка сотрудников официальное оформление с первого дня профессиональный и дружный коллектив, готовый принимать и считаться с любой точкой зрения расширенный ДМС с первого дня работы для сотрудников и льготная медицинская страховка для близких бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров корпоративная пенсионная программа корпоративное обучение за счет компании, в т.ч. посещать конференции по профессиональной тематике, а так же огромный каталог образовательных программ реферальная программа для сотрудников: можно пригласить в команду знакомых профессионалов и получить вознаграждение до 100 тыс. рублей корпоративный спортзал и скидки в спортзалы-партнеры мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы· работу по Agile с лучшими из IT индустрии: 2000 продуктовых команд и возможность внутреннего перемещения льготные условия кредитования, в тч по ИПОТЕКЕ яркая и насыщенная корпоративная жизнь: «Зелёный марафон», Сбербанкиада, КВН, волонтёрские программы и т.д.. свободный dress code возможность самостоятельного выбора необходимых технологий, а так же возможность привнести своё видение в проект
Адрес
Санкт-Петербург