Middle/Senior Data Engineer

Наша команда занимается разработкой витрин данных для продуктов транзакционного бизнеса. От организации тракта получения данных источника в потоковом и пакетном режиме до разработки интерфейсов предоставления доступа к данным. Основа технологического стека : Hadoop, Spark, Sqoop, Kafka, Nifi, PostgreSQL, OpenShift, Java(Spring). Обязанности Вам предстоит проектировать и выстраивать ETL процессы загрузки данных с гибкой логикой обновления внутренней модели. Построение витрин больших объемов (десятки терабайт), в т.ч. с возможностью частичного перестроения. Требования Уверенное владение Scala в части spark-разработки Понимание принципов распределенных вычислений Знание и понимание DevOps практик Опыт работы с Unix-системами Знание SQL и опыт работы с реляционными СУБД Опыт разработки баз данных от 2 лет Будет плюсом Знакомство с итеративной разработкой, подходами CI/CD Опыт работы с in-memory и noSQL БД Знание распространенных паттернов проектирования Опыт проектирования и разработки высоконагруженных систем высокого класса критичности Опыт работы с PostgreSQL Условия Профессиональное обучение, семинары, тренинги, конференции ДМС с первого дня, сниженные ставки по кредитованию, ипотеке, программы лояльности для сотрудников Самые инновационные, амбициозные проекты и задачи Комфортный офис «Sbergile Home» с просторными опенспейсами, лаунж зонами, кафе, рестораном и оборудованными кухнями Бесплатный фитнес-зал Дисконт-программа от множества компаний партнеров