компания "биайэй-технолоджиз" в связи с увеличением портфеля проектов и расширением задач нам требуется ведущий разработчик hadoop задачи: развитие озёра данных на базе hadoop: проектирование озёра данных, написание пайплайнов для подключения новых источников, написание интеграционных механизмов, в том числе для передачи данных в dwh, реализация механизмов параллельной обработки данных на базе hadoop. требования к опыту: опыт работы с hadoop и его экосистемой hive, spark, kafka, airflow и т.д. знание sql опыт программирования на java, scala, python отличное понимание процессов etl/elt и как их применять понимание принципов ci/cd широкий кругозор в технологиях хранения, обработки и анализа данных (субд, etl-инструменты, bi-решения и т.д.) аналитический склад ума будет преимуществом: опыт в администрировании linux; опыт работы с rdbms: mssql server и/или postgresql; опыт работы с docker, kubernetes; опыт в областях: машинное обучение, интеллектуальный анализ данных, рекомендательные системы
Адрес
Санкт-Петербург