компания "x5 retail group" в команде etl x5 технологии, в связи расширением и появлением новых задач по загрузке новых данных, открыта позиция data engineer (интеграция с источниками)на данный момент, у нас построен кластер hadoop общей емкостью 1 петабайт. команда etl отвечает за интеграцию кластера с источниками данных.мы загружаем данные из различных источников данных (как внутри компании, так и извне) в кластер hadoop.результат работы разработанных нашей командой механизмов - стабильно обновляемые базы данных в hive. на основе этих баз данных дбд разрабатывает различные продукты для широкого круга заказчиков внутри x5 group и снаружи. наш стек: apache nifi, kafka, hadoop, hive, sqoop, postgres, java чем предстоит заниматься: разработка приложений загрузки данных; валидация данных; отладка потоков данных; исправление ошибок загрузки данных. наш кандидат: знание sql (индексы, функции, умение читать планы запросов). опыт работы с любой реляционной бд (oracle, postgres, mysql, mssql, db2 и т.п.). умение писать на любом языке (python, groovy, java и т.п.). умение работать с git в консоли. опыт работы с любым графическим etl инструментом (apache nifi, airflow, talend, informatica, sas и т.п.). опыт работы с apache kafka и системами хранения и визуализации логов (примеры - efk, graylog). опыт работы с grafana. опыт работы с hadoop. понимание устройства hdfs, форматов данных. опыт работы с hive или любым другим хранилищем на основе hadoop. желание самостоятельного усовершенствования своих навыков и повышения квалификации. будет плюсом опыт работы с nosql (mongo, redis, cassandra, clickhouse и т.п.) опыт работы в смежных областях (саппорт, системный анализ и т.п.) опыт работы в больших компаниях мы предлагаем: возможность работать удалённо или ездить в офис на м. волгоградский проспект / м. добрынинская/ м. парк культуры возможность роста: план развития, регулярная обратная связь, 2 раза в год оценка персонала яркую корпоративную жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации: x5 tech bar, регулярные внутренние митапы, демо-дни, открытые микрофоны, обмен опытом через внутренние комьюнити, день it-специалиста, программы корпоративного волонтерства, корпоративное предпринимательство x5 idea challenge широкий пакет дмс (включая выезд за рубеж и стоматологию), страхование жизни и здоровья; забота о благополучии сотрудников: регулярная онлайн-йога, ежедневные онлайн-зарядки по утрам, зож-марафоны. скидки в экосистеме бизнесов х5 («пятёрочка», «перекрёсток», «карусель», «около», «много лосося», «5post», «перекресток впрок») программа привилегий prime-zone (скидки на товары и услуги и специальные предложения от компаний-партнёров); материальную помощь сотрудникам, попавшим в сложную жизненную ситуацию узнать о нас больше вы можете в соц.сетях #x5tech
Адрес
Москва