компания "лига цифровой экономики" ищем разработчика hadoop на проект по оптимизации существующих функционалов единого информационного хранилища. твои задачи: анализ текущей реализации; разработка/актуализация архитектуры совместно с архитектором и аналитиком; формирование комплекта проектной документации (release info, admin guide, release notes и пр.); разработка etl-процессов на spark и scala; написание функционала взаимодействия с kafka и kubernates; проведение тестирования разработанного функционала совместно с аналитиком. мы ждем от тебя: отличное знание sql и hql (агрегирующие функции, оконные функции, оптимизация запросов); понимание принципов работы реляционных субд и hdfs; опыт работы с hadoop и hive; отличное знание архитектуры hdfs (партиционирование данных, форматы файлов, особенности хранение и т.д.); опыт работы с apache spark (архитектура, особенности); знание scala на уровне работы со spark api; опыт работы с apache airflow; опыт работы с apache kafka (batch, streaming); умение работать с git; опыт работы с postgresql, vertica; знание python (на уровне написания сложных dag-ов в apache airflow); опыт оптимизации существующих функционалов; опыт работы с детальными слоями хранилищ данных; опыт работы в условиях строгих стандартов разработки и требований по иб.
Адрес
Москва