Сейчас мы ищем разработчика на задачи разработки DWH-платформы и автоматизации ETL-процессов. Команда занимается разработкой платформы для хранения и обработки данных ключевых сервисов VK (Почта, Медиапроекты, Облако, Звонки, Маруся и др.). А также разработкой сервисов для решения различных бизнес-задач с этими данными. В настоящий момент наш вычислительный кластер хранит десятки петабайт данных. Для нас важен большой опыт Python-разработки. У нас много разноплановой разработки, часть из которой связана с железом. На проекте используются реляционные базы данных, Hadoop, Spark, Airflow, bash. Часть кода написана на Java/Scala, поэтому их знание будет для нас большим плюсом. Задачи: интеграция разнородных систем-источников; проектирование и сопровождение потоков данных; разработка инструментов качества данных; доработка и поддержка CI/CD. Требования: навыки разработки на Python; опыт работы с реляционными СУБД, отличное знание SQL, понимание, как работают индексы, опыт оптимизации запросов; умение писать код, решать алгоритмические задачи. Будет плюсом: имеется представление о работе аналитических СУБД и MPP-систем (Vertica, ClickHouse или др.); знание методологий проектирования хранилищ данных; опыт разработки потоков данных на Airflow; опыт работы со стеком Hadoop (Spark/Scala).
Адрес
Москва