Мы — команда платформы аналитики — разрабатываем инструменты для поставки, обработки и анализа больших данных. Наши пользователи — инженеры данных и аналитики. Технологически ядро хранилища построено на системах хранения данных Yandex Tables (Hadoop собственной разработки), Greenplum и СlickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются подходы от Data Lake до Data Vault. Наше хранилище — одно из самых крупных в России (порядка 10 петабайт) и, с учётом темпов роста бизнеса, оно будет самым крупным. К нему предъявляются высокие требования по надёжности, что ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений. Что нужно делать: строить отказоустойчивые и масштабируемые системы поставки данных, способные прокачивать терабайты в сутки; масштабировать MPP-хранилища под BI-системами с десятков до сотен контейнеров; развивать фреймворк поставки и обработки данных, чтобы экономить время инженера данных, упрощать стек для аналитиков; повышать эффективность платформы, используя новые подходы и технологии: потоковую аналитику, real-time-поставку и новые способы агрегации данных. Мы ждем, что вы: уверенно знаете Python на уровне написания собственного фреймворка; знаете SQL на уровне оптимизации сложных запросов; знаете про слои DWH, модели хранения данных, процессы ETL; знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными; понимаете принципы работы хотя бы одной технологии распределённой обработки данных: Spark, Spark Streaming, Flink, MapReduce, ClickHouse, Greenplum. Будет плюсом, если вы: пользовались хотя бы одним MPP-хранилищем (Greenplum, ClickHouse, Vertica, Teradata и т. д. ); умеете пользоваться шинами данных (Kafka) и работать с архитектурой event-driven; имеете глубокое знание PostgreSQL с точки зрения разработчика; имеете опыт промышленной разработки на Java или C++. Условия: современный офис, в котором есть вся необходимая инфраструктура для комфортной работы и отдыха; можем обсудить и удалённую работу, если ваш часовой пояс недалеко от Москвы и вы готовы быть на связи; официальное трудоустройство, компенсация оплаты питания на территории кампуса и поблизости; гибкий график: мы не контролируем ваше время, главное — выполнять задачи; профессиональная команда, у которой можно многому научиться и перенять полезный опыт; культура открытости и взаимопомощи; высокая скорость процессов и возможность быстро увидеть свой вклад; работа в технологической компании, которая создаёт сервисы, приносящие пользу миллионам людей.
Адрес
Москва