компания "яндекс" мы — команда платформы аналитики — разрабатываем инструменты для поставки, обработки и анализа больших данных. наши пользователи — инженеры данных и аналитики. технологически ядро хранилища построено на системах хранения данных yandex tables (hadoop собственной разработки), greenplum и сlickhouse. разработка процессов etl идёт на собственном фреймворке, который создан внутри яндекса. для организации модели хранения данных на разных уровнях применяются подходы от data lake до data vault. наше хранилище — одно из самых крупных в россии (порядка 10 петабайт) и, с учётом темпов роста бизнеса, оно будет самым крупным. к нему предъявляются высокие требования по надёжности, что ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений. что нужно делать: строить отказоустойчивые и масштабируемые системы поставки данных, способные прокачивать терабайты в сутки; масштабировать mpp-хранилища под bi-системами с десятков до сотен контейнеров; развивать фреймворк поставки и обработки данных, чтобы экономить время инженера данных, упрощать стек для аналитиков; повышать эффективность платформы, используя новые подходы и технологии: потоковую аналитику, real-time-поставку и новые способы агрегации данных. мы ждем, что вы: уверенно знаете python на уровне написания собственного фреймворка; знаете sql на уровне оптимизации сложных запросов; знаете про слои dwh, модели хранения данных, процессы etl; знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными; понимаете принципы работы хотя бы одной технологии распределённой обработки данных: spark, spark streaming, flink, mapreduce, clickhouse, greenplum. будет плюсом, если вы: пользовались хотя бы одним mpp-хранилищем (greenplum, clickhouse, vertica, teradata и т. д. ); умеете пользоваться шинами данных (kafka) и работать с архитектурой event-driven; имеете глубокое знание postgresql с точки зрения разработчика; имеете опыт промышленной разработки на java или c++. условия: современный офис, в котором есть вся необходимая инфраструктура для комфортной работы и отдыха; можем обсудить и удалённую работу, если ваш часовой пояс недалеко от москвы и вы готовы быть на связи; официальное трудоустройство, компенсация оплаты питания на территории кампуса и поблизости; гибкий график: мы не контролируем ваше время, главное — выполнять задачи; профессиональная команда, у которой можно многому научиться и перенять полезный опыт; культура открытости и взаимопомощи; высокая скорость процессов и возможность быстро увидеть свой вклад; работа в технологической компании, которая создаёт сервисы, приносящие пользу миллионам людей.
Адрес
Москва