компания "яндекс" мы – вертикали, вертикали – это 5 крупных продуктов, такие как путешествия, авто.ру, недвижимость, аренда и см. эскперт. в команде разработки аналитической инфраструктуры занимаемся полным циклом обработки данных в компании, который включает сбор, хранение, валидацию и комбинирование всех знаний о бизнесе. ключевое направление нашей деятельности — аналитическое хранилище данных (dwh), которое мы строим для нужд бизнес-подразделений. нашими пользователями являются как продуктовые команды, которым нужна регулярная отчётность для принятия решений, так и эксперты в области глубокого анализа данных. технологически ядро хранилища построено на системах хранения данных yandex tables (кластер mapreduce собственной разработки), сlickhouse и postgresql. для разработки, оркестрации и мониторинга etl-процессов используется собственный фреймворк, который разработан внутри яндекса. для организации модели хранения данных на разных уровнях применяются различные методологии проектирования хранилищ данных: lambda-архитектура, data lake, data vault. что нужно делать: вести разработку etl-процессов поставки данных; проектировать структуру хранения данных в разных слоях хранилища; выявлять неэффективные участки в существующих процессах поставки данных и оптимизировать их; участвовать в развитии фреймворка поставки данных; погружаться в данные одной или несколько прикладных бизнес-областей и становиться в них экспертом; сопровождать разработанные etl-процессы. мы ждем, что вы: экспертно разбираетесь в sql; имеете опыт промышленной разработки на одном из языков высокого уровня: python, go, java и другие; понимаете устройство и архитектуру реляционных баз данных; проектировали dwh: слои, модели хранения данных, etl-процессы; знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными. будет плюсом, если вы: понимаете принципы работы технологий распределённой обработки данных: hadoop, mapreduce, mpp; пользовались хотя бы одной mpp субд, например greenplum, clickhouse, vertica, teradata и т. д.; работали с брокерами сообщений, такими как kafka, rabbitmq или подобными; умеете работать в командной строке систем unix-like: linux, macos. условия: конкурентная заработная плата: с удовольствием обсуждаем индивидуальные условия с интересными для нас кандидатами; расширенное страхование: дмс с первого месяца работы с широким покрытием, страхование от несчастных случаев, страхование выезжающих за рубеж, а также возможность застраховать семью с корпоративной скидкой; компенсация оплаты питания, а также завтраки, ланчи и снеки в офисе; обучение: внутренняя библиотека, курсы, конференции; жилищная программа; гибкий формат работы: каждый сотрудник сам выбирает комфортный для себя режим — дом, офис или смешанный формат.
Адрес
Москва