компания "aviasales.ru" наша команда инфраструктуры аналитики помогает аналитикам делать свою работу. мы обеспечиваем доставку данных в единое хранилище для аналитики и поддерживаем инструменты для их обработки и презентации. в компании много самодостаточных команд. в каждой команде свои сервисы, свои разработчики и аналитики. так что у нас достаточно потоков данных самого разнообразного формата и объема. это данные о букингах, на которые смотрит вся компания, и каждая запись проверяется чуть ли не руками, а еще — данные о билетах объемом более терабайта в сутки. это требует разных подходов с нашей стороны. сейчас у нас есть повидавший виды data warehouse на базе impala + hdfs на арендованных серверах. большая часть данных поступает через кафку. мы медленно переезжаем на aws на trino + s3 + iceberg (возможно). еще рядом spark для специфических задач. хочется переезжать быстрее. для этого надо среди прочего наладить работу с текучкой, чтобы она забирала меньше времени. что нужно будет делать: решить часть проблем, связанных с самописным загрузчиком и оркестратором: местами не успеваем как следует вычитывать толстые топики с данными, так что рано или поздно надо переехать на другое решение (может flink, может spark streaming); перенести часть задач на airflow: сейчас уже понятно, что event-based подход хорошо подходит не для всех задач; у нас cамописный оркестратор, потому что хотелось event-based систему, а не на кроне, а на момент запуска airflow и luigi этого не умели; привести в порядок агрегированные таблицы, их стало уже много (cейчас переносим из самописного оркестратора в airflow и думаем насчет dbt); в авиасейлс много интересных аналитике действий совершается на клиенте, без общения с серверами: очень много разных событий идет от клиента с использованием snowplow; это отдельный большой пласт работ — как с технической стороны, так и с настройкой процессов; наладить работу текучки, чтобы она забирала меньше времени; оценивать и декомпозировать задачи совместно с командой, контролировать их выполнение, помогать разбираться с проблемами и узкими местами; проводить 1-1, давать регулярную обратную связь и участвовать в перформанс ревью команды; участвовать в найме, проводить собеседования. что мы ждем от тебя: сильный бэкраунд в работе с данными; опыт менеджмента команды от трех человек, возможно, как “играющего тренера“; широкий кругозор в инструментах работы с данными; опыт создания и защиты роудмапов как рутинных задач, так и больших проектов или изменений. что мы предлагаем: сильную команду и возможность влиять как на технологические, так и на продуктовые решения; возможность выбрать, где работать — удаленно или в одном из наших офисов (пхукет, москва или петербург); заботу о здоровье: компенсацию индивидуальной психотерапии, медицинскую страховку для тебя и твоей семьи; поддержку твоих увлечений: компенсацию занятий спортом и изучения иностранных языков.
Адрес
Москва