компания "гку инфогород" департамент информационных технологий города москвы — команда профессионалов, чья работа, часто невидимая для невооруженного глаза, с каждым днём делает жизнь москвичей удобнее. в продукт управление данными ищем аналитика больших данных. сейчас команда активно растёт и продолжает набирать темп, поэтому мы в поисках новых талантов! что нужно делать: много копаться в данных: договариваться об их получении, смотреть на них, описывать особенности и строить процессы их обработки для того чтобы потом эти данные можно было использовать для data-informed управления городом или для функционирования городских сервисов. есть 4 основных сценария работы: интеграция данных ситуация: под какую-то задачу нужны данные, либо просто натыкаемся на какой-то интересный источник и хотим его завезти к нам в бд. в этом случае нужно наладить контакт с источником данных, изучить и описать данные и продумать и описать процесс их поставки. если процесс не очень сложный, можно реализовать его самому, используя airflow + sql/pyspark. предоставление данных ситуация: кому-то нужны данные, которые частично или полностью есть у нас. в этом случае мы пытаемся дособрать недостающие данные (сценарий выше), описываем все преобразования для приведения данных к удобному для пользователя виду и либо передаём это описание дата-инженерам, либо пишем процесс сами на всё том же стеке: airflow + sql/pyspark. ad-hoc в этот сценарий входит широкий пул задач: от обогащения эксельных файлов дополнительными полями до синхронизации дампов московских сервисов. задачи из этого блока могут занимать как несколько минут так и пару недель. сложно предсказать, что попадётся, но часто попадаются нескучные вещи. развитие по ходу выполнения задач могут накапливаться полезные инструменты - мы стараемся их систематизировать в python-модуле, его дополнение и улучшение будет очень приветствоваться. основная цель здесь - автоматизировать как можно больше ручных операций, чтобы освободить время на нерутину и минимизировать человеческий фактор. наш стек: • sql (vertica, в будущем потенциально greenplum и clickhouse); • python (vertica-python, pandas, airflow); • excel (умение слегка причесать данные, если в питоне это делать дольше). технологии в нашем контуре, которыми можно пользоваться, но мы не заставляем: • hadoop; • pyspark; • sftp/smb (положить/вытащить файлик); • для тяжелых датасетов есть терминалки на windows-server с большими ресурсами (если хочется покрутить в памяти). мелочи: • outlook/jira/confluence/telegram (написать письмо/посмотреть задачу/создать док); • gitlab (тут держим код). оговорка: наш стек сложился в ходе работы, но это не означает, что он где-то жёстко закреплён. как относительно молодая команда мы открыты к новым и интересным инструментам, которые упростили бы нам жизнь и попутно обогатили дата-культуру департамента. например, сейчас мы активно занимаемся внедрением каталога данных и dbt в наш стек, а ряд задач крутим в r и powerbi. чего ждём от тебя: • опыт работы с данными и интерес к этому занятию - если от таблиц становится плохо или если непонятно, что такое join, будет тяжело; • хороший опыт работы хоть с какими-то технологиями из нашего стека - мы будем рады передать накопленный за время работы опыт, но фундаментальную базу заложить просто не успеем, потому что задач становится только больше; • готовность иногда задерживаться вечером или выйти на работу по спецпроекту в выходной - переработки компенсируются. мы предлагаем: • офис на арме, но в основном работаем из дома; • можно начинать рабочий день в удобное время, но желательно держать его стабильным в течение недели, чтобы команда понимала, в какое время к тебе можно обратиться за помощью; • можно работать на чём угодно - на корпоративном ноутбуке, на своём ноутбуке, на windows и на macos; • молодая команда - в задачах не льём воду и целимся на ощутимый результат, скорее всего поймём (может даже оценим!!) твои мемы, накидаем своих; • есть дмс, оплачивается отдельно по спецпредложению от партнёров.
Адрес
Москва