Ведущий разработчик/руководитель группы разработки ETL

компания "бюджетные и финансовые технологии" компания бюджетные и финансовые технологии занимается разработкой проектных решений на базе собственных программных и консалтинговых продуктов для госсектора и бизнеса. проекты, выполняемые нами, меняют в лучшую сторону жизнь людей по всей стране! за 25 лет на it-рынке: реализовано более 6000 проектов в 80 регионах и более 10 масштабных федеральных проектов; победитель в номинации «лучший поставщик в сфере информационных технологий» в течение 7 лет; входим в топ-25 ведущих разработчиков для госсектора по результатам рейтингов информационно-аналитических агентств cnews analytics и tadviser. сегодня мы в поиске руководителя группы разработки etl на крупный федеральный проект. проект предназначен для формирования централизованного консолидированного и нормализированного массива первичных исторических данных из информационных систем пфр, фсс и мсэ для последующей миграции в государственную информационную систему «единая централизованная цифровая платформа в социальной среде». проект охватывает весь массив данных 3-х разрозненных информационных систем пфр, фсс, мсэ, который необходимо провести через разработанную автоматизированную систему очистки и гармонизации. объем хранимых данных во всех подсистемах более 2 млрд данных, состоящие из персональных данных граждан, страхователей, всех видов выплат и предоставленных услугах социальными ведомствами: пфр, фсс, мсэ. в задачи будет входить: управление командой разработки, постановка задач, приемка и контроль выполнения; участие в проектировании систем и их интеграции; контроль за соблюдением архитектурных решений, соответствием разработки техническому решению, исходным кодом; согласование взаимодействия компонентов программного обеспечения; реализация механизмов оркестрации и автоматизации etl-процесса; разработка скриптов на уровне инструментов etl; участие в разработке хранилища данных (big data); написание и оптимизацию sql запросов; разработка технической и проектной документации. мы ждем от вас: опыт управления командой разработки; опыт планирования работ, оценки объемов работ; опыт работы с любым промышленным etl –решением; опыт работы с apache airflow; опыт проектирования и разработки сложных sql-процедур и запросов, оптимизации производительности; опыт проектирования и разработки процедур очистки и контроля качества данных; опыт оптимизации и настройки производительности etl-процессов; опыт построения мониторинга метрик качества etl-процессов; опыт тестирования производительности etl-процедур на большом объеме данных и большим параллелизмом операций (создание нагрузки, съем метрик, анализ); навыки администрирования промышленных etl платформ; опыт командной разработки: ci/cd, gitflow, jira, ведение внутренних репозиториев пакетов. будет плюсом: понимание особенностей работы субд postgres (например, работы индексов на операциях чтения и вставки); опыт работы с apache spark (pyspark framework); опыт работы с clickhouse; опыт написания проектной документации. мы предлагаем: работу над крупным новым проектом с современным стеком: java 11, spring, postgresql, kafka, отсутствие legacy кода; удаленный формат работы; полное соблюдение тк рф; корпоративное обучение за счет компании (митапы, тренинги, вебинары и т.д.); специальные предложения от партнеров (спорт и изучение английского языка со скидкой); дмс после испытательного срока.