Ведущий разработчик/руководитель группы разработки ETL

Компания Бюджетные и финансовые технологии занимается разработкой проектных решений на базе собственных программных и консалтинговых продуктов для госсектора и бизнеса. Проекты, выполняемые нами, меняют в лучшую сторону жизнь людей по всей стране! За 25 лет на IT-рынке: реализовано более 6000 проектов в 80 регионах и более 10 масштабных федеральных проектов; победитель в номинации «Лучший поставщик в сфере информационных технологий» в течение 7 лет; входим в ТОП-25 ведущих разработчиков для госсектора по результатам рейтингов информационно-аналитических агентств Cnews Analytics и Tadviser. Сегодня мы в поиске руководителя группы разработки ETL на крупный федеральный проект. Проект предназначен для формирования централизованного консолидированного и нормализированного массива первичных исторических данных из информационных систем ПФР, ФСС и МСЭ для последующей миграции в государственную информационную систему «Единая централизованная цифровая платформа в социальной среде». Проект охватывает весь массив данных 3-х разрозненных информационных систем ПФР, ФСС, МСЭ, который необходимо провести через разработанную автоматизированную систему очистки и гармонизации. Объем хранимых данных во всех подсистемах более 2 млрд данных, состоящие из персональных данных граждан, страхователей, всех видов выплат и предоставленных услугах Социальными ведомствами: ПФР, ФСС, МСЭ. В задачи будет входить: управление командой разработки, постановка задач, приемка и контроль выполнения; участие в проектировании систем и их интеграции; контроль за соблюдением архитектурных решений, соответствием разработки техническому решению, исходным кодом; согласование взаимодействия компонентов программного обеспечения; реализация механизмов оркестрации и автоматизации ETL-процесса; разработка скриптов на уровне инструментов ETL; участие в разработке хранилища данных (Big Data); написание и оптимизацию SQL запросов; разработка технической и проектной документации. Мы ждем от вас: опыт управления командой разработки; опыт планирования работ, оценки объемов работ; опыт работы с любым промышленным ETL –решением; опыт работы с Apache Airflow; опыт проектирования и разработки сложных SQL-процедур и запросов, оптимизации производительности; опыт проектирования и разработки процедур очистки и контроля качества данных; опыт оптимизации и настройки производительности ETL-процессов; опыт построения мониторинга метрик качества ETL-процессов; опыт тестирования производительности ETL-процедур на большом объеме данных и большим параллелизмом операций (создание нагрузки, съем метрик, анализ); навыки администрирования промышленных ETL платформ; опыт командной разработки: CI/CD, gitFlow, Jira, ведение внутренних репозиториев пакетов. Будет плюсом: Понимание особенностей работы СУБД Postgres (например, работы индексов на операциях чтения и вставки); Опыт работы с Apache Spark (PySpark Framework); Опыт работы с Clickhouse; Опыт написания проектной документации. Мы предлагаем: работу над крупным новым проектом с современным стеком: Java 11, Spring, PostgreSQL, Kafka, отсутствие legacy кода; удаленный формат работы; полное соблюдение ТК РФ; корпоративное обучение за счет компании (митапы, тренинги, вебинары и т.д.); специальные предложения от партнеров (спорт и изучение английского языка со скидкой); ДМС после испытательного срока.