ПРОЕКТ: Миграция данных из различных источников на Hadoop для одной из ведущих российских девелоперских компаний полного цикла, реализующих масштабные объекты недвижимости. На проекте данные загружаются из различных источников – MS SQL Server, REST API, Kafka и т.д. Задача DQ-инженера - проверка качества загружаемых данных, разработка стандартов загрузки, проверка полноты загружаемых данных. Данные проходят обработку, затем из них строятся витрины для бизнес-процессов. Для этого разрабатывается уникальный ID на основе персональных данных. Необходимо выстроить проверки (на полноту, на актуальность, на уникальность, на форматы и т.п.) для корректности данных через SQL-запросы и регулярные выражения. СТЭК: PostgreSQL; MS SQL Server: Airflow; Debezium; DataHub; JupiterHub; Python; HDFS; HUE; Hive; Impala; HBase; Kafka etc. ЧЕМ ТЫ БУДЕШЬ ЗАНИМАТЬСЯ: Выстраивать методологию тестирования данных на проекте; Проводить анализ загруженных данных/ витрин на предмет качества; На основе проведенного анализа составлять тест кейсы для дальнейшего написания DQ; Составлять SQL-запросы различного уровня сложности; Тестировать загрузку данных посредством ETL- инструментов. ТЫ НАШ ИДЕАЛЬНЫЙ КАНДИДАТ, ЕСЛИ У ТЕБЯ ЕСТЬ: Уверенные знания SQL; Начальные знания Python; Опыт работы с различными СУБД; Опыт составления чек-листов, тест-кейсов, тест-планов и др. документации тестирования. СОВСЕМ КРУТО, ЕСЛИ: Ты знаешь технологии BigData и экосистемы Hadoop (HDFS, HUE, Hive, Impala, HBase, Kafka etc); Ты работал с ETL- инструментами; Ты знаком с основами бухгалтерского учета. У НАС ТЫ СМОЖЕШЬ НАЙТИ: Прозрачную системы карьерного развития в компании; Персонального наставника с первого дня работы; Возможность развития личной экспертизы и экспертизы компании; Собственную платформу внутренних и внешних образовательных программ; Возможность пройти сертификацию; Возможность участия в обучении, конференциях, митапах; Неповторимую корпоративную культуру компании. Мы ищем кандидата без привязки к локации. Офисы компании находятся в городах: МОСКВА, САНКТ-ПЕТЕРБУРГ, НИЖНИЙ НОВГОРОД, САРАТОВ, ВОРОНЕЖ, ПЕНЗА.
Адрес
Санкт-Петербург