компания "неофлекс" проект: миграция данных из различных источников на hadoop для одной из ведущих российских девелоперских компаний полного цикла, реализующих масштабные объекты недвижимости. на проекте данные загружаются из различных источников – ms sql server, rest api, kafka и т.д. задача dq-инженера - проверка качества загружаемых данных, разработка стандартов загрузки, проверка полноты загружаемых данных. данные проходят обработку, затем из них строятся витрины для бизнес-процессов. для этого разрабатывается уникальный id на основе персональных данных. необходимо выстроить проверки (на полноту, на актуальность, на уникальность, на форматы и т.п.) для корректности данных через sql-запросы и регулярные выражения. стэк: postgresql; ms sql server: airflow; debezium; datahub; jupiterhub; python; hdfs; hue; hive; impala; hbase; kafka etc. чем ты будешь заниматься: выстраивать методологию тестирования данных на проекте; проводить анализ загруженных данных/ витрин на предмет качества; на основе проведенного анализа составлять тест кейсы для дальнейшего написания dq; составлять sql-запросы различного уровня сложности; тестировать загрузку данных посредством etl- инструментов. ты наш идеальный кандидат, если у тебя есть: уверенные знания sql; начальные знания python; опыт работы с различными субд; опыт составления чек-листов, тест-кейсов, тест-планов и др. документации тестирования. совсем круто, если: ты знаешь технологии bigdata и экосистемы hadoop (hdfs, hue, hive, impala, hbase, kafka etc); ты работал с etl- инструментами; ты знаком с основами бухгалтерского учета. у нас ты сможешь найти: прозрачную системы карьерного развития в компании; персонального наставника с первого дня работы; возможность развития личной экспертизы и экспертизы компании; собственную платформу внутренних и внешних образовательных программ; возможность пройти сертификацию; возможность участия в обучении, конференциях, митапах; неповторимую корпоративную культуру компании. мы ищем кандидата без привязки к локации. офисы компании находятся в городах: москва, санкт-петербург, нижний новгород, саратов, воронеж, пенза.
Адрес
Санкт-Петербург