компания "алроса информационные технологии" наши задачи: разработка пайплайнов обработки данных в batch и в потоковом режиме (результатами будут пользоваться ds разработчики). оптимизация существующих пайплайнов; разработка витрин данных; помощь ds в написании etl пайплайнов к моделям; расширение стека технологий внутри компании (внедрение sota подходов); внедрение dq метрик; прокидывание данных из внутренних сетей в выделенный контур на яоблаке. стек: airflow, jupyterhub, mlflow, fastapi, streamlit, mssql, mysql, postgresql, visiology, kubernetes, яндекс облакоб, git. нам важно: опыт работы с etl инструментами; опыт работы с облачными сервисами; опыт работы с airflow, postgresql (и аналоги), clickhouse, greenplum; опыт работы с mongodb; опыт взаимодействия с api сервисами; bash, linux; знание sql и python. будет плюсом: опыт работы с hadoop (hdfs, yarn, hive, spark); опыт работы с docker; знание библиотек машинного обучения; опыт работы с внедрением ml моделей в прод; опыт работы с kafka, flink, casandra; знание scala. ждём ваше резюме!
Адрес
Москва