Наши задачи: Разработка пайплайнов обработки данных в batch и в потоковом режиме (результатами будут пользоваться DS разработчики). Оптимизация существующих пайплайнов; Разработка витрин данных; Помощь DS в написании ETL пайплайнов к моделям; Расширение стека технологий внутри компании (внедрение SOTA подходов); Внедрение DQ метрик; Прокидывание данных из внутренних сетей в выделенный контур на ЯОблаке. Стек: Airflow, JupyterHub, MLflow, FastAPI, Streamlit, MSSQL, MySQL, PostgreSQL, Visiology, Kubernetes, Яндекс Облакоб, Git. Нам важно: Опыт работы с ETL инструментами; Опыт работы с облачными сервисами; Опыт работы с Airflow, PostgreSQL (и аналоги), ClickHouse, GreenPlum; Опыт работы с MongoDB; Опыт взаимодействия с API сервисами; Bash, Linux; Знание SQL и Python. Будет плюсом: Опыт работы с Hadoop (HDFS, Yarn, Hive, Spark); Опыт работы с Docker; Знание библиотек машинного обучения; Опыт работы с внедрением ML моделей в прод; Опыт работы с kafka, flink, Casandra; Знание Scala. Ждём ваше резюме!
Адрес
Москва