20.12.2022 17:32
Data Engineer (ETL+ML)
20.12.2022 17:32
Описание проектаНаша agile-команда создала информационную сборку в Департаменте глобальных рынков (ДГР).ДГР – предоставляет корпоративным и розничным представителям широкий спектр продуктов и услуг на рынках зарубежных и зарубежных финансовых рынков.Ключевые направления бизнеса – Торговля валютой, Товары, Акции, Фонды, Фиксированный доход, Ставки, Корректировка кредитной оценки, Структурированные продукты, Инвестиционно-банковские услуги.Этот бизнес потребляет и производит огромное количество данных, которые должны обрабатываться с целью:• поддерживать регулярные бизнес-операции проведения• специальный анализ• составление регулярной аналитической / управленческой отчетности.• разработка моделей машинного обучения, направленных на решение широкого спектра прикладных задач прогнозирования, выявления, кластеризации, выявления поведенческих паттернов и отклонений от них, анализа сентиментов и т.д.Разрабатываемая нами информационная платформа – высоконагруженное, преследующее достижение всех целей. Текущий инструментальный стек платформы: Python, Java, Informatica PowerCenter, Kafka, AirFlow, InfluxDB, kdb+, OneTick, MS SQL, PostgreSQL, MongoDB, Grafana, Qlik Sense, Kibana, ELK, OpenShift, библиотеки Python ML/DL, PySpark, TensorFlow;Обязанности Проектировать и использовать потоки для загрузки данных в хранилище Проектировать и реализовывать отдельные детали данных Создавать витрины для получения и для моделей машинного обучения Проектирование и разработка корпоративной аналитической платформы (ПКАП); Системная разработка, поддержка и оптимизация ETL-процессов и ML-моделей (MLOPs) на платформах Greenplum и Hadoop; НИОКР, реализация пилотов по выбору технологий и решений Поддержка промышленной эксплуатации разработанных решений Поддержание технической документации в актуальном состоянии Требования Опыт работы с консультацияи РСУБД (Greenplum, Teradata, Oracle, PostrgeSQL) Опыт работы с хранилищем данных (ХДД) Опыт работы с любой промышленной ETL-системой Знание SQL, PL/SQL или PL/pgSQL Знакомство с экосистемой HadoopЖелательные Очень плюс большой: опыт промышленной разработки на Python, Опыт работы с решениями CI/CD на базе Jenkins и Bitbucket/Git. Опыт работы с Data Vault, Знание основ администрирования ОС Linux. Условия Работа в аккредитованной ИТ-компании Полностью удаленный формат работы; Участие в проектах для крупных коммерческих компаний и банков; Современный подход к обучению и развитию сотрудников; Стабильный доход, который мы обсудим при встрече индивидуально; Индивидуальный план развития по итогам регулярных аттестаций; В качестве приятных бонусов: ДМС со стоматологией для сотрудников и их родственников, обучение и сертификация, скидки на курсы и фитнес; Трудоустройство в штат на бессрочный трудовой договор.
Адрес
Москва
Похожие вакансии
По договоренности
20.12.2022 17:32
Описание проектаНаша agile-команда создала информационную сборку в Департаменте глобальных рынков (ДГР).ДГР – предоставляет корпоративным и розничным представителям широкий спектр продуктов ...