компания "сбербанк" о проекте – что мы делаем и зачем наша agile-команда создает информационную платформу gm ta (global markets trading analytics) в интересах департамента глобальных рынков (дгр). дгр – предоставляет корпоративным и розничным клиентам широкий спектр продуктов и услуг на локальных и зарубежных финансовых рынках. ключевые направления бизнеса – fx trading, commodities, equity, founding, fixed income, rates, credit valuation adjustment, structured products, investment banking. этот бизнес потребляет и порождает огромное количество данных, которые должны обрабатываться c целью: поддержки регулярных бизнес-операций проведения ad hoc анализа подготовки регулярной аналитической / управленческой отчетности разработки моделей машинного обучения, направленных на решение широкого спектра прикладных задач прогнозирования, классификации, кластеризации, выявления поведенческих паттернов и отклонений от них, сентимент-анализ и т.д. разрабатываемая нами информационная платформа – высоконагруженное решение, призванное обеспечить достижение всех этих целей. текущий инструментальный стек платформы: python-скрипты, java kafka, airflow ms sql, greenplum, postgresql, influxdb grafana, qlik sense python ml/dl libraries, pyspark, pytorch, tensorflow вот примеры некоторых наших задач: анализ чатов трейдеров. чаты трейдеров представляют собой поток текстовых сообщений (переписку), которыми обмениваются трейдеры в процессе проведения торгов. переписка содержит много сокращений и аббревиатур, причем один и тот же объект может обозначаться по-разному. необходимо анализировать этот поток в режиме near-real-time (не реже 1 раз в 5 секунд) и извлекать из полученных сообщений данные о торговых фактах, в том числе: инструменты, цены, объемы сделок, начало/конец аукционов, текущие котировки, факты продаж и любую другую информацию, которая может быть выделена и систематизирована. полученные результаты должны быть обработаны и приведены к единому формату (инструменты, даты, факты) с целью профилирования и сегментации трейдеров, формирования объемного представления о рынке и принятия оптимальных решений о проведении сделок анализ новостного потока. необходимо в приходящем из разных источников новостном потоке определять тематику каждой новости и ее эмоциональную окраску (позитив/негатив), выделять в контенте новости объекты, с которыми она связана – компании, государства и т.п. кроме того, необходимо отслеживать каждую тему во времени, находить дубликаты новостей, оценивать интенсивность новостного потока и его влияние на спрос и котировки финансовых инструментов, прямо или косвенно связанных с объектами новостей анализ отклонений в поведении клиентов. клиенты, совершающие операции на валютном рынке, характеризуются определенными паттернами своих операций. количество таких клиентов огромно, соответственно каждый день возникает значимый поток транзакций, связанных с ошибками/проблемами на стороне клиентов – выбор не той валютной пары, ошибка в порядке суммы операции, несвойственное клиенту отсутствие активности (как правило, из-за проблем с доступом к торговому терминалу). необходимо выявлять отклонения от паттернов клиентских операций и формировать сигналы, позволяющие нормализовать ситуацию сегментация клиентов для оптимизации продуктового предложения и цены. клиенты характеризуются набором атрибутов, включающих принадлежность к отрасли, размер выручки, потребляемые финансовые продукты, паттерны движения денег на счетах, связанные с этим операции и т.д. необходимо анализировать такие данные о клиентах с целью их сегментации и определения для сформированных сегментов перечней наиболее подходящих финансовых продуктов в допустимых ценовых диапазонах. также необходимо выявлять факторы, сигнализирующие о наиболее подходящем моменте для предложения сделки клиенту выявление фрода. клиенты на валютном рынке, могут совершать операции, характеризуемые как fraud в отношении банка. необходимо выявлять паттерны таких операций и своевременно реагировать на их появление в клиентском профиле, регулируя, соответствующим образом, ценовое предложение для таких клиентов анализ данных аукционов. во время проведения аукционов на различных торговых площадках необходимо, в режиме near-real-time (не реже 1 раз в 5 секунд), извлекать и анализировать данные об инструментах и ценах, опубликованных на этих торговых площадках с целью формирования объемного представления о рынке и принятия оптимальных решений о проведении сделок хеджирование риска курсовых разниц по карточным операциям. риск курсовых разниц возникает при оплате товаров и услуг в валюте, отличной от валюты счета карты. валютные куры на день авторизации платежа и день расчета с международной платежной системой (мпс), как правило, разные, что может приводить к финансовым потерям. необходимо в день авторизации прогнозировать объемы резервирования валют для будущих расчетов с мпс и сроки такого резервирования, учитывая, что авторизуемые суммы и суммы фактических платежей отличаются разнонаправленно теоретические знания математика теория вероятностей и статистика машинное обучение прикладное программирование уверенные практические навыки (hand zone) иностранный язык. понимание разговорного английского языка и свободное ведение деловой переписки языки программирования ansi sql и python постановка задач, работа с бизнес-заказчиком разработка полнофункционального прототипа ml/dl модели операционализация модели и ввод ее в эксплуатацию (оэ/пэ) условия развитая it архитектура. мощный gpu кластер, возможность расчётов на суперкомпьютере top-30 в мире работа в комфортном офисе по ул. вавилова, 19 скидки на продукты банка и экосистемы постоянное развитие: обучающие курсы от лучших университетов и компаний, участие в международных конференциях развитое ds community
Адрес
Москва