NLP - Разработчик

SberDevices - инновационное направление компании, которое создает умные устройства, виртуальные ассистенты и другие продукты в области Speech Recognition, NLP, Computer Vision.Команда AGI_NLP. Мы занимаемся трансформерными моделями для задач обработки естественного языка.Задачи:— имплементация и обучение новых state-of-the-art моделей, как для русского языка, так и мультиязычных— распределенное обучение моделей на суперкомпьютере в сотни GPU— эксперименты по оптимизации моделей, ускорению обучения, новым методам распределенного обучения и инференса— работа над созданием надежного, быстрого и масштабируемого пайплайна для обучения гигантских моделей в десятки миллиардов параметров. Требования:— хорошее понимание современных архитектур нейронных сетей, Seq2Seq, трансформеры, BERT, GPT, T5 и т.п.— опыт работы с Pytorch или TF; мы пишем на Pytorch— умение читать и разбирать статьи о новых архитектурах и подходах— понимание принципов обучения, тюнинга, оценки deep learning моделей— опыт отладки нейронных сетей и модификации архитектур или создания собственных— уверенное знание Python, Git, Linux shell. Будет плюсом:— опыт распределенного обучения на нескольких GPU и серверах— опыт работы с CUDA— опыт оптимизации или сжатия/дистилляции моделей— опыт воспроизведения статей в коде— знание C++— ШАД; — наличие публикаций по Deep Learning.Условия: — Самые инновационные, амбициозные проекты и задачи — Профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека — ДМС, страхование жизни — Свободный дресс-код — Гибкий график для оптимального баланса работы и личной жизни — Льготные кредиты и корпоративные скидки — Конкурентная компенсация (оклад и премии по результатам деятельности).