Senior Python Developer / Data Engineer в команду Data Catalog, платформа ML Space

Приглашаем Backend Developer / Data Engineer (уровень senior/middle+) в команду Data Catalog, которая занимается развитием продукта ML Space - для ML-разработки полного цикла: от трансфера и хранения Big Data до деплоя и автоматического масштабирования готовой модели. Это единственная в мире платформа с возможностью распределенного обучения на 1700+ GPU Tesla V100 и А100 благодаря суперкомпьютерам Christofari и Christofari Neo.Подробнее о платформе ML Space: https://sbercloud.ru/ru/aicloud/mlspace Команда Data catalog занимается разработкой продуктов для: - Хранения огромных объемов данных (файловые и объектные хранилища, их файловые менеджеры);- Миграции данных с коннекторами к различным источникам (S3, базы данных, HDFS);- Управления артефактами, включая специализированные хранилища ML-артефактов с их версионированием (регистры образов, моделей, датасетов);- Процессов, связанных с Big Data - ETL/ELT, EDA и др.;- Оркестрации цикла ML-разработки на собственном движке для создания пайплайнов.Стек технологий: Python, FastAPI, Apache Airflow, PostgreSQL, ClickHouse, Redis, Kafka, Docker, Kubernetes. Как мы работаем: У нас продуктовая компания и кросс-функциональные команды; Используем Jira, Confluence, GitLab как основные средства разработки; Ведем разработку по Scrum. Что мы предлагаем: Работу без легаси с Python 3.9, FastAPI, SQLAlchemy; Возможность проектирования сервисов с нуля и участия в процессе разработки “от” и “до”; Работу в заряженой экспертной команде, а также в комьюнити архитекторов и разработчиков компании и партнеров. Вам предстоит: Разработка и поддержка существующих решений; Участие в проектировании, разработке и поддержке высоконагруженных сервисов/микросервисов; Code review, юнит-тесты; Анализ инцидентов; Взаимодействие со смежными командами для проработки общего технического решения; Документирование разрабатываемых продуктов. Требования: Навыки разработки cloud-native сервисов; Знакомство с Kubernetes; Хорошие навыки работы с Docker; Отличное владение Python, умение работать с асинхронным кодом; Знание классических алгоритмов и структур данных; Опыт работы с реляционными базами данных; Знание стека Big Data, понимание ETL/ELT процессов (ключевые слова: Apache Airflow, Spark Streaming, Hadoop, HDFS, Kafka); Опыт работы с Apache Airflow; Опыт интеграции решений Big Data. Большой плюс: Навыки работы с golang; Опыт проектирования и разработки сервисов с большой нагрузкой с нуля; Понимание бизнес-процессов, умение преобразовывать бизнес-задачи product-менеджера в декомпозированные задачи; Опыт создания пайплайнов данных / моделей машинного обучения (через StreamSets/Ni-Fi, AWS SageMaker). Что мы предлагаем: Оформление в соответствии с трудовым законодательством РФ; Конкурентный уровень дохода (оклад + годовой бонус); ДМС со стоматологией и возможностью подключения к программе своих детей и родственников; Прозрачную систему мотивации, которая позволяет влиять на уровень дохода; Работу в команде профессионалов; Участие в создании инновационных продуктов; Гибкое начало рабочего дня, пятница - сокращённый рабочий день; Возможность работать удаленно; Офис в центре Москвы; Корпоративную мобильную связь; Льготную программу ипотечного и потребительского кредитования. Ещё у нас: Возможность вертикального и горизонтального роста; Бонусные программы от компаний партнёров; Возможность получения бонуса за закрытие вакансии по вашей рекомендации; Материальная помощь при рождении детей и др. семейных обстоятельствах; Обучение в Корпоративном университете за счёт компании; Участие в профильных конференциях в качестве спикера или слушателя; Корпоративная жизнь: спортивные комьюнити, клубы по интересам (настолки, интеллектуальные игры).