Middle/Senior Data Engineer

компания "wildberries" ты - data engineer? ждем тебя в нашей команде wildberries! у нас ты будешь: ‍развивать культуру работы с данными; ‍проектировать и строить процессы хранения, обработки, очистки и обогащения данных; участвовать в разработке data pipeline на всех этапах - от обсуждения с источниками данных формата получения данных, до презентации новой фичи потребителям; участвовать в проектировании системы и принятии архитектурных решений совместно с командой разработки; писать интеграционные и юнит-тесты, разрабатывать средства автоматизации для валидации и алертинга на основе состояния данных; что предстоит делать: участвовать в разработке новой warehouse management system chr(40)wmschr(41); анализировать требования к витринам данных (взаимодействовать с product owner-ом, bi-разработчиками, data scientist-ами); выводить в продакшен математические модели, разработанные ds командой; оценивать, тестировать и оптимизировать масштабируемость моделей в плане потребления ресурсов cpu, gpu, ram взаимодействовать с ds-частью команды по вопросам оптимизации разработанного ими кода/моделей, с сис. администраторами по вопросам масштабирования сервисов требования: знание python (библиотеки и инструменты при разработке: pandas, aiohttp, fastapi, spark, mlflow), clickhouse, kubernetes. умение адекватно оценивать сроки выполнения задач опыт работы с ml-проектами и библиотеками знание postgresql; навыки написания unit-тестов навыки профилирования, поиска узких мест в чужом python-коде и алгоритмах мы предлагаем: удаленку или просторный офис с диванчиками, гамаками, качелями, кафе и зелеными зонами. мы находимся на метро автозаводская; дмс после испытательного срока; работу над интересными проектами, которые прокачают твои технические навыки и аналитическое мышление; корпоративные скидки у партнеров компании; возможность попасть в сильную команду крупнейшего маркетплейса россии. мы готовы выслушать любые твои предложения и самые смелые идеи!