Инженер данных (Эксперт Департамента развития аналитических систем)

компания "ассоциация нп совет рынка" мы развиваем и поддерживаем единое хранилище данных, создаем над хд аналитические продукты и делаем все, чтобы данные, как и наши продукты, были доступны и максимально удобны в использовании для наших заказчиков. мы ищем вдумчивых, внимательных и увлеченных коллег, готовых погрузиться в сложную предметную область рынка электроэнергетики. с чем мы работаем: базовый стек: корпоративное хранилище данных на vertica, системы источники на oracle, postgres, tibero, данные из файлов, сайтов etl python, airflow дополнительно: кастомные сервисы на python: контроль качества данных вебсервисы с описанием данных, состоянием хранилища, доступа к данным получение информации из внешних сервисов по api, парсинг внешних сайтов бот для telegram локальная автоматизация визуализация данных tableau + при необходимости python что предстоит делать: работать в команде профессионалов, готовых обучать и поддерживать осуществлять мониторинг и анализ качества данных, вырабатывать и внедрять решения по повышению качества данных готовить и согласовывать требования на разработку/доработку хд проектировать, разрабатывать, модифицировать, тестировать и сопровождать хд разрабатывать, внедрять и осуществлять поддержку (актуализацию): etl и алгоритмов автоматизированной проверки данных, загружаемых в хд витрин данных для бизнес-подразделений и др аналитических систем, построенных над хд систем, автоматизирующих работу департамента участвовать в разработке архитектурных решений создавать удобные инструменты для анализа данных взаимодействовать с заказчиками по возникающим вопросам работы с хд и инструментами для анализа данных какие знания пригодятся: обязательные знания и навыки: python ядро + большая часть из библиотек pandas + numpy, plotly/matplotlib/seaborn, flask/cherripy, thread/threading/multiprocessing/asyncio sql на хорошем уровне (сложные запросы, оптимизация, оконные вычисления), желательно знание особенностей vertica etl опыт работы с системами контроля версий (у нас git) работа с документацией аналитический склад ума, умение работать в команде и самостоятельно желательно: опыт работы с airflow опыт работы с linux системами, bash