Hadoop инженер

компания "клауд солюшенс" мы создаем глобальную облачную платформу с применением искусственного интеллекта, больших данных, интернета вещей и встроенными квантовыми вычислениями. а также строим сеть экологичных, энергоэффективных центров обработки данных. ищем специалиста на стыке devops, администратора и разработчика big data в стрим, который работает над созданием облачных платформ больших данных. наши главные продукты: paas решение экосистемы hadoop и автомасштабируемый кластер spark for k8s. также одна из задач нашего стрима - создание собственных дистрибутивов решений на основе hadoop и greenplum. стек: hadoop3, s3, spark3, beam, flink, ranger, airflow, zeppelin, clickhouse, superset задачи: создание продуктов для облачной из взаимосвязанных компонентов экосистемы hadoop; создание продуктов на основе автомасштабируемого решения spark for kubernetes; автоматизация процессов сборки и развертывания; создание регламентов, процессов и правил для пользователей продуктов больших данных; помощь разработчикам с проблемами на кластерах, внедрение best-practice. требования: опыт работы с hadoop-кластером; уверенное владение git, bash; знание одного или нескольких языков программирования: java, python, go, scala (возможно базовое владение одним из языков с готовностью и желанием его улучшать); желание и способность самостоятельно изучать новые big data технологии, постоянное самосовершенствование и развитие. будет плюсом: администрирование hadoop-кластера, решение связанных проблем; использование и/или администрирование смежных технологий apache: kafka, hive, hbase др.; использование средств автоматизации сборки/доставки/тестирования: ansible, gitlab ci и др.; использование и/или администрирование k8s, docker. почему мы: оформление по тк рф, дмс, корпоративная мобильная связь, it-аккредитация, гибридный график работы с частичной удаленной работой, возможность принять участие в проекте создания глобальной облачной платформы с «нуля», возможность воплощать свои инициативы, поскольку в основе инноваций лежат идеи команды и их реализация в жизнь, проектирование и разработка инновационных сервисов, профессиональное развитие, сильная команда, индивидуальный план развития для каждого сотрудника, отсутствие бюрократии, быстрое принятие решений.