Мы занимаемся развитием и поддержкой платформы Big Data на vk.com. Она построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin), так и на собственных разработках, заточенных под работу 24/7 в условиях высоких нагрузок. Самая большая социальная сеть России — самая большая Big Datа! Kafka: ~1PBHDFS: ~50PBClickhouse: ~3PB (nvme) Для нас важно отлично разбираться в любом из этих инструментов. Любим Spark. Пишем на любых языках, но особенно на Java/Scala и Python. Вам предстоит: развивать платформу хранения и обработки больших данных; внедрять новые инструменты для анализа данных и машинного обучения; решать задачи производительности и отказоустойчивости инфраструктуры Big Data; строить новые и оптимизировать существующие ETL-процессы. Мы ожидаем, что у вас есть: хорошее знание Java/Scala, Python; знание принципов работы баз данных, распределенных систем хранения и обработки данных; опыт работы и понимание внутреннего устройства: Hadoop, HDFS, Kafka, Spark, Zeppelin, Airflow, Zookeeper, Clickhouse. Мы предлагаем: сложные и интересные задачи: высоконагруженные быстрорастущие сервисы, которые задают уровень для конкурентов качеством и технологиями; выбор: удаленка или уютный офис — в историческом центре Санкт-Петербурга или в небоскребе с шикарным видом на Москву; дополнительное обучение за счет компании, занятия английским языком, участие в профессиональных конференциях и форумах по всему миру; новый опыт: лучшие сотрудники преподают в наших образовательных проектах, выступают на российских и международных конференциях; минимум бюрократии; полный социальный пакет (спорт, ДМС, английский) и комфортные условия для работы и творчества.
Адрес
Санкт-Петербург