компания "mail.ru group" спайдер является основным источником данных для поисковой системы. он постоянно обходит весь интернет, скачивая веб-страницы и обнаруживая новые публикации. чтобы хорошо выполнять эту работу, спайдер должен соответствовать широкому набору требований. он должен обеспечивать большую пропускную способность, соответствующую масштабам интернета. не менее важна скорость доставки документов в индекс. при этом следует соблюдать правила обхода сайтов, не перегружая их. команда спайдера разрабатывает и развивает систему выкачки поиска, решая задачи хранения и обработки больших объемов данных. мы используем технологии big data, такие как apache spark, hadoop, hbase и kafka, для построения масштабируемых воркфлоу. в нашем ведении самый большой в россии кластер hadoop. мы также постоянно совершенствуем наши решения, находя новые архитектурные подходы — перед командой всегда стоит множество сложных и интересных задач.от вас мы ожидаем свободное владение средствами разработки на языках java и scala, умение проектировать и оценивать архитектурные решения, четко формулировать решаемые проблемы. важно уметь как предложить новое решение, так и действовать в рамках принятых ранее. задачи: разработка систем выкачки данных для поиска из интернета; поддержка текущей инфраструктуры выкачки; участие в on-call поддержке сервиса. требования: обязателен опыт работы с java 8 se, scala, hadoop; алгоритмы; java concurrency / multithreading; gradle; опыт работы с технологиями: apache spark, apache hadoop. будет плюсом: hbase; kafka.
Адрес
Москва