компания "indriver" indriver — международный сервис пассажирских перевозок. мы создаем глобальный высокотехнологичный продукт, который меняет жизнь миллионов людей к лучшему. входим в топ-3 мобильных сервисов для заказа поездок в мире по количеству скачиваний — 144 млн. установок. мы работаем в 645 городах 45 стран мира. мы ищем middle data инженера, который поможет строить data warehouse, с data quality, будет участвовать в построении архитектуры и моделировании данных, делиться знаниями и получать эти знания. мы только начинаем строить новый data warehouse, наращиваем команду, но мы знаем, что эта часть проекта является одной из важнейший частей продукта. в команде data engineering: 10 инженеров и тим лид. всего в команде разработки более 180 сотрудников и мы продолжаем расширять команду. мы не боимся использовать новые инфраструктурные решения (google cloud platform, aws). мы свободны в принятии решений, будучи ограничены только законами о защите перс данных. инфраструктурные и архитектурные решения принимаем исключительно с трезвым взглядом на проблему и апеллируя к цифрам. наш стек: используем python/scala для разработки под spark; python/java/go для написания сервисов; bigquery/clickhouse как olap субд; trino для adhoc аналитики; apache iceberg для хранения инкрементальных данных; apache kafka как интеграционный слой между микро-сервисами; airflow для оркестрации etl процессов. разработку ведем на github, используем teamcity, трекаем задачи в jira, доку пишем в confluence. хотим развиваться в сторону flink, kubernetes (в том числе spark on kubernetes), kafka, но открыты к любым идеям и решениям. какие задачи предстоит решать: развивать культуру работы с данными; создавать единую систему обработки, хранения и валидации данных; проектировать и строить процессы хранения, обработки, очистки и обогащения данных; участвовать в разработке data pipeline на всех этапах - от обсуждения с источниками данных формата получения данных, до презентации новой фичи потребителям; разрабатывать api (rest, grpc) для высоконагруженных сервисов получения доступа к данным; участвовать в проектировании системы и принятии архитектурных решений совместно с командой разработки; писать интеграционные и юнит-тесты, разрабатывать средства автоматизации для валидации и алертинга на основе состояния данных; а также делиться знаниями с разработчиками на внутренних митапах. ожидаем от кандидата: опыт разработки data pipelineов на spark/flink/dataflow с применением luigi/airflow/oozie; владеете python и/или java; знаете и понимаете алгоритмы и принципы обработки данных; ️понимаете общие концепции программирования (шаблоны проектирования, ооп, модульность, чистая архитектура, 12-factor app); умеете проектировать систему обработки данных (data modeling); ответственны и инициативны (мы верим, что идеи должны исходить не только от бизнеса, но и от сотрудников компании). мы предлагаем: оформление по трудовому законодательству республики казахстан; стабильную заработную плату, дмс со стоматологией; современные macbook pro и другое необходимое для работы оборудование; неограниченные возможности профессионального и карьерного роста, регулярное внешнее и внутреннее обучение от наших партнеров; частично или полностью оплачиваемые дополнительные обучающие курсы, занятие английским языком с преподавателем в офисе; программы личностного роста, в которых мы ставим цели и вместе к ним движемся; стать частью международной команды профессионалов и просто хороших людей, которые все вместе создают одну из самых крутых историй успеха в мировой it-индустрии.
Адрес
Казахстан Алматы