Scala-разработчик

Привет!

2ГИС ищет Middle+/Senior Scala-разработчика в команду рекламы

Одним из направлений команды является работа с данными получаемыми от конечных продуктов. Храним данные в hdfs, обрабатываем с помощью выделенного spark кластера. Однако с ростом объема данных, а это несколько тысяч терабайт, мы начали упираться в производительность такой архитектуры.

Хотим переосмыслить работу с данными и смотрим в сторону s3, spark on k8s и delta lake. Кроме этого хотим вложиться в автоматизацию ETL и инструментов анализа данных.

Какие задачи предстоит решать?

• Исследовать, придумывать и создавать новое хранилище.
• Придумывать и разрабатывать инструменты аналитики данных.
• Автоматизировать ETL pipelines.

Технологии

cats, cats-effect, fs2, http4s

kafka, fs2-kafka, kafka-streams

hdfs, spark, casssandra, postgresql

Что ждём от кандидата?

• Опыт разработки высоконагруженных бэкендов от 3 лет.
• Опыт работы с hdfs, spark, Kafka, SQL и/или NoSQL базами данных.

Предлагаем

• Удаленный формат работы из любой точки мира
• Зарплатные ожидания от 300 тыс. рублей
• Социальный пакет, возможность обучения

Подробнее тут