Senior Data Engineer
Мы в
Ozon выводим работу с данными на новый уровень и развиваем собственный event sourcing фреймворк для наполнения хранилища данными из микросервисов.
Наша компания динамично развивается, поэтому мы работаем в духе start up с минимальным количеством бюрократических процессов и выстраиваем свободные коммуникации в рамках команды. У нас есть внутренние проекты, которые мы реализуем с 0 и имеем большую поддержку со стороны CTO.
Денег до 350
Что вам предстоит:
Разработка инструментов для доставки и обработки данных (scala, akka-stream, cats, spark, python);
Поддержка и развитие существующих инструментов на базе Hadoop (hadoop3, hdfs, yarn, hive);
Разработка spark приложений для обработки данных;
Поддержка и развитие существующих решений на Airflow (Celery Executor, k8s);
Поддержка и развитие существующих решений на Kafka;
Участие в проектировании архитектуры разрабатываемых решений;
Участие в выборе используемых технологий и компонентов;
Участие в настройке и улучшении CI/CD;
Внедрение и сопровождение технических решений;
Документирование разрабатываемых решений;
Проведение code review;
Что мы ожидаем от вас:
Уверенное владение Scala;
Опыт работы с Hadoop (hdfs, yarn, hive);
Опыт разработки многопоточных приложений;
Понимание принципов функционального программирования;
Опыт написания тестов;
Опыт работы с СУБД (Postgre SQL/MS SQL);
Опыт работы с аналитическими БД (Vertica/Greenplum/BigQuery/Redshift/Synapse);
Опыт работы с Kubernetes, Kafka, git;
Понимание JVM (threads, OOM).
Будет плюсом:
Интерес к построению архитектуры на основе больших горизонтально масштабируемых БД (Vertica, Clickhouse);
Опыт работы в области Hadoop cтека (Impala, HBase) или других KV-хранилищ;
Опыт работы с системой мониторинга Prometheus.
Что мы предлагаем:
Комфортабельный офис на 55 этаже в Москва Сити (до марта будет 100% удаленка);
Релокационный пакет при переезде из другого города;
Привлекательный уровень дохода (готовы обсуждать в зависимости от опыта и технических скиллов);
Welcome-бонус для новых сотрудников;
Здоровье: ДМС со стоматологией, страхование от несчастных случаев, полис выезжающих за рубеж;
Развитие: наши сотрудники участвуют в конференциях, мы оплачиваем обучение. У нас есть корпоративная офлайн-библиотека, доступ к онлайн-библиотеке MyBook и к образовательным онлайн-платформам Coursera и Eduson;
Корпоративные программы: скидки и привилегии от компаний-партнёров для наших сотрудников;
Социальная ответственность: материальная помощь, подарочные сертификаты при рождении ребенка.
Контакт для связи - Анастасия:
Telgram :
@stasya_kibets @zuynewFacebook:
https://www.facebook.com/stasya.kibets/#scala #hadoop #cats #kafka #vertica