MO
Роль: Data Engineer
Компания: www.gfaive.com
Удаленная работа
Вилка: 100 - 150к net
Как связаться: в личку либо же в телеграм @dataholic
Задачи:
- организация автоматизированного сбора данных из различных источников в единое централизованное хранилище,
- настройка, интеграция и создание витрин данных для работы аналитиков и Data Scientist,
- создание конвейеров регулярной и непрерывной подготовки данных (CI/CD pipelines),
- администрирование хранилища (SnowFlake, ClickHouse).
Требования:
- знание Python,
- понимание принципов построения DWH, понимание принципов хранения данных в распределенных колоночных СУБД, знание особенностей хранения данных в ClickHouse и/или Snowflake, понимание принципов построения материализованных представлений,
- знание хотя бы одного из диалектов SQL (Snowflake, ClickHouse) на уровне использования аналитических/оконных функций,
- понимание принципов работы ETL-систем и опыт работы (как плюс) хотя бы с одной из них (Apache Airflow, AWS Glue, Informatica ETL, Pentaho ETL, Talend и пр.),
- опыт работы хотя бы с одной облачной платформой (AWS, Google Cloud, Azure).
Будет плюсом:
- знание Scala (предпочтительно) или Java,
- опыт работы с реляционными и нереляционными базами данных (MySQL, MSSQL, PostgreSQL, MongoDB, Amazon Redshift),
- опыт работы с Apache Spark (в идеале Amazon EMR).
