EV
вот я и думаю как можно через spark sql потюнить параллелизм
Size: a a a
2020 July 22
ME
ну ретраи крутить на троттлинге глупо, т.к. увеличение только увеличит число запросов, а уменьшение увеличит вероятность падения
ME
я бы число executors покрутил, уменьшил и посмотрел бы как файлики лежат
ME
они все с одним префиксом?
EV
нет, партиции по дням
ME
ну и возможно техническая поддерка может просто throttling limit увеличить
ME
нет, партиции по дням
тогда совсем странно
EV
я наслышан о компетентности поддержки aws, но походу придется таки писать им
ME
А много экезкьюторов, много тасков и как быстро они исполняются? Т.е. реально в эти 4Krps на бакет упираетесь?
EV
40 машин 80 экзекуторов
EV
тасков 1900 в этой джобе
EV
у меня появилась идея задрать ретраи в небо и проверить чо будет
EV
там же exponential backoff вроде как
AE
Art
Texas, resolution 10, заняло ~5 минут. Такая ли проблема все таки?
ты нормальный аутлайн возьми, а не прямоугольник. несколько интереснее будет
AE
думается для маленьких стран легче понимать по стране. Вопрос что делать с фигнёй типа России, Канады, кто там ещё
в России мы только куски вокруг городов считаем, а то чё-то никто не живёт в стране у нас :)
SS
коллеги, поделитесь бест-практиками по сведению в единый git-репозиторий всего кода ETL для spark и spark structured streaming...
AZ
cp && git add . && git commit
SS
чтобы там всякие деплойменты можно было запускать (обои менять, корованы грабить)
EV
коллеги, поделитесь бест-практиками по сведению в единый git-репозиторий всего кода ETL для spark и spark structured streaming...
Завели DBT для батчевых преобразований и радуемся
ME
cp && git add . && git commit
git push —force