GP
поэтому в целом идея локал чекйпонтов не для рекавери
Size: a a a
2020 December 14
ИК
ничего он не шафлит локал чекпойнт
Это ясно, я про принцип
GP
ну смотри у тебя куски фрейма в памяти валяются
GP
вот делашеь чекйпонт
GP
оно у тебя берет и в локал диру персистит куски
каждый ехекутор свое
каждый ехекутор свое
GP
он ради такой операции конечно же не будет делать редьюс и пихать все на одну машину
S
в компаниях с клаудом так не делают потому что:
- cloud-based кафка (или аналог) дороже чем object storage (с учетом ценника за сеть)
- потребность в GDPR hard delete where id=XXX
- как управлять правами доступа?
если все онпрем - ну наверное можно, только зачем головняк с настройкой архивного кластера?
- cloud-based кафка (или аналог) дороже чем object storage (с учетом ценника за сеть)
- потребность в GDPR hard delete where id=XXX
- как управлять правами доступа?
если все онпрем - ну наверное можно, только зачем головняк с настройкой архивного кластера?
Ну сделать миррор кафки или увеличить 1 переменную в настройках проще, чем городить вот эту спарковскую петрушку
GP
Spark шафлит в локальные директории, localCheckpoint по такому же принципу?
кстати я не понял что значит шафлит в локальные директории
S
Да, разговор про онпрем. Хотя gpdr тоже интересен, но процессить его на сырье мало отличается от переливки кафки, мне кажется. Слишком низкоуровневые данные и все равно поднимать все. Извращенно, да :)
ИК
он ради такой операции конечно же не будет делать редьюс и пихать все на одну машину
Я понял, спасибо.
Можно пояснить более практический момент, например, если создан RDD, идут трансформации, один из тасков фейлится четыре раза (лимит ретраев) и приложение аварийно завершается с исключением job aborted, то при каких настройках его можно восстановить с последнего чекпоинта?
Можно пояснить более практический момент, например, если создан RDD, идут трансформации, один из тасков фейлится четыре раза (лимит ретраев) и приложение аварийно завершается с исключением job aborted, то при каких настройках его можно восстановить с последнего чекпоинта?
GP
а поч нет? если чекйпонт был успешный
чекйпонт предполагает полный рекомпут рдды
чекйпонт предполагает полный рекомпут рдды
GP
хватит ресурсов то зарекаверится
ИК
кстати я не понял что значит шафлит в локальные директории
Насколько я знаю, Spark создаёт shuffle файлы во время "широких" трансформаций как раз в локальных директориях, и мне говорили, что эти shuffle файлы могут обеспечить восстановление, если перезапускается стейдж
GP
Насколько я знаю, Spark создаёт shuffle файлы во время "широких" трансформаций как раз в локальных директориях, и мне говорили, что эти shuffle файлы могут обеспечить восстановление, если перезапускается стейдж
ну эт уже детали шаффла)
GP
дейсвительно ретраи тасков конечное колво раз случаться могут
GP
переодически спилл он делает шаффла
ИК
а поч нет? если чекйпонт был успешный
чекйпонт предполагает полный рекомпут рдды
чекйпонт предполагает полный рекомпут рдды
То есть, джоб понимает, что это его чекпоинта, можно начинать с точки, когда memento отработал и заперсистил состояние? Но это отдельный джоб, а если их несколько ( или даже очень много, сотни тысяч)
GP
То есть, джоб понимает, что это его чекпоинта, можно начинать с точки, когда memento отработал и заперсистил состояние? Но это отдельный джоб, а если их несколько ( или даже очень много, сотни тысяч)
не путай персист и чекйпонт
GP
это разные операции