В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2148 membersпожаловаться на группу
2020 December 14

GP

Grigory Pomadchin in Data Engineers
это не сарказм
источник
21:09пожаловаться#1

GP

Grigory Pomadchin in Data Engineers
Иван Калининский
@pomadchin, раз уж пошло обсуждение, то в описании локальных чекпоинтов указывается executor storage. Что означает этот термин?

Механизм чекпоинтов нежный, но рекавериться можно после кила и рестора кластера. Как это сочетается одно с другим, или я не уловил сарказма?
executor storage это локальный чекпойнт
источник
21:10пожаловаться#2

GP

Grigory Pomadchin in Data Engineers
локально на ехекутор кладешь в папку
источник
21:10пожаловаться#3

GP

Grigory Pomadchin in Data Engineers
какое тут релайбл?
источник
21:10пожаловаться#4

GP

Grigory Pomadchin in Data Engineers
если у тебя кубер так вообще бесполезное занятие
источник
21:10пожаловаться#5

R

Renarde in Data Engineers
mounted folder
источник
21:10пожаловаться#6

R

Renarde in Data Engineers
sticker.webp
(36.23 Кб)
источник
21:10пожаловаться#7

GP

Grigory Pomadchin in Data Engineers
ой
источник
21:10пожаловаться#8

GP

Grigory Pomadchin in Data Engineers
ору
источник
21:10пожаловаться#9

GP

Grigory Pomadchin in Data Engineers
ну короч или так тогда можно да
источник
21:10пожаловаться#10

GP

Grigory Pomadchin in Data Engineers
волюм подмаунтил
источник
21:10пожаловаться#11

GP

Grigory Pomadchin in Data Engineers
sticker.webp
(36.23 Кб)
источник
21:10пожаловаться#12

R

Renarde in Data Engineers
кроме шуток - можно же в hdfs или что там нынче в OSS и вообще в любую S3/ Hadoop-like систему
источник
21:11пожаловаться#13

GP

Grigory Pomadchin in Data Engineers
ну локал обычно для перформанса используют не для релайибилити
источник
21:11пожаловаться#14

GP

Grigory Pomadchin in Data Engineers
Renarde
кроме шуток - можно же в hdfs или что там нынче в OSS и вообще в любую S3/ Hadoop-like систему
конечно можно
источник
21:11пожаловаться#15

GP

Grigory Pomadchin in Data Engineers
это обрывок разговора из скала чата
источник
21:11пожаловаться#16

ИК

Иван Калининский... in Data Engineers
Spark шафлит в локальные директории, localCheckpoint по такому же принципу?
источник
21:11пожаловаться#17

GP

Grigory Pomadchin in Data Engineers
Иван Калининский
Spark шафлит в локальные директории, localCheckpoint по такому же принципу?
ничего он не шафлит локал чекпойнт
источник
21:11пожаловаться#18

GP

Grigory Pomadchin in Data Engineers
чекйпонт случается после шафла
источник
21:12пожаловаться#19

GP

Grigory Pomadchin in Data Engineers
ну а грузится когдла из чекйпонта то тож сразу распределенно
источник
21:12пожаловаться#20