K
это будет явно полезней и понятней
Size: a a a
2020 August 31
GP
это будет явно полезней и понятней
ну ты не делал кастомных сорсов
K
ну кастомный сорс аргумент да
а тут пайлайн который нормально пилится запускается из main
K
ну ты не делал кастомных сорсов
не делал, потому что обошлись другим
GP
не делал, потому что обошлись другим
ну и какие вопросы)
A
ну кастомный сорс аргумент да
да вроде уже говорилось что там и проходов нужно не один, а множество, поэтому кастомный сорс не сильно поможет
K
но оно все встраивается
GP
да вроде уже говорилось что там и проходов нужно не один, а множество, поэтому кастомный сорс не сильно поможет
темболее
A
причем в этом же чате было обсуждение что скачать по быстрому на hdfs один раз и запустить множество проходов оказывается в разы быстрее чем гонять по s3 каждый проход
ИК
а зачем так много памяти, если все должно уйти на экзекуютеры
Затем, что экзекуторы отправляют информацию о результате на драйвер, всегда так было, кроме того «много» - понятие относительное, кому и 64 Гб на драйвере - только для проверки, на пром будет больше 100
K
причем в этом же чате было обсуждение что скачать по быстрому на hdfs один раз и запустить множество проходов оказывается в разы быстрее чем гонять по s3 каждый проход
да можно так сделать то
K
причем можно просто заперситить на дисках спакровых
K
и будет точно такая же логика, но в несколько десятков строчек, которую сможет прочитать любой человек пишущий на спарке
AE
пугает меня такой фанатизм в людях.
btw, 90% "стандартных" методов становятся таковыми по случайности, а не потому что лучше продуманы. кто первее и громче, того и шляпа. и на долю анонимусов из интернета достаётся вечное бодание с кривдами, которые во всём хотят видеть "стандартный способ". такая инверсия 'not invented here' синдрома
btw, 90% "стандартных" методов становятся таковыми по случайности, а не потому что лучше продуманы. кто первее и громче, того и шляпа. и на долю анонимусов из интернета достаётся вечное бодание с кривдами, которые во всём хотят видеть "стандартный способ". такая инверсия 'not invented here' синдрома
AE
понимаю, почему. но не поддерживаю.
AE
опять же btw, я 15 лет занимаюсь ревью кода джунов, и мне код анонимуса из интернетов не страшен. я врублюсь, если надо. даже если он левой задней ногой написан. и извлеку рациональ, если она там есть.
AZ
дистцп — тормознутое говно, написанное кем-то не сильно трезвым в тёмную октябрьскую ночь
а есть ссылка на ваш PR который правит эти проблемы?
А
Подскажите по Future, если часть из них упала с exception, то как их разделить на 2 кучки: удачные и ошибки?
val res = dbs.map(db => Future( ... ) ).filter(???)
val reswt = Future.sequence(res)
Await.result(reswt, scala.concurrent.duration.Duration.Inf)
res
GP
Подскажите по Future, если часть из них упала с exception, то как их разделить на 2 кучки: удачные и ошибки?
val res = dbs.map(db => Future( ... ) ).filter(???)
val reswt = Future.sequence(res)
Await.result(reswt, scala.concurrent.duration.Duration.Inf)
res
Future.sequence(res.map(_.transform(Success(_))))GP
Future.transform посмотри