SB
Size: a a a
2019 November 05
GP
и что ты делаешь? броадкаст шарит переменную на екзекуторы. есть еще акумуляторы которые можно заполнять на редьюсе; у тебя какой случай?
SB
Мне нужно расшарить что-то вроде массива и обновлять
SB
Получается первый случай наверное
GP
броадкаст ридонли
GP
ты лучше опиши что ты делаешь, может тебе не нужно ничего такго
SB
Мне надо кароче densematrix передавать и конце batch надо ее обновлять. При этом там немаленькая матрица (20000х100)
SB
Нам предложили почему-то ее броадкастить
TT
Попробуйте положить матрицу в какую нибудь бд, может Кассандру, или in-memory a-la Alluxio
DZ
Мне надо кароче densematrix передавать и конце batch надо ее обновлять. При этом там немаленькая матрица (20000х100)
Посмотри в линал спарка
DZ
Может оно уже все что тебе нужно умеет
K
@dartov скажи пожалуйста , а у тебя слайды к твоим лекциям есть в свободном доступе , сейчас промышляю рассказом про спарк, думаю украсть может что
AZ
@dartov скажи пожалуйста , а у тебя слайды к твоим лекциям есть в свободном доступе , сейчас промышляю рассказом про спарк, думаю украсть может что
нет, воровать не надо, это не свободные слайды
AZ
позовите, задайте тему, я расскажу
K
нет, воровать не надо, это не свободные слайды
Ну я поэтому спросил :)
K
позовите, задайте тему, я расскажу
Ну может когда и что :) я так сказать смотрю кто и что рассказывает и на какие моменты заостряет внимание
AZ
я вот на этой неделе буду на хайлоаде рассказывать за AnalyticOps, могу в кулуарах показать как со спарком сделать
AZ
Ну может когда и что :) я так сказать смотрю кто и что рассказывает и на какие моменты заостряет внимание
по внутренностям спарка проще всего взять материалы Яцека, у него с пробелами но зато очень глубоко
K
по внутренностям спарка проще всего взять материалы Яцека, у него с пробелами но зато очень глубоко
У него и книга с пробелами
AZ
У него и книга с пробелами
он просто пишет от своей практики: нарывается на проблему - ковыряет внутренности - описывает что нарыл