OI
Т.е. MR здесь нужен чтоб погрузиться в детали
Size: a a a
2021 October 25
AE
вопрос зачем, то есть нафига
N
в спарке так же можно расписать. почему нет?
A
то есть? всё равно условный mr под капотом везде, что в спарке, что в игнайт, что даже в той же терадате
правда отдельные этапы могут пропускаться или объединяться
но сама логика остаётся той же
поэтому если занимаешься распределёнными вычислениями то считаю что желательно знать чем тот же бродкасть от сортед или дистхэшджойна отличается
правда отдельные этапы могут пропускаться или объединяться
но сама логика остаётся той же
поэтому если занимаешься распределёнными вычислениями то считаю что желательно знать чем тот же бродкасть от сортед или дистхэшджойна отличается
AE
и в спарке можно на разных уровнях расписать. и кажется это будет полезнее
OI
В RDD API вроде бы нельзя залезть во внутренности join'а?
OI
в DF тем более
N
ну подсказать-то можно, типа попользуй вот тут броадскаст джойн
N
где-то заплакали одни одноклассники
AK
ребят, пытаюсь разобраться в workflow и coordinator oozie и что-то сложно. Может пооветуете на русском что-нить
AE
ну спарковый джойн это cogroup. как минимум партишионером в него сунуть можно
t
в каком смысле?
AE
под ним уже developerapi, но покопаться всё равно можно. а при желании и свой написать
OI
Это не так эффективно всё же, как разобрать код Join'а в мапредьюсе мне каж
D
и какая цель ? убедить новичка что тут все через жопу и намекнуть что пока не освоишь все костыли, хрен поймешь как это работает ?
N
вы можете разобрать код джойна в спарке и люди будут рименять эти знания на практике
A
не будут
AE
пока новичок не напишет свой Map и List, хрен его научишь понимать как работают стандартные коллекции
A
потому что людей которые видели код спарка единицы
плюс вы зачастую не знаете какой там джойн влетить, особенно после мержа всех адаптив патчей
плюс вы зачастую не знаете какой там джойн влетить, особенно после мержа всех адаптив патчей
A
а вот читать потом план выполнения да, уже будет полезным понимать что как