K
он просто пишет от своей практики: нарывается на проблему - ковыряет внутренности - описывает что нарыл
Да понятное дело, я и до них доберусь, сейчас сделал обзорные слайды по спарк rdd
Size: a a a
2019 November 05
AZ
Да понятное дело, я и до них доберусь, сейчас сделал обзорные слайды по спарк rdd
самое время!)
K
самое время!)
Ну дальше датафреймы
K
Рдд все таки основа
AZ
Рдд все таки основа
а кто аудитория, дата инженеры?
K
а кто аудитория, дата инженеры?
Студенты
AZ
Студенты
а, тогда да
AZ
в работе есть несколько тем которые всегда пользуются популярностью, например "я сатанист на занятом кластере, как мне удостовериться что все разрешенные мне ресурсы используются моим спарк джобом" - про мемори модель ярна и спарка и как их настраивать, в таком духе
K
в работе есть несколько тем которые всегда пользуются популярностью, например "я сатанист на занятом кластере, как мне удостовериться что все разрешенные мне ресурсы используются моим спарк джобом" - про мемори модель ярна и спарка и как их настраивать, в таком духе
Если бы сатанистам , то да , про датпфреймам обзорный курс и так далее
IG
по внутренностям спарка проще всего взять материалы Яцека, у него с пробелами но зато очень глубоко
Извините. Кто такой? Чем знаменит?
Что вообще есть хорошего на русском по хадупу/ спарку в русском мире кроме курса от майл.ру?
Что вообще есть хорошего на русском по хадупу/ спарку в русском мире кроме курса от майл.ру?
GP
Извините. Кто такой? Чем знаменит?
Что вообще есть хорошего на русском по хадупу/ спарку в русском мире кроме курса от майл.ру?
Что вообще есть хорошего на русском по хадупу/ спарку в русском мире кроме курса от майл.ру?
GP
суровый спарк энтузиаст, его материалы должны быть официальными доками и рекомендациями спарка
IG
Спасибо
TT
суровый спарк энтузиаст, его материалы должны быть официальными доками и рекомендациями спарка
Кстати он в основном зарабатывает на тренингах, курсах обучения. Обычно курс 1-2 недели спарка с кафкой,
Майл, Мегафон, сбер и т.п.
Майл, Мегафон, сбер и т.п.
TT
Могут его пригласить за денежку спокойно
2019 November 06
神
сравниваешь numInputRows с maxOffsetsPerTrigger
А если я неправильно выбрал второе?
神
Или ситуация поменялась, поток вырос
t
то его можно поменять, они не прибивается гвоздями при создании чекпоинта
神
то его можно поменять, они не прибивается гвоздями при создании чекпоинта
Да, но я должен где-то вывесить красную тряпку "лаг растёт, опомнись"
t
ну у тебя все равно будет видно - если у тебя постоянно numInputRows == maxOffsetsPerTrigger - то твой стрим лагает