AS
ну и книжку уже посоветовали, если у вас хадуп 2 версии, то она подойдет
Size: a a a
2021 July 09
T
Возьми маленький семпл позапускай на нем. Облоожи код метриками
DS
Они не очень информативные, да?)
T
Потом можно потихоньку увеличивать количество данных
T
Можно ещё поиграться с количеством саперов и редюсеров
T
Может у вас там один редюсер пыхтит
DS
Если бы я знал, мой уровень знаний сейчас по теме близок к нулю.
Я вообще бэкенд пишу или микросервисы. А тут просто джобы это код на голанге вот мне и дали
Я вообще бэкенд пишу или микросервисы. А тут просто джобы это код на голанге вот мне и дали
T
Либо фаилы на вход разжирели и маркерам теперь плоховато
T
Всякое бывает я вот тоже не давно со джобу писал
AS
я даже не знал что можно на golang писать MR для hadoop
VM
Всем привет , сорри за тупой вопрос а хде тут вакансии постить и как правильно на Админа/Девопса Бигдаты и Хадупа? а то нам нужен а я чет не нашел хде и как
DS
Какая-то наша внутренняя обёртка, самому забавно
VM
такс отбой нашел
NN
Верю, но любопытно же, нафига.
Это ж как автомобиль на паровой тяге юзать в 2021
Это ж как автомобиль на паровой тяге юзать в 2021
DS
В целом себя ощущаю как фронтенд которому дали бэкенд чинить))
T
Можно через Hadoop streaming на чем хочешь писать
DS
За совет про маленькую выборку спасибо. Попробую
T
Исторически сложилось )))
NN
Ну так оно и бывает обычно
GP
Авто на паровой тяге тоже по памяти более предсказуемы?