DS
А тупо крутить все конфиги и увеличивать память без железной причины - тупой подход
Size: a a a
2021 July 09
SS
привет! пробовал сабмитить Livy/Spark приложения из Zeppelin. вроде было достаточно прописать в настройках интерпретатора livy в свойстве "livy.spark.jars" путь до нужных джарников (в HDFS/S3)
GP
мне кажется нет хороших книг по хадупу
GP
я чето забыл @usualreptiloid вроде были какиет?
ММ
hadoop definitive guide не оч ?
AS
а со слоном чем плоха?
GP
старая или там какое идзание последнее?
GP
хотя мож ок)
GP
ого она даж бепслатно в гугле ищется 4ое издание
DS
Это O'Reilly какой-нибудь?
GP
это и есть дефенитив гайд
ММ
2015, 5 эдишн
DS
А как вообще обычно хадуп проверяют?
То есть допустим у меня есть теория "Джоба замедлилась из-за того, что данных стало больше и ей нужно больше памяти/других ресурсов", то как я могу ее опровергнуть/подтвердить?
То есть допустим у меня есть теория "Джоба замедлилась из-за того, что данных стало больше и ей нужно больше памяти/других ресурсов", то как я могу ее опровергнуть/подтвердить?
AS
тут еще выяснится что таски это спарк job, и книжка нужна не по хадупу а по спарку.
DS
Не, это хадуп
AS
у вас таски это MR?
DS
Map/Reduce? Да
T
Чёт не припомню сходу. Я бы метриками все облажил для начала
AS
ух ты, поздравляю (на самом деле нет), смотрите логи предыдущих быстрых запусков и сравнивайте с текущим медленными, найдите 10 отличий
NN
Сори за офтоп, но почему не тез хотя б, или спарк?