N
Поэтому от сайта манты аж дух захватывает, только словесное описание в lineage не преобразует.
Size: a a a
2019 November 07
AZ
все эти реактивные системы - это условный УЗИ/рентген аппарат, плюс какой-то интеллект, но если ваша аналики это полигон твердых бытовых отходов - вас не спасет даже самый продвинутый аппарат УЗИ
2019 November 08
RI
Инженеры! Есть проблема с читанием логов спарк джоб. Если логов много, то кто и как справляется? Пробовал делать через yarn logs там при попытке посмотреть все логи едет вся верстка. Фильтр тоже не работает. Кластер HDP 3.1
OP
ротацией log4j ?
RI
речь не идет о ротации даже, а просто о том, как можно адекватно посмотреть логи, т.к. инструмент доступный в yarn не очень подходит.
DZ
Эластик?
M
А если из консоли + more?
EN
ротацией log4j ?
можно настроить только на spark streaming джобы, не трогая остальные приложения spark?
и для них, смотреть только за последний день через UI ... ? (в spark history server)
и для них, смотреть только за последний день через UI ... ? (в spark history server)
EN
Эластик?
а ELK, как юзать, если логи распределены по тачкам же...
на каждой чтоли пушить логи в ELK?
или это должна быть джоба по расписанию, типа агрегирует со всех и пишет один раз?
на каждой чтоли пушить логи в ELK?
или это должна быть джоба по расписанию, типа агрегирует со всех и пишет один раз?
DZ
Эм ну всякие агенты которые пишут в стеш
DZ
Или вовсе стеш аппендер
DZ
Там будет тэг экзекутора и тд
S
Elastic Fluentd Kibana
AE
интересно, когда он доберётся до EMR
ME
А какие там крутые фишки? А то что-то вроде вё по мелочи, не уверен, что мне оно вообще надо)
AE
11 жаба
ME
я на питоне пишу))
AS
11 жаба
а чем это интересно?