A
сам узи вроде как не умеет, но можете набросать джобу которая раз в минуту просыпается и трекает, если появилось то тригерит следующий шаг
Size: a a a
2019 November 25
SZ
Коллеги, а можно ли в oozie каким-то образом триггерить воркфлоу одновременно через датасет и время. Например, мы ждём появления датасета в определённом интервале времени. Если ничего не появилось, то все равно выполняем воркфлоу по окончании этого интервала
Можно материализовывать воркфлоу чуть позже, с учётом времени ожидания датасета, и выполнять задачу вне зависимости, есть в датасете данные или нет
A
Можно материализовывать воркфлоу чуть позже, с учётом времени ожидания датасета, и выполнять задачу вне зависимости, есть в датасете данные или нет
Ну то есть триггерить просто по времени?
SZ
Ну то есть триггерить просто по времени?
ну да
КБ
А как создать singularity контейнер чтобы запустить на другой машине без прав ?
神
Добрый вечер. Скажите, пожалуйста, есть способ заставить спарк считать log4j конфиг, лежащий на hdfs?
A
Указать чтобы подтягивать его на локализации
神
Указать чтобы подтягивать его на локализации
То есть как?
RI
神風
Добрый вечер. Скажите, пожалуйста, есть способ заставить спарк считать log4j конфиг, лежащий на hdfs?
Речь об указание файлов конфигурации через --files при сабмите
神
Речь об указание файлов конфигурации через --files при сабмите
Ну это понятно... Их нужно все равно притащить сначала на локальную фс в этом случае.
神
Хотелось бы сразу указать в пути hdfs://
RI
--files hdfs://path/to так пробовали?
神
--files hdfs://path/to так пробовали?
А возьмёт? Вроде бы не должен.
RI
Должен. Главное правильный путь указать.
神
Должен. Главное правильный путь указать.
Спасибо, попробую.
2019 November 26
P
Коллеги, привет. Если у кого был реальный опыт по замене HDFS на S3, расскажите с какими болями пришлось столкнуться, с какими лишениями пришлось смириться или не смириться, что пришлось пережить команде разработке, как стали организованы джобы на каком-нибудь спарке, как радовался ваш девопс, когда ему больше не приходится рестартовать неймноды и пр.???
A
Тут уже обсуждалось что не для всех ворклоадов это работает (у s3 нету атомарного ренейма, поэтому hbase не запустить)
Некоторые ворклоады медленней оказывается на s3 (выше в истории на прошлой неделе обсуждалось)
Некоторые ворклоады медленней оказывается на s3 (выше в истории на прошлой неделе обсуждалось)
P
Тут уже обсуждалось что не для всех ворклоадов это работает (у s3 нету атомарного ренейма, поэтому hbase не запустить)
Некоторые ворклоады медленней оказывается на s3 (выше в истории на прошлой неделе обсуждалось)
Некоторые ворклоады медленней оказывается на s3 (выше в истории на прошлой неделе обсуждалось)
Ну, про то, что вы написали в ограничение сети и коннектпул я видел) хочется про реальную боль услышать. Если вы пробовали S3 и уперлись именно в сеть и конекты, то ок. И, например, что будет если этот же hdfs будет жить в кубе, где большинство взаимодействий скорее всего в ту же сеть упрется, в этом случае разница с S3 в чём будет)
A
hdfs в кубе в проде лично у меня вызывает лишь недоумение =)
СХ
hdfs в кубе в проде лично у меня вызывает лишь недоумение =)
ну есть те кто уже это продвигает