ПФ
можете поделиться алгоритмом велосипеда? файлы-маркеры в HDFS/S3, при появлении которых ssc делает грейсфул шатдаун?
ну в целом да.
Size: a a a
2020 October 02
ПФ
Там были игры с тредпулом, но это детали реализации
K
мне не нужно в UI, мне в CICD-флоу впихнуть нужно корректные редеплой стримов
def stopActiveQueries(): Unit = {
parent.streams.active.foreach { stream =>
println("Stopping spark streams")
stream.stop()
}
parent.stop()
}
parent.streams.active.foreach { stream =>
println("Stopping spark streams")
stream.stop()
}
parent.stop()
}
SS
а так хотелось пивка выпить спокойно в пятницу...
АЖ
а так хотелось пивка выпить спокойно в пятницу...
Совмещай!
K
мне не нужно в UI, мне в CICD-флоу впихнуть нужно корректные редеплой стримов
либо файлы, либо модифицировать юай
K
из гитлаба можно на юай ходить и стопать
UD
Совмещай!
два чая этому мудрецу
АЖ
Под пиво cicd хорошо идет
АЖ
Старая индейская мудрость!
E
Почти пик балмера
AZ
Под пиво cicd хорошо идет
Шутки шутками, а я за два пилзнера настроил нам ArgoCD для ванильного AnalyticOps пару недель назад
DT
можете поделиться алгоритмом велосипеда? файлы-маркеры в HDFS/S3, при появлении которых ssc делает грейсфул шатдаун?
Почему бы не добавить обработчик SIGQUIT / SIGTERM?
DT
Будут корректно завершаться просто по kill $pid
SS
Почему бы не добавить обработчик SIGQUIT / SIGTERM?
можете привести пример?
DT
что-нибудь вроде
import sun.misc.{Signal, SignalHandler}
var isTimeToStop = false
// в самом начале регистрируем обработчик
registerSignalHandlers()
def registerSignalHandlers() = {
val signalHandler = new SignalHandler {
override def handle(signal: Signal): Unit = {
log.info(s"Signal ${signal} received.")
isTimeToStop = true
}
Signal.handle(new Signal("TERM"), signalHandler)
}ну и перед обработкой каждого из батчей проверять, не пришло ли время isTimeToStop == true ?DT
проще говоря, переменная isTimeToStop заменяет маркеры в hdfs
АЖ
Шутки шутками, а я за два пилзнера настроил нам ArgoCD для ванильного AnalyticOps пару недель назад
Так это и не шутки
SS
на первый взгляд очень секси! спасибо, Денис!