ME
Там что-то явно должно быть для этого. К сожалению мониторил сам только батчи(
Size: a a a
2019 November 05
神
Не нашёл.
N
Udf спарка это udf хайва ? Можно же udtf свою запихнуть ?
t
神風
Добрый вечер. Не подскажете как лучше мониторить лаг при использовании spark structured streaming?
что конкретно ты подразумеваешь под лагом?
神
что конкретно ты подразумеваешь под лагом?
Разница между оффсетом последней записи и максимальным оффсетом текущей прочитанной в батче.
AC
можно просто глянуть по consumer-группе?
神
Для этого достаточно знать текущие максимальные офсеты по партициям. Можно конечно взгромоздить консумер с записью вникуда
神
Интересует элегантное решение. Если оно есть...
神
можно просто глянуть по consumer-группе?
Из спарк джоба?
AC
из консоли) вам постоянно лаг мониторить нужно?
神
из консоли) вам постоянно лаг мониторить нужно?
Не, консоль не рулит..
t
神風
Для этого достаточно знать текущие максимальные офсеты по партициям. Можно конечно взгромоздить консумер с записью вникуда
streamingQuery.lastProgress
神
streamingQuery.lastProgress
Взял event.progress.json()
神
Только там нет этой инфы. Есть офсеты батча начало-конец по каждой партиции
t
ну а дальше ты из кафки вынимаешь оффсеты топика
神
ну а дальше ты из кафки вынимаешь оффсеты топика
Воооот... Очем я и говорю, вешаю пустой консумер для вычитки последнего офсета...
神
Только так?
t
да, тк спарк как обычный косумер ниче не знает про последние оффсеты
t
но вообще есть метод гораздо более простой (если тебе надо качественно понять, есть лаг или нет)
神
?