Y
Size: a a a
2020 September 24
SM
в этой папке может быть инфа про подключения к брокерам?
Y
Нет
Y
Там Файлы данных брокеров
Y
Все что пишете в кафку, хранится там
SM
а не подскажите, стандартными средствами из пакета кафки можно прочитать эти файлы? Я так понял, они формата log4j.
SM
то есть, в папку log.Dir пишутся данные, а не логи, и не более того, да?
SM
понял, спасибо.
SM
спасибо за пояснение!
И
Nikolay
как ФС повлияла , что 5й мог слать ответы?
rf:3 isr:2
timeline:
- последний лог на 5-ом брокере ночью был INFO [Log partition=<topic name>-25, dir=/local/kafka/<data-dir>] Rolled new log segment at offset 2709437341 in 1 ms.
- ФС ушла в read-only для /data
- далее остальные брокеры стали получать ошибку(в ReplicaFetcherThread варнинг SocketTimeoutException)
- 5-ый брокер был в итоге выкинут из in sync replicas для партиций где он НЕ лидер
- но при этом в партициях где он лидер - ничего не поменялось и он оставался до текущего времени (5-ый -лидер + он же в списке in-sync)
- после выключения кафки он потерял лидерство и все стало ок - партиции сменили лидера и кафка стала рабочей
timeline:
- последний лог на 5-ом брокере ночью был INFO [Log partition=<topic name>-25, dir=/local/kafka/<data-dir>] Rolled new log segment at offset 2709437341 in 1 ms.
- ФС ушла в read-only для /data
- далее остальные брокеры стали получать ошибку(в ReplicaFetcherThread варнинг SocketTimeoutException)
- 5-ый брокер был в итоге выкинут из in sync replicas для партиций где он НЕ лидер
- но при этом в партициях где он лидер - ничего не поменялось и он оставался до текущего времени (5-ый -лидер + он же в списке in-sync)
- после выключения кафки он потерял лидерство и все стало ок - партиции сменили лидера и кафка стала рабочей
N
rf:3 isr:2
timeline:
- последний лог на 5-ом брокере ночью был INFO [Log partition=<topic name>-25, dir=/local/kafka/<data-dir>] Rolled new log segment at offset 2709437341 in 1 ms.
- ФС ушла в read-only для /data
- далее остальные брокеры стали получать ошибку(в ReplicaFetcherThread варнинг SocketTimeoutException)
- 5-ый брокер был в итоге выкинут из in sync replicas для партиций где он НЕ лидер
- но при этом в партициях где он лидер - ничего не поменялось и он оставался до текущего времени (5-ый -лидер + он же в списке in-sync)
- после выключения кафки он потерял лидерство и все стало ок - партиции сменили лидера и кафка стала рабочей
timeline:
- последний лог на 5-ом брокере ночью был INFO [Log partition=<topic name>-25, dir=/local/kafka/<data-dir>] Rolled new log segment at offset 2709437341 in 1 ms.
- ФС ушла в read-only для /data
- далее остальные брокеры стали получать ошибку(в ReplicaFetcherThread варнинг SocketTimeoutException)
- 5-ый брокер был в итоге выкинут из in sync replicas для партиций где он НЕ лидер
- но при этом в партициях где он лидер - ничего не поменялось и он оставался до текущего времени (5-ый -лидер + он же в списке in-sync)
- после выключения кафки он потерял лидерство и все стало ок - партиции сменили лидера и кафка стала рабочей
Непонятно только почему он не отдавал данные. Если read only. Читать значит мог. Вот пришел к нему запрос - отдай такой кусок. Ну вот бы и отдал.
И
Nikolay
Непонятно только почему он не отдавал данные. Если read only. Читать значит мог. Вот пришел к нему запрос - отдай такой кусок. Ну вот бы и отдал.
у меня проблемы с записью(в кафку новых сообщений) были, чтение(из топиков) в тот момент выключено было, так что ничего не скажу про него
2020 September 25
N
Подскажите. хочу увидеь в коде кафки поток, который делает fetch с лидера . я скорее там хочу увидеть цикл для и sleep. цикл вижу override def doWork(): Unit = {
maybeTruncate()
maybeFetch()
}, а слипа условного нету.
maybeTruncate()
maybeFetch()
}, а слипа условного нету.
N
покритикуйте мое понимание. на каждом брокере создается по отдельному потоку на каждый оставшийся N-1 брокер и эти потоки в цикле бесперерыва посылают запросы на лидеров за обновлениями. Причем запросы эти синхронные ReplicaFetcherBlockingSend.sendRequest