DL
И читается медленно, всё в куче
К примеру
PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG
0 2012 77802 75790
и это разгребается со скоростью, примерно, 1 сообщение в секеунду
Size: a a a
2020 August 31
DL
VG
Добрый день,
Подскажите, есть топик, туда сыпется достаточно сообщений, в тоже время, KStream читает оттуда очень медленно, где-то 1 сообщение в секунду.
Что не так?
Подскажите, есть топик, туда сыпется достаточно сообщений, в тоже время, KStream читает оттуда очень медленно, где-то 1 сообщение в секунду.
Что не так?
Олсо кэшинг по умолчанию включен.
2020 September 01
V
Добрый вечер, не подскажите готовых решений по внешнему хранению офсетов?
AP
зукипер)0
AP
в старых версиях
AP
Vlad
Добрый вечер, не подскажите готовых решений по внешнему хранению офсетов?
а почему просто в кафке не хранить их?
V
а почему просто в кафке не хранить их?
Кафка не наша, выдает сообщения за н лет и она вроде-бы не хочет хранить оффсеты прочитанных сообщений
AS
Vlad
Кафка не наша, выдает сообщения за н лет и она вроде-бы не хочет хранить оффсеты прочитанных сообщений
Даже если brokerId и GroupID константный на всех твоих клиентах?
V
Даже если brokerId и GroupID константный на всех твоих клиентах?
Я так понял, ту Кафку так настроили. слишком много потребителей, чтобы хранить оффсеты всех. Кому надо, тот запомнит типа
AS
Vlad
Я так понял, ту Кафку так настроили. слишком много потребителей, чтобы хранить оффсеты всех. Кому надо, тот запомнит типа
Если честно не припоминаю настройку которая бы запрещала брокеру хранить оффсет.
DK
раньше ведь оффсеты были в зукипере, и тогда люди мучались, придумывали как гарантированно их писать без потерь, видел реализации записей в хадуп, но с реализацией оффсета внутри кафки этого уже делать не надо
MS
Ну это будет не транзакционное хранение без гарантий.
IR
Ну это будет не транзакционное хранение без гарантий.
по идее же все еще at least once
IR
или ты про транзакции между топиками?