IK
Гайз, а как можно легально сказать кафке на полученные сообщения "щас я их процессить не буду" и отписаться от стрима? А то если просто отписываться то оно тупит на незаакканых. У меня кейс что по эвенту в топике нужно нв другой переключаться
Size: a a a
2019 December 08
IK
Из жавы желательно)
Н
Можно перед отпиской сделать коммит с предыдущим/последним обработанным оффсетом
IR
Гайз, а как можно легально сказать кафке на полученные сообщения "щас я их процессить не буду" и отписаться от стрима? А то если просто отписываться то оно тупит на незаакканых. У меня кейс что по эвенту в топике нужно нв другой переключаться
Consumer.pause?
IR
Второй вариант консюмишь в /dev/null
IR
Пока не нужны
IK
Коммит не помогает,т.к. Забирает 1,2,3. Коммичу я 1,2. А 3 мне нужно позже.
IK
@irasikhin оно мне нужно) просто потом
IK
А вот был бы пульсар..)
AM
Можно же с последнего commited оффсета начать снова поллить когда надо
AM
Уроде как
IK
Да. Но ансабскрайб а сабскрайб тупят если с оффсетом ничего не сделать заполленным
A
Привет. Подскажите, пожалуйста, правильный способ получения сообщения по ключу.
Как я понимаю, можно через Stream и KTable.
Но интересует вопрос атомарности - producer сохранил в топик и мы сразу идем в KTable.
Может ли быть такое что сообщение не будет в KTable? Не уверен, но вроде там RocksDB и вряд ли там транзакция на запись в исходный топик, стрим и ktable.
Как я понимаю, можно через Stream и KTable.
Но интересует вопрос атомарности - producer сохранил в топик и мы сразу идем в KTable.
Может ли быть такое что сообщение не будет в KTable? Не уверен, но вроде там RocksDB и вряд ли там транзакция на запись в исходный топик, стрим и ktable.
VG
Привет. Подскажите, пожалуйста, правильный способ получения сообщения по ключу.
Как я понимаю, можно через Stream и KTable.
Но интересует вопрос атомарности - producer сохранил в топик и мы сразу идем в KTable.
Может ли быть такое что сообщение не будет в KTable? Не уверен, но вроде там RocksDB и вряд ли там транзакция на запись в исходный топик, стрим и ktable.
Как я понимаю, можно через Stream и KTable.
Но интересует вопрос атомарности - producer сохранил в топик и мы сразу идем в KTable.
Может ли быть такое что сообщение не будет в KTable? Не уверен, но вроде там RocksDB и вряд ли там транзакция на запись в исходный топик, стрим и ktable.
Вопрос большой с большим количеством не совсем корректных assumptions.
Посмотри мой доклад на московском джуге https://speaking.gamov.io/24FFv9
Посмотри мой доклад на московском джуге https://speaking.gamov.io/24FFv9
IR
Привет. Подскажите, пожалуйста, правильный способ получения сообщения по ключу.
Как я понимаю, можно через Stream и KTable.
Но интересует вопрос атомарности - producer сохранил в топик и мы сразу идем в KTable.
Может ли быть такое что сообщение не будет в KTable? Не уверен, но вроде там RocksDB и вряд ли там транзакция на запись в исходный топик, стрим и ktable.
Как я понимаю, можно через Stream и KTable.
Но интересует вопрос атомарности - producer сохранил в топик и мы сразу идем в KTable.
Может ли быть такое что сообщение не будет в KTable? Не уверен, но вроде там RocksDB и вряд ли там транзакция на запись в исходный топик, стрим и ktable.
можешь вначале отправить в топик а потом сохранить руками в store
IR
будет тоже самое
2019 December 09
VG
можешь вначале отправить в топик а потом сохранить руками в store
Нет
IR
Не понял, ну ладно. Если что имел ввиду как работают Кафка стримы. Вначале пишут в стор затем в кафку. Тоже самое можно сделать руками с исходным топиком.
IR
Речь о ченджлогах