A
Size: a a a
2020 January 16
A
exactly once in kafka делалась не совсем для того что вы думаете
Звучит очень интригующе))
VG
Звучит очень интригующе))
прям отличная тема для Бофа на след неделе
A
прям отличная тема для Бофа на след неделе
+
A
Расскажешь всю правду про транзакции в Кафке
VG
https://youtu.be/PgkRhlUwYyE?t=1042
EOS работает вот этой модели (прочитали - обработали - зиписали в кафку данные И офсеты атомарно). а не в модели «записали - и подождали когда на другой стороне примут)
EOS работает вот этой модели (прочитали - обработали - зиписали в кафку данные И офсеты атомарно). а не в модели «записали - и подождали когда на другой стороне примут)
RI
Противоречит со статьей :)
Там «This feature also allows you to commit your consumer offsets in the same transaction along with the data you have processed, thereby allowing end-to-end exactly-once semantics.»
Там «This feature also allows you to commit your consumer offsets in the same transaction along with the data you have processed, thereby allowing end-to-end exactly-once semantics.»
Да, это про гарантии записи в кафку. Продюсер в принцтпе stateless
A
https://youtu.be/PgkRhlUwYyE?t=1042
EOS работает вот этой модели (прочитали - обработали - зиписали в кафку данные И офсеты атомарно). а не в модели «записали - и подождали когда на другой стороне примут)
EOS работает вот этой модели (прочитали - обработали - зиписали в кафку данные И офсеты атомарно). а не в модели «записали - и подождали когда на другой стороне примут)
Спасибо
2020 January 17
RI
Рега на авито закончилась, но будет видос как здесь уже сообщали :) Сюда ссылочку кинут?
ES
Сейчас есть аналоги кафка стримс ?
A
Roman Izutov
Рега на авито закончилась, но будет видос как здесь уже сообщали :) Сюда ссылочку кинут?
Кинем
RI
А вот насущный вопрос: есть спрингбутовая приложенька, слушающая топик через вннотацию KafkaLiatener. Хочется иметь механизм притормаживания забора сообщений из кафки в ручном режиме(через ямл) на случай если следующая в цепочке принимающая сторона после консьюмера будет не справляться. Так вот сделали это через messageListener::pause всех лисенеров в контейнере и последующий resume в новом потоке который ждет заданное время задержки в ямле. Но, возможно, есть менее топорный способ замедлять работу искусственно? В доке не нашел параметра настройки типа min.poll.interval.ms
IR
не топорно наверно не получится, потому что так или иначе кафка попробует консюмера ребаланснуть
IR
как вариант можно таймауты выставить в космические значения