Size: a a a

2019 November 07

SB

Stanislav Bausov in pro.kafka
Stanislav Bausov
Прочитал статейку, по поводу гарантии очередности сообщений в партиции. max.in.flight.requests.per.connection=1 решеает проблему нарушения порядка в случае ретраев, но снижает пропускную способность. И как решение предлагается выставить такие настройки:
You can also set enable.idempotence=true without the need to decreasing max.in.flight.requests.per.connection but you need to adjust other settings according to documentation:
Note that enabling idempotence requires max.in.flight.requests.per.connection to be less than or equal to 5, retries to be greater than 0 and acks must be ‘all’.
up
источник

I

Ilgiz in pro.kafka
идемпотентный продьюсер вместе с сообщением отправляет порядковый номер сообщения. брокер отбрасывает сообщения с меньшим порядковым номером.
источник

SB

Stanislav Bausov in pro.kafka
ага. но получается если посылаются сообщения с номемами 1, 2, 3 и max.inflight.rq > 1, то есои сообщение 1 зафейлилось, пошло на ретрай, а 2 и 3 отправились в других реквестах, сообщение 1 должно отбросится и по факту потеряться => идемпотентность теряется
источник

SB

Stanislav Bausov in pro.kafka
вот тут у меня недопонимание
источник

I

Ilgiz in pro.kafka
Stanislav Bausov
ага. но получается если посылаются сообщения с номемами 1, 2, 3 и max.inflight.rq > 1, то есои сообщение 1 зафейлилось, пошло на ретрай, а 2 и 3 отправились в других реквестах, сообщение 1 должно отбросится и по факту потеряться => идемпотентность теряется
идемпотентность не про потери, а про двойную обработку одного и того же сообщения
источник

I

Ilgiz in pro.kafka
если хотите чтобы не терялось, то ставьте max inflight = 1
источник

SB

Stanislav Bausov in pro.kafka
Ilgiz
идемпотентность не про потери, а про двойную обработку одного и того же сообщения
как я понимаю это про exactly-once, если брокер отбросит необработанное сообщение, то это вообще не под какую категорию не попадает
источник

SB

Stanislav Bausov in pro.kafka
at-most-once тока
источник

_

_ in pro.kafka
Stanislav Bausov
как я понимаю это про exactly-once, если брокер отбросит необработанное сообщение, то это вообще не под какую категорию не попадает
Exactly once только при перекладывании данных внутри кафки, да
источник

I

Igor in pro.kafka
Если у кого есть, поделитесь хорошими докладами на тему организации микросервисов поверх Кафки, типа https://youtu.be/rCOKmZ8VqCU
источник
2019 November 08

A

Anatoly Soldatov in pro.kafka
Я недавно рассказывал про микросервисы поверх кафки в Авито и различные кейсы как это можно сделать. Но доклад ближе к самой кафке и архитектуре, нацеленной на простоту интеграции микросервисов/снижение рисков что-то сломать. Хороший или нет судить не берусь, но у нас в проде уже довольно давно так и проблем нет

http://devopsconf.io/moscow/2019/abstracts/5582

https://www.youtube.com/watch?v=CwK1wsL_olE&feature=youtu.be
источник

A

Anatoly Soldatov in pro.kafka
Кстати, мы планируем 30 ноября в офисе Авито провести митап ровно на эту тему. Должно быть интересно :)
источник

VE

Vladimir Elfimov in pro.kafka
Anatoly Soldatov
Кстати, мы планируем 30 ноября в офисе Авито провести митап ровно на эту тему. Должно быть интересно :)
А где зарегистрироваться?
источник

A

Anatoly Soldatov in pro.kafka
Я чуть ближе к дате митапа кину ссылку
источник

DM

Daniel Matveev in pro.kafka
Anatoly Soldatov
Я недавно рассказывал про микросервисы поверх кафки в Авито и различные кейсы как это можно сделать. Но доклад ближе к самой кафке и архитектуре, нацеленной на простоту интеграции микросервисов/снижение рисков что-то сломать. Хороший или нет судить не берусь, но у нас в проде уже довольно давно так и проблем нет

http://devopsconf.io/moscow/2019/abstracts/5582

https://www.youtube.com/watch?v=CwK1wsL_olE&feature=youtu.be
Тяжелый доклад. "Мы очень любим го" звучит чаще чем "кафка", хотя доклад вроде о втором.
источник

A

Anatoly Soldatov in pro.kafka
Daniel Matveev
Тяжелый доклад. "Мы очень любим го" звучит чаще чем "кафка", хотя доклад вроде о втором.
И то и другое близко к микросервисам :)
источник

DM

Daniel Matveev in pro.kafka
Anatoly Soldatov
И то и другое близко к микросервисам :)
не буду комментировать, холивар

я только про доклад высказался
источник

A

Anatoly Soldatov in pro.kafka
Daniel Matveev
не буду комментировать, холивар

я только про доклад высказался
Согласен, холивар, это больше шутка была)

В целом, го можно заменить на любой язык N в нашем случае и всю эту архитектуру повторить
источник

AK

Alexander Kovalev in pro.kafka
сорян конечно, но в авито при всем уважении слишком специфичная архитектура поверх кафки
источник

AK

Alexander Kovalev in pro.kafka
и каждый раз, когда я спрашиваю, а как же делают крутые весчи поверх своей рестовой прокси, отвечают что идут в обход, сразу кафка стримами
источник