Size: a a a

2019 November 22

A

Alex in pro.kafka
да, поэтому и сказал что все равно нужно будет pause делать
источник

M

Mm in pro.kafka
В теории может быть так и стоит оставить, выставить max.poll.interval.ms на тот интервал который мы будем пробовать, а потом вся консьюмер группа будет мертва до момента пока система не оживёт и мы не сможем протолкнуть все то что в буферах валяется. Затем будет poll , ребаланс ... вроде складывается и можно будет без pause обойтись
источник
2019 November 24

IE

Ivan EKbfh in pro.kafka
Привет!
А есть tl;dr на тему, как kafka producer (моё приложение) должно находить, к какому серверу из кластера обращаться для записи данных?
Надо ли ставить haproxy\keepalived перед кафкой?
источник

VG

Vik Gamov in pro.kafka
Ivan EKbfh
Привет!
А есть tl;dr на тему, как kafka producer (моё приложение) должно находить, к какому серверу из кластера обращаться для записи данных?
Надо ли ставить haproxy\keepalived перед кафкой?
Нет
источник

VG

Vik Gamov in pro.kafka
Продюсеру нужен только bootstrap server, все остальные сервера прилетят с метадатой
источник

IE

Ivan EKbfh in pro.kafka
Vik Gamov
Продюсеру нужен только bootstrap server, все остальные сервера прилетят с метадатой
бутстрап-сервер может меняться динамически? Мне стоит отдать кафку в консул?
источник

VG

Vik Gamov in pro.kafka
Не понял вопроса
источник

IE

Ivan EKbfh in pro.kafka
Продьюсер должен откуда-то найти, где ему искать этот бутстрап сервер.
Бутстрап — это один сервер, раз и навсегда?
источник

IE

Ivan EKbfh in pro.kafka
Если да, то что будет с продьюсерами, если он будет лежать?
источник

IE

Ivan EKbfh in pro.kafka
источник

VG

Vik Gamov in pro.kafka
Ivan EKbfh
Если да, то что будет с продьюсерами, если он будет лежать?
Две ситуации

- продюсер стартует
- продюсер уже работает
источник

VG

Vik Gamov in pro.kafka
1) бутстрапсервер должен быть up на момент старта продюсера
источник

VG

Vik Gamov in pro.kafka
2) тут бутстрапсервер уже не важен. Обновленный список брокеров будет прилетать с метадатой
источник

IE

Ivan EKbfh in pro.kafka
Vik Gamov
1) бутстрапсервер должен быть up на момент старта продюсера
то есть это какая-то из нод, выбранная за наиболее доступную, так?
источник

VG

Vik Gamov in pro.kafka
Ivan EKbfh
то есть это какая-то из нод, выбранная за наиболее доступную, так?
Нет, первая доступная из списка (если несколько серверов в списке)
источник

A

Alex in pro.kafka
@EKbfh зачастую в бутстрап устанавливается список из нескольких кафка серверов
источник

A

Alex in pro.kafka
опрос по очереди до какой достучится
источник

A

Alex in pro.kafka
оттуда уже вся полная метаинфа где какая партиция расположена
источник

A

Alex in pro.kafka
установление прямого соединения с нужным сервером и запись в партицию
источник

IE

Ivan EKbfh in pro.kafka
Alex
@EKbfh зачастую в бутстрап устанавливается список из нескольких кафка серверов
о, так уже проще, да
источник