PD
одновременно выполняемых задач
Size: a a a
2021 March 05
AA
ну а если кто-то упал?
PD
ну партиции перераспределяться
PD
сколько реально параллелизма нужно?
AA
сколько реально параллелизма нужно?
ну учитывая что эти джобы трахают базу, то не миллионы, а скорее сотни или тысячи
PD
Ну тогда проблем нет особых, кафка потянет. Сделай только тест на скорость перераспределения партиций при падении (не знаю, какие у тебя SLA), там с разными настройками может быть разное.
AA
Ну тогда проблем нет особых, кафка потянет. Сделай только тест на скорость перераспределения партиций при падении (не знаю, какие у тебя SLA), там с разными настройками может быть разное.
ну а как отмотать в случае чего? вот один там упал по памяти - надо persisted worker id тогда?
PD
так он пока задачу не выполнил - оффсет не сдвинет же. так что потом его задача скинется на тот воркер, что подхватит партицию
AA
ну так и я про это же - получается один воркер это одна партиция. Прикинул хер ко лбу, ну пусть будет 200, настраиваем, запускаем 200 воркеров и идем курить
Если ночью никого нет, или днем пришло 100500 народу, то мы в жопе
Если ночью никого нет, или днем пришло 100500 народу, то мы в жопе
SE
Я пропустил много сообщений, но вы тут пытаетесь Кафку как MQ использовать?
AA
Я пропустил много сообщений, но вы тут пытаетесь Кафку как MQ использовать?
ага
SE
Pulsar умеет в MQ. Или кролик. Кафка не оч
PD
ну так и я про это же - получается один воркер это одна партиция. Прикинул хер ко лбу, ну пусть будет 200, настраиваем, запускаем 200 воркеров и идем курить
Если ночью никого нет, или днем пришло 100500 народу, то мы в жопе
Если ночью никого нет, или днем пришло 100500 народу, то мы в жопе
Не. Сделай 2000 партиций, запусти 10 воркеров, партиции по ним распределяться. На одного воркера - много партиций может быть
AA
Pulsar умеет в MQ. Или кролик. Кафка не оч
ну вот я тоже никак не могу понять народ, который бегает и кричит что у них кафка как MQ
VG
Pulsar умеет в MQ. Или кролик. Кафка не оч
Тут сейчас кто-то из Confluent тебе напишет что есть Parallel consumer который сможет queue
PD
ну вот я тоже никак не могу понять народ, который бегает и кричит что у них кафка как MQ
Да какая разница? уж точно лучше кролика
VG
Тут сейчас кто-то из Confluent тебе напишет что есть Parallel consumer который сможет queue
Oh wait
SE
Тут сейчас кто-то из Confluent тебе напишет что есть Parallel consumer который сможет queue
да не, единственный чувак из Confluent в этом чатике говорит, что Кафка это не MQ и не стоит её так юзать 😉 Даже гифки в твиторе постил
AA
Не. Сделай 2000 партиций, запусти 10 воркеров, партиции по ним распределяться. На одного воркера - много партиций может быть
ну хорошо, вот у нас 2000 партиций. 10 воркеров. Обновляют как то индекс. Надо сделать 20 воркеров - откуда они начнут читать?
PD
ну хорошо, вот у нас 2000 партиций. 10 воркеров. Обновляют как то индекс. Надо сделать 20 воркеров - откуда они начнут читать?
2000 партиций распределятся по 20 воркерам