EK
и этот рест маршрутизирует все топики в соответ. обработчики?
Минимум 10 демонов на 10 топиков --- позволяет эффективно горизонтально масштабироваться.
А вот таки да, без персистенс коннекта на запись php + kafka -- это грустно.
Size: a a a
2020 February 21
AK
VG
Trisha Chetani
@gamussa I wanted to create a data flow , like Wikipedia have changes in article and I could get the event for it and process the event and save in non relation database
check this out https://github.com/confluentinc/cp-demo
SB
Подскажите, пожалуйста, что происходит с inMemory оффсетом при ребалансеровке? Один и тотже консюмер читает с одного партишена с тем же оффсетом(предположительно после ребалансировки) из за чего дубли. auto.commit = false. И обязательно ли коммитить перед началом ребалансировки(вроде как спасает от дублей)?
Не могу найти в интернетике подтверждение что он тянет текущий (последний что бьІл закомичен) офсет с брокера а свой inMem сливает.
Не могу найти в интернетике подтверждение что он тянет текущий (последний что бьІл закомичен) офсет с брокера а свой inMem сливает.
SB
kafka+php - кто использует, как организована архитектура? Интересует демон консумера и сколько их? Т.е если вы создаете 10 топиков, то вы поднимаете 10 воркеров? или 1 топик на все и в топике есть поле type_id и 1 демон который обслуживает все и в зависимости от типа запускает разные воркеры?
Вот у меня аналогичные вопросы и вообще по php+Kafka.
SB
Дадада, у меня очередной "монолит" под эволюционное распиливание ;)
N
Подскажите, пожалуйста, что происходит с inMemory оффсетом при ребалансеровке? Один и тотже консюмер читает с одного партишена с тем же оффсетом(предположительно после ребалансировки) из за чего дубли. auto.commit = false. И обязательно ли коммитить перед началом ребалансировки(вроде как спасает от дублей)?
Не могу найти в интернетике подтверждение что он тянет текущий (последний что бьІл закомичен) офсет с брокера а свой inMem сливает.
Не могу найти в интернетике подтверждение что он тянет текущий (последний что бьІл закомичен) офсет с брокера а свой inMem сливает.
Не укажу источники , но понимаю так. После ребелансировки консьюмер будет читать с последнего закомиченного офсета для назначенной партиции (й)