Телеграмм чат группы proKafka страница 1607

Нужно позаботиться об отказоустойчивости сетапа (разные дц или разные стойки в одном дц), обратить внимание на конфиг (в первую очередь rack awareness), иметь on-call дежурства или команду реагирования 24х7

источник

16:58пожаловаться #8

A

Anatoly in pro.kafka

Dmitriy Zaytsev

Кафка-коннект с сохранением топика на с3. Дешёво, быстро, можно хорошо заплатить провайдеру с3.

Да, это один из способов организации бэкапа, когда он нужен

источник

16:58пожаловаться #9

A

Anatoly in pro.kafka

Либо резервный кластер кафка

источник

16:58пожаловаться #10

I

IV in pro.kafka

Anatoly

Нужно позаботиться об отказоустойчивости сетапа (разные дц или разные стойки в одном дц), обратить внимание на конфиг (в первую очередь rack awareness), иметь on-call дежурства или команду реагирования 24х7

да два ДЦ, мирорй 2й настроили

источник

16:58пожаловаться #11

I

IV in pro.kafka

Dmitriy Zaytsev

Кафка-коннект с сохранением топика на с3. Дешёво, быстро, можно хорошо заплатить провайдеру с3.

восстановление не очевидно

источник

16:59пожаловаться #12

A

Anatoly in pro.kafka

@gamussa интересно, а можно как-то подключить через новый tier storage данные из s3 к новому пустому кластеру?:)

источник

17:00пожаловаться #13

V

VTaliKK in pro.kafka

чисто вопрос на интерес. Предположим мы забекапили топики.
Случилось ахтунг, молодой зеленый кильнул топик.

текущие вариант позволяют восстановить данные с топика, даже с __consumers_offset.

но что будет после воосстановления данных? тупо все читатели сначала прочтут весь топик?

источник

17:03пожаловаться #14

V

VTaliKK in pro.kafka

или после восстановления срзу изменть offset на примерное время ?

источник

17:04пожаловаться #15

AB

Andrey Belyakov in pro.kafka

VTaliKK

чисто вопрос на интерес. Предположим мы забекапили топики.
Случилось ахтунг, молодой зеленый кильнул топик.

текущие вариант позволяют восстановить данные с топика, даже с __consumers_offset.

но что будет после воосстановления данных? тупо все читатели сначала прочтут весь топик?

Можно хранить оффсеты во внешнем сторе и устанавливать их автоматически per partition при присоединении нового консьюмера к кластеру

источник

17:06пожаловаться #16

A

Anatoly in pro.kafka

Некоторые репликаторы умеют маппить офсеты в разных кластерах

источник

17:10пожаловаться #17

I

IV in pro.kafka

Anatoly

Некоторые репликаторы умеют маппить офсеты в разных кластерах