Size: a a a

2020 December 04

AU

Andrey Ustinov in pro.kafka
Доброе утро! Есть какие-то предпосылки не делать прямое обновление платформы с 5.2.2 на 6.0.1? Или нужно добавить промежуточные версии? Беглый гуглинг страшных вещей не выдал окромя того что поменяются wire и inter-broker протоколы (но ведь брокеры тоже обновятся и будут включать в себя новые настройки?) @gamussa
источник

TM

Tim Mustafin in pro.kafka
внутреннее
источник

TM

Tim Mustafin in pro.kafka
Tim Mustafin
У меня оно типа managed, попрошу логи ZK, спасибо за мысль
UPD: в логах зк вообще ничего во время ошибки, работает как работал видимо
источник

ЧП

Чёрный Плащ... in pro.kafka
Алексей Васин
всем привет, кто нибудь знает какой-нибудь нормальный юай инструмент для кафки, так как kafka-tool отстойно выглядит?
Кафка менеджер не смотрели?
источник

АВ

Алексей Васин... in pro.kafka
Чёрный Плащ
Кафка менеджер не смотрели?
Нет, гляну, спасибо
источник

В

Вячеслав in pro.kafka
Алексей Васин
всем привет, кто нибудь знает какой-нибудь нормальный юай инструмент для кафки, так как kafka-tool отстойно выглядит?
Их вообще маловато. Можешь глянуть kafkaesque (гуглить по kafkaesque tool)
источник

VG

Vik Gamov in pro.kafka
Andrey Ustinov
Доброе утро! Есть какие-то предпосылки не делать прямое обновление платформы с 5.2.2 на 6.0.1? Или нужно добавить промежуточные версии? Беглый гуглинг страшных вещей не выдал окромя того что поменяются wire и inter-broker протоколы (но ведь брокеры тоже обновятся и будут включать в себя новые настройки?) @gamussa
Должно работать
источник

AU

Andrey Ustinov in pro.kafka
Vik Gamov
Должно работать
Благодарю
источник

I

IV in pro.kafka
привет, подскажите по бекапу кластера кафки, варианты и бестпрактисы? +зукипер видимо, или как такового нормального решения нет?
источник

VG

Vik Gamov in pro.kafka
IV
привет, подскажите по бекапу кластера кафки, варианты и бестпрактисы? +зукипер видимо, или как такового нормального решения нет?
Только вчера @MrAnatoly на devoops рассказывал что бэкапы не нужны
источник

I

IV in pro.kafka
Vik Gamov
Только вчера @MrAnatoly на devoops рассказывал что бэкапы не нужны
запись есть?
источник

VG

Vik Gamov in pro.kafka
IV
запись есть?
Хз пока
источник

I

IV in pro.kafka
а не нужны, потому, что нормальной реализации бекапа не реализовать?
источник

DZ

Dmitriy Zaytsev in pro.kafka
А что вы бекапить собираетесь? То, что через retention.ms само умрёт?
источник

k

kvadratura in pro.kafka
> бекап кластера кафки
вы хотите нечто вроде database snapshot?

не нужны, т. к. при соответствующих настройках, гарантируется, что потерь данных нет.
источник

DZ

Dmitriy Zaytsev in pro.kafka
я могу при любых настройках воспроизвести вам потерю данных 🙂
источник

I

IV in pro.kafka
Dmitriy Zaytsev
я могу при любых настройках воспроизвести вам потерю данных 🙂
вот поэтому и задумались 😎
источник

k

kvadratura in pro.kafka
Dmitriy Zaytsev
я могу при любых настройках воспроизвести вам потерю данных 🙂
replicatuon factor = 4
min insync replicas = 2

предположим, что sync replicas не отваливаются все одновременно (хотя такое случается, да)

как вы потеряете данные в таком случае?
источник

A

Anatoly in pro.kafka
Dmitriy Zaytsev
я могу при любых настройках воспроизвести вам потерю данных 🙂
Если вы админ,  и/или в компании плохо с security то при любых = при любых, включая наличие бэкапов
источник

A

Anatoly in pro.kafka
А если приняты меры предосторожности, включая установку в несколько дц, rack awareness и наличие acl на топиках, то бэкапы чаще не нужны (но всегда есть исключения, конечно). При этом Кафка может содержать данные за последний час (тогда ваши бэкапы будут всегда устаревшими) или работать как база (тогда тут есть смысл задуматься)
источник