Телеграмм чат группы proKafka страница 1170

13:24пожаловаться #1

N

No1 in pro.kafka

В соседнем чате ответили

Мы крутим . Оператор не используем, обычный чарт. Нагрузка около 100к сообщений в минуту, в пике до миллиона. Проблем нет, только надо быстрые диски и много памяти
Ребаланс напрягает иногда, но не критично. Консумеров около 50 все это дело выгребают
С hpa  по кастомной метрике (по лагу). Если лаг растёт, на каждые сто тыщ сообщений спавним еще 10 консумеров

ну то есть при нагрузке, что нибудь может пойти не так, не только же кафка крутится одна в кубер кластере, страдать будут все сервисы

13:25пожаловаться #2

DZ

No1

ну то есть при нагрузке, что нибудь может пойти не так, не только же кафка крутится одна в кубер кластере, страдать будут все сервисы

Аааээммм. Почему?

13:25пожаловаться #3

N

No1 in pro.kafka

Аааээммм. Почему?

а вы иопсы нарезаете? а сеть?

13:26пожаловаться #4

DZ

У меня сотни серверов в кубере. Я сервера нарезаю.

13:27пожаловаться #5

DZ

Никто не мешает (а я даже и рекомендую) под кафку отдельную нодгруппу отдать

13:27пожаловаться #6

D

Dmitry in pro.kafka

хз, все равно не рекомендую в кластер ее пихать
сложнее управлять ей там

13:29пожаловаться #7

DZ

я для себя в итоге решил поднять просто серверами, но у меня кафка просто стоит и работает, изменений там нет почти, только топики добавляем иногда - и мне весь этот удобный операционный функционал от оператора в кубе не очень нужен. Плюс у меня не новый кластер, а обновление старого - и я не хочу ловить эдж-кейсы в логике на своём продакшне.

13:40пожаловаться #8

A

Alexander in pro.kafka

Кто-нибудь в курсе, будет ли confluent hdfs 2 sink connector работать с hdfs 3+? Судя по докам confluent следует использовать новый, но он только по лицензии

14:03пожаловаться #9

A

Alex in pro.kafka

попробуйте подложить свежие hdfs либы

14:37пожаловаться #10

A

Alex in pro.kafka

в версии хадупа 2.7 вроде поменяли бинарный протокол (было поле int стало long)
протобаф изменился
но вот интерфейс остался тем же для java классов, вернее его расширили +1 методом

14:37пожаловаться #11

A

Alex in pro.kafka

ну и на третью версию тоже что-то там в протоколе мутили, на уровне бинарной сериализации

14:40пожаловаться #12

N

NH in pro.kafka

Ребятушки, кто-нибудь крутит кафку в кубере на продакшне? Какой оператор используете? Сколько рпс?

Есть опыт с strimzi. Достаточно удобно эксплуатировать, авторизация, метрики, ssl из коробки. Можно создание топиков/пользователей через crd делать.

Все на отдельных серверах живёт (kafka/zk), никаких shared load. Rolling update более ли менее. Рпс около 10к.

17:11пожаловаться #13

DZ

NH

Есть опыт с strimzi. Достаточно удобно эксплуатировать, авторизация, метрики, ssl из коробки. Можно создание топиков/пользователей через crd делать.

Все на отдельных серверах живёт (kafka/zk), никаких shared load. Rolling update более ли менее. Рпс около 10к.

Были проблемы, связанные именно со strimzi?

17:20пожаловаться #14

DZ

В вольво тоже стримзи используют, недавно сказали. Я смотрел на оператор от банзайклауд, он выглядит логичным в плане принятых решений и функционала.

17:22пожаловаться #15

DZ

Но стримзи в инкубаторе cncf, что добавляет веры, конечно

17:22пожаловаться #16

N

NH in pro.kafka

Были проблемы, связанные именно со strimzi?

Да нет, даже с alpha на beta api нормально все обновилось.

С кафкой самой вот проблемы были)

17:32пожаловаться #17

b

bykva in pro.kafka

Господа, я правильно понимаю что директика zookeeper.connect в конфиге принимает именно hostname? нельзя писать ip:port?

19:31пожаловаться #18

b

bykva in pro.kafka

bykva

Господа, я правильно понимаю что директика zookeeper.connect в конфиге принимает именно hostname? нельзя писать ip:port?

нельзя, спасибо =)

19:35пожаловаться #19

V

Vadim in pro.kafka

я для себя в итоге решил поднять просто серверами, но у меня кафка просто стоит и работает, изменений там нет почти, только топики добавляем иногда - и мне весь этот удобный операционный функционал от оператора в кубе не очень нужен. Плюс у меня не новый кластер, а обновление старого - и я не хочу ловить эдж-кейсы в логике на своём продакшне.

мне кафка в кубере нравится больше