Телеграмм чат группы proKafka страница 1175

с учётом что без доп манипуляций не можешь сказать какие топики на какие брокеры-диски уйдут, то странно звучат заявления
“так можно контролировать сколько будет использовать выделенного диска и никогда не получить проблему с его нехваткой”

источник

18:15пожаловаться #5

MK

Maxon Kalashnikov in pro.kafka

думаю имелось ввиду "в худшем случае"

источник

18:16пожаловаться #6

A

Alex in pro.kafka

в данном случае “в лучшем случае”
в “худшем” жирные топики оказываются на одном диске и привет

источник

18:17пожаловаться #7

MK

Maxon Kalashnikov in pro.kafka

запас по диску должен быть

источник

18:17пожаловаться #8

VG

Vik Gamov in pro.kafka

Ramzan Bekbulatov

Приветствую! Кто-нибудь использовал готовые ansible роли для разворачивания кластера кафки? Какую стоит взять?
https://galaxy.ansible.com/search?keywords=kafka

Или может посоветуете другой плюс-минус адекватный путь к разворачиванию 5/7 нод кафки.

Ansible

Ansible Galaxy

Jump start your automation project with great content from the Ansible community

https://docs.confluent.io/current/installation/installing_cp/cp-ansible.html

docs.confluent.io

Ansible Playbooks for Confluent Platform

This guide provides instructions for using Confluent's Ansible playbooks to automate the deployment of Confluent Platform. It also provides information about how to configure several security options.

источник

18:23пожаловаться #9

VG

Vik Gamov in pro.kafka

Влад Запалов

вот более вменяемая
https://docs.confluent.io/current/installation/installing_cp/cp-ansible.html
но имхо лучше самому написать тк много лишнего ставит
+ будешь полностью контролировать что и куда а не фиксить чужие роли

docs.confluent.io

Ansible Playbooks for Confluent Platform

This guide provides instructions for using Confluent's Ansible playbooks to automate the deployment of Confluent Platform. It also provides information about how to configure several security options.

sticker.webp

(36.44 Кб)

источник

18:23пожаловаться #10

RB

Ramzan Bekbulatov in pro.kafka

Vik Gamov

https://docs.confluent.io/current/installation/installing_cp/cp-ansible.html

docs.confluent.io

Ansible Playbooks for Confluent Platform

This guide provides instructions for using Confluent's Ansible playbooks to automate the deployment of Confluent Platform. It also provides information about how to configure several security options.

Ага, выше рекомендовали, спасибо!

источник

18:24пожаловаться #11

HK

Huan Karlos in pro.kafka

привет всем, подскажите плз, существует ли докер имедж Metadata Service (MDS)?

источник

18:31пожаловаться #12

VG

Vik Gamov in pro.kafka

Huan Karlos

привет всем, подскажите плз, существует ли докер имедж Metadata Service (MDS)?

Confluent-server?

источник

18:54пожаловаться #13

M

Misha in pro.kafka

Кто-то сталкивался с проблемой транзакционного сохранения обьекта в дб и отправления его в кафку? То есть, если не прошло сохранение в дб, то и не должен отправиться месседж в кафку. И наоборот, соответственно

источник

19:04пожаловаться #14

VG

Vik Gamov in pro.kafka

Misha

Кто-то сталкивался с проблемой транзакционного сохранения обьекта в дб и отправления его в кафку? То есть, если не прошло сохранение в дб, то и не должен отправиться месседж в кафку. И наоборот, соответственно

Не делайте так

источник

19:06пожаловаться #15

VG

Vik Gamov in pro.kafka

Либо
- пишите в Кафку, потом коннектор выгребайте из Кафки в БД (Кафка - source of Truth)
- пишите в базу, потом коннектор выгребайте у Кафку

источник

19:07пожаловаться #16

RB

Ramzan Bekbulatov in pro.kafka

Vik Gamov

https://docs.confluent.io/current/installation/installing_cp/cp-ansible.html

docs.confluent.io

Ansible Playbooks for Confluent Platform

This guide provides instructions for using Confluent's Ansible playbooks to automate the deployment of Confluent Platform. It also provides information about how to configure several security options.

Настраиваю cp-ansible сейчас. Порекомендуйте, стоит ли включать JMX? По дефолту для мониторинга используется Jolokia, а JMX выключен.

источник

19:43пожаловаться #17

AS

Anton Sadovnikov in pro.kafka

Sergei Beilin

Сейчас - нет, но раньше - да. Без операторов, всё ручками. GKE, AKS. В принципе, если знаешь про классические нюансы "java+docker" - больше вопросов нет. Проблем с сетевым сторэджом также не было. Около тысячи топик-партишн (eventsourcing, поэтому там партишнов было много) Надеюсь, скоро будет какой-нибудь проект, где будет возможность посмотреть операторы. Сейчас у меня в эксплуатации только один кластер, но он в Docker Swarm, вряд ли интересно кому-то тут :)

@saabeilin если не секрет, по какому правилу шардировали по партициям в ES, юзали retention policy?

источник

20:04пожаловаться #18

VG

Vik Gamov in pro.kafka

Ramzan Bekbulatov

Настраиваю cp-ansible сейчас. Порекомендуйте, стоит ли включать JMX? По дефолту для мониторинга используется Jolokia, а JMX выключен.

чтобы JMX наружу торчал. Jolokia использует JMX и выдает его через REST

источник

20:36пожаловаться #19

RI

Roman Izutov in pro.kafka

Всем привет! Здесь можно спрашивать про реализацию архитектурной схемы, где есть кафка или надо где-то почитать FAQ вначале?

источник

21:06пожаловаться #20