В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

1586 membersпожаловаться на группу
2020 January 15

ВЗ

Влад Запалов in pro.kafka
вот более вменяемая
https://docs.confluent.io/current/installation/installing_cp/cp-ansible.html
но имхо лучше самому написать тк много лишнего ставит
+ будешь полностью контролировать что и куда а не фиксить чужие роли
docs.confluent.io
Ansible Playbooks for Confluent Platform
This guide provides instructions for using Confluent's Ansible playbooks to automate the deployment of Confluent Platform. It also provides information about how to configure several security options.
источник
14:40пожаловаться#1

b

bykva in pro.kafka
Влад Запалов
вот более вменяемая
https://docs.confluent.io/current/installation/installing_cp/cp-ansible.html
но имхо лучше самому написать тк много лишнего ставит
+ будешь полностью контролировать что и куда а не фиксить чужие роли
docs.confluent.io
Ansible Playbooks for Confluent Platform
This guide provides instructions for using Confluent's Ansible playbooks to automate the deployment of Confluent Platform. It also provides information about how to configure several security options.
+1. Ну или взять готовую и смотря на нее рядом написать свою
источник
14:41пожаловаться#2

ВЗ

Влад Запалов in pro.kafka
ага
источник
14:41пожаловаться#3

RB

Ramzan Bekbulatov in pro.kafka
Спасибо!
источник
14:41пожаловаться#4

DZ

Dmitriy Zaytsev in pro.kafka
Ramzan Bekbulatov
И да, zookeeper как обычно располагают? Типа по ноде зукипера к ноде кафки? Или стоит их разнести по хостам?
zk лучше отдельно поставить
источник
14:42пожаловаться#5

b

bykva in pro.kafka
просто всегда есть нюансы. то же самое проставление id у нод зукипера и кафки у каждого будет сделано по-разному. в той роли брались теги амазона, а у меня вмваре. я в терраформе создаю теги, собираю ансиблом динамическим инвентарем и получаю id который нужно пробросить в конфиг внутрь виртуалки. У тебя будет свой путь
источник
14:43пожаловаться#6

RB

Ramzan Bekbulatov in pro.kafka
bykva
просто всегда есть нюансы. то же самое проставление id у нод зукипера и кафки у каждого будет сделано по-разному. в той роли брались теги амазона, а у меня вмваре. я в терраформе создаю теги, собираю ансиблом динамическим инвентарем и получаю id который нужно пробросить в конфиг внутрь виртуалки. У тебя будет свой путь
Последнее предложение прочитал с пафосом как в фильмах
источник
14:59пожаловаться#7

b

bykva in pro.kafka
sticker.webp
(30.73 Кб)
источник
16:46пожаловаться#8

MK

Maxon Kalashnikov in pro.kafka
Сталкивался кто с проблемой накапливания данных в топике __consumer_offsets ? Топик  уже неприлично распух, при том что offsets.retention.minutes выставлен в 2880, а сегменты лежат на диске с начала времент.
Кафка 1.0.1
источник
17:08пожаловаться#9

DZ

Dmitriy Zaytsev in pro.kafka
log.cleanup.policy посмотрите на всякий случай
источник
17:32пожаловаться#10

MU

Max Underwood in pro.kafka
cleanup.policy у топика надо менять. по умолчанию там шлак какой то. ставил в delete и на байты
источник
17:40пожаловаться#11

MU

Max Underwood in pro.kafka
у меня все топики по размеру партиций чистятся
источник
17:40пожаловаться#12

MK

Maxon Kalashnikov in pro.kafka
cleanup.policy=compact (по дефолту, не переопределял)
источник
17:49пожаловаться#13

MK

Maxon Kalashnikov in pro.kafka
Max Underwood
у меня все топики по размеру партиций чистятся
версия 1.0.1?
источник
17:50пожаловаться#14

MU

Max Underwood in pro.kafka
0.10.0.0 и 1.0.0 но compact я и менял на delete
источник
17:51пожаловаться#15

MU

Max Underwood in pro.kafka
Вам они действительно так сильно нужны
источник
17:51пожаловаться#16

MU

Max Underwood in pro.kafka
как по мне единственная верная политика это удаление по размеру. так можно контролировать сколько будет использовать выделенного диска и никогда не получить проблему с его нехваткой
источник
17:52пожаловаться#17

A

Alex in pro.kafka
а там разве не размер на партицию указывается?
источник
17:55пожаловаться#18

MK

Maxon Kalashnikov in pro.kafka
Max Underwood
Вам они действительно так сильно нужны
нет, но судя по описанию этой полиси - она не работает (если я правильно понял что такое ключи месаджей = ид консумер группы), поскольку у нас всего 3 группы...
источник
17:56пожаловаться#19

MU

Max Underwood in pro.kafka
месседжи активно читаются лаг есть большой? если нет то ставьте удаление по размеру партиций, а там столько сколько можете выделить места. тоже самое рекомендую и для продуктовых топиков
источник
17:57пожаловаться#20