Size: a a a

2020 October 09

I

IV in pro.kafka
привет! правильно понимаю, для высокой доступности Confluent Schema Registry, нам необходимо несколько нод Confluent Schema Registry настроить на кластер zookeeper - SCHEMA_REGISTRY_KAFKASTORE_CONNECTION_URL?
источник

I

IV in pro.kafka
или вариант с зукипером деприкейтед?
источник

N

Nikolay in pro.kafka
Никола Абрамович
добрый день, подскажите почему так отличается массив, в какую сторону смотреть что бы сделать одинаковый вывод
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec
брокер А
time,"1602238101813"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:Count,"39"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:EventType,"messages"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:FifteenMinuteRate,"5.6337033933972067E-5"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:FiveMinuteRate,"4.825215829996067E-8"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:MeanRate,"1.4275355884538996E-4"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:OneMinuteRate,"1.3081400668568506E-28"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:RateUnit,"SECONDS"

брокер Б
time,"1602238113050"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:Count,"31030878"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:EventType,"messages"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:FifteenMinuteRate,"3.3601989093524973"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:FiveMinuteRate,"3.359907915740408"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:MeanRate,"2.4259470055094075"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:OneMinuteRate,"3.423625417302397"
kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec:RateUnit,"SECONDS"
А какая конфигурация ? Может к вам 2 брокера и один топик  с одной партией.
источник

V

Vadim in pro.kafka
источник

V

Vadim in pro.kafka
походу баг висит 4 года
источник

V

Vadim in pro.kafka
что сделать сейчас чтобы запустить?
источник

V

Vadim in pro.kafka
данные зукипера можно почистить вообще? там же просто кто какой топик , какую партицию читает? заного подключатся и все
источник

N

Nikolay in pro.kafka
Vadim
данные зукипера можно почистить вообще? там же просто кто какой топик , какую партицию читает? заного подключатся и все
Там хранится эпоха для топика.
источник

V

Vadim in pro.kafka
чет не знаю что это
источник

N

Nikolay in pro.kafka
Кто читает насколько мне помнится там не хранится.
источник

V

Vadim in pro.kafka
источник

V

Vadim in pro.kafka
удалил файл 0го размера. запустился зукипер
источник

V

Vadim in pro.kafka
retention policy поменял, сделал по размеру чтоб чистилось, запустил, но чет пока не чистит
источник

V

Vadim in pro.kafka
о хотя почистил
источник

ON

Oleg Nyrkov in pro.kafka
Сижу пишу велосипед, может кто написал уже? Вычитываем из кафки сообщения и раскладываем по локальным очередям, сейчас коммит делаем после того как положили сообщения в локальную очередь. Вот решили что можем потерять сообщения если упадем, и делать более умный управляемый коммит.  Может знает уже готовое, кейс вроде стандартный, должно же где то быть уже реализованное
источник

НА

Никола Абрамович... in pro.kafka
Nikolay
А какая конфигурация ? Может к вам 2 брокера и один топик  с одной партией.
4-брокера 40-топиков, на 3-х нормальный stdout из kafka.tools.JmxTool, а на 4-м такая шляпа 5.6337033933972067E-5
источник

N

Nikolay in pro.kafka
Никола Абрамович
4-брокера 40-топиков, на 3-х нормальный stdout из kafka.tools.JmxTool, а на 4-м такая шляпа 5.6337033933972067E-5
А на этом 4 как дела вообще ? Идут на него сообщения ? Есть он в isr?
источник

НА

Никола Абрамович... in pro.kafka
Topic:ucd-inbox PartitionCount:1        ReplicationFactor:4     Configs:min.insync.replicas=3
       Topic: ucd-inbox        Partition: 0    Leader: 4       Replicas: 4,3,2,1       Isr: 2,4,3,1
Topic:ucd-outbox        PartitionCount:1        ReplicationFactor:4     Configs:min.insync.replicas=3
       Topic: ucd-outbox       Partition: 0    Leader: 4       Replicas: 4,3,2,1       Isr: 1,4,3,2
Topic:utd-inbox PartitionCount:1        ReplicationFactor:4     Configs:min.insync.replicas=3
       Topic: utd-inbox        Partition: 0    Leader: 4       Replicas: 3,4,2,1       Isr: 1,4,3,2
Topic:utd-outbox        PartitionCount:1        ReplicationFactor:4     Configs:min.insync.replicas=3
       Topic: utd-outbox       Partition: 0    Leader: 4       Replicas: 4,3,2,1       Isr: 1,4,3,2

нормально все, отдает и принимает.
источник

НА

Никола Абрамович... in pro.kafka
аномалия какая то не типизированных данных
источник

e

es]x in pro.kafka
Подскажите каким параметром можно чистить tmp/kafka-logs &&
источник