AK
там, кстати, метрик у кафки куча, так что может и не стоит все-все собирать
Size: a a a
2020 March 19
AE
Коллеги, подскажите пожалуйста. Развернул Kafka Confluent впервые, пишет ошибку «1 --- [ad | producer-1] o.a.k.clients.producer.internals.Sender : [Producer clientId=producer-1] Received invalid metadata error in produce request on partition charge-raw-0 due to org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition.. Going to request metadata update now»
AD
Коллеги, подскажите пожалуйста. Развернул Kafka Confluent впервые, пишет ошибку «1 --- [ad | producer-1] o.a.k.clients.producer.internals.Sender : [Producer clientId=producer-1] Received invalid metadata error in produce request on partition charge-raw-0 due to org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition.. Going to request metadata update now»
Видать, не совсем развернул)
D
Кто-нибудь сталкивался с таким агентом по сбору JMX для прометеуса?
https://github.com/prometheus/jmx_exporter
https://github.com/prometheus/jmx_exporter
сталкивался. работает
собирает немного иные метрики, нежели https://github.com/danielqsj/kafka_exporter
собирает немного иные метрики, нежели https://github.com/danielqsj/kafka_exporter
L
Сорри
AU
Товарищи, подскажите, почему такое может быть, что в одной партиции не удаляются старые сегменты?
303G /srv/kafka/disk-4/logs/{topic}-0/
11G /srv/kafka/disk-3/logs/{topic}-1/
11G /srv/kafka/disk-1/logs/{topic}-2/
брокеры(2.4.0):
log.retention.hours=168
log.retention.check.interval.ms=300000
топик:
Configs for topic '{topic}' are retention.ms=302400000
И некоторые файлы в партиции 0 уже давно за неделю. А в партициях 1 и 2 все корректно удаляется.
303G /srv/kafka/disk-4/logs/{topic}-0/
11G /srv/kafka/disk-3/logs/{topic}-1/
11G /srv/kafka/disk-1/logs/{topic}-2/
брокеры(2.4.0):
log.retention.hours=168
log.retention.check.interval.ms=300000
топик:
Configs for topic '{topic}' are retention.ms=302400000
И некоторые файлы в партиции 0 уже давно за неделю. А в партициях 1 и 2 все корректно удаляется.
удалось разобраться?
VD
удалось разобраться?
Дропнули в итоге старые сегменты, новые ротируются.
AU
Глюк брокера?
AU
Как дропнули? Релоадом просто?
VD
Похоже на то. Кореллирует правда с плагином omkafka в rsyslog которым мы некоторые логи пишем в кафку(до того как выставили randompartitions в true он писал только в нулевую партицию) так как другие топики тоже так же себя вели, но точная причина осталась неясной.
Удалили лог и индекс файлы старых сегментов и рестартовали брокера.
Удалили лог и индекс файлы старых сегментов и рестартовали брокера.
AU
Спасибо
2020 March 20
NK
Есть шанс что в будущем KIP-500 будет закончен и Zookeeper наконец-то отрежут ?
VG
Есть шанс что в будущем KIP-500 будет закончен и Zookeeper наконец-то отрежут ?
Да
NK
Вот его подзадачи из джиры вливаются прямо в trunk?
Я правильно понимаю что они сделаны так, что даже если сделаны не все, то кафка продолжает корректно, работать, просто меньше функционала 'смотрит' в зоокипер?
Я правильно понимаю что они сделаны так, что даже если сделаны не все, то кафка продолжает корректно, работать, просто меньше функционала 'смотрит' в зоокипер?
N
Про kip-500. А где этот аналог ЗК будет жить ? В одном из потоков на брокере ?
VG
ребяты, заходим и читаем - тут уже много написали https://cwiki.apache.org/confluence/display/KAFKA/KIP-500%3A+Replace+ZooKeeper+with+a+Self-Managed+Metadata+Quorum
VG
Вот его подзадачи из джиры вливаются прямо в trunk?
Я правильно понимаю что они сделаны так, что даже если сделаны не все, то кафка продолжает корректно, работать, просто меньше функционала 'смотрит' в зоокипер?
Я правильно понимаю что они сделаны так, что даже если сделаны не все, то кафка продолжает корректно, работать, просто меньше функционала 'смотрит' в зоокипер?
Bridge Release
The overall plan for compatibility is to create a "bridge release" of Kafka where the ZooKeeper dependency is well-isolated.
While this release will not remove ZooKeeper, it will eliminate most of the touch points where the rest of the system communicates with it. As much as possible, we will perform all access to ZooKeeper in the controller, rather than in other brokers, clients, or tools. Therefore, although ZooKeeper will still be required for the bridge release, it will be a well-isolated dependency.
We will be able to upgrade from any version of Kafka to this bridge release, and from the bridge release to a post-ZK release. When upgrading from an earlier release to a post-ZK release, the upgrade must be done in two steps: first, you must upgrade to the bridge release, and then you must upgrade to the post-ZK release.
The overall plan for compatibility is to create a "bridge release" of Kafka where the ZooKeeper dependency is well-isolated.
While this release will not remove ZooKeeper, it will eliminate most of the touch points where the rest of the system communicates with it. As much as possible, we will perform all access to ZooKeeper in the controller, rather than in other brokers, clients, or tools. Therefore, although ZooKeeper will still be required for the bridge release, it will be a well-isolated dependency.
We will be able to upgrade from any version of Kafka to this bridge release, and from the bridge release to a post-ZK release. When upgrading from an earlier release to a post-ZK release, the upgrade must be done in two steps: first, you must upgrade to the bridge release, and then you must upgrade to the post-ZK release.
VG
Вот его подзадачи из джиры вливаются прямо в trunk?
Я правильно понимаю что они сделаны так, что даже если сделаны не все, то кафка продолжает корректно, работать, просто меньше функционала 'смотрит' в зоокипер?
Я правильно понимаю что они сделаны так, что даже если сделаны не все, то кафка продолжает корректно, работать, просто меньше функционала 'смотрит' в зоокипер?
Только Не функционал, а функциональность
NK
Спасибо)