Size: a a a

2019 October 28

D

Dauren in pro.kafka
Логи:
[INFO ] [22/10/2019 09:58:36] [] o.a.k.c.c.i.AbstractCoordinator | [Consumer clientId=consumer-1, groupId=provider-projector] Successfully joined group with generation 20
[INFO ] [22/10/2019 09:58:36] [] o.a.k.c.c.i.ConsumerCoordinator | [Consumer clientId=consumer-1, groupId=provider-projector] Setting newly assigned partitions [microloan.loan-provider.request.snapshot-0]
[INFO ] [22/10/2019 09:58:40] [] o.a.k.c.c.i.AbstractCoordinator | [Consumer clientId=consumer-1, groupId=provider-projector] Sending LeaveGroup request to coordinator 10.49.1.91:9092 (id: 2147483646 rack: null)
[INFO ] [22/10/2019 09:58:41] [akka://ProviderProjector/system/kafka-consumer-1] a.a.RepointableActorRef | Message [akka.actor.TimerSchedulerImpl$InfluenceReceiveTimeoutTimerMsg] without sender to Actor[akka://ProviderProjector/system/kafka-consumer-1#-671865587] was not delivered. [2] dead letters encountered. If this is not an expected behavior, then [Actor[akka://ProviderProjector/system/kafka-consumer-1#-671865587]] may have terminated unexpectedly, This logging can be turned off or adjusted with configuration settings 'akka.log-dead-letters' and 'akka.log-dead-letters-during-shutdown'.
[INFO ] [22/10/2019 09:59:06] [akka://ProviderProjector/system/kafka-consumer-1] a.a.RepointableActorRef | Message [akka.kafka.KafkaConsumerActor$Stop$] from Actor[akka://ProviderProjector/system/StreamSupervisor-0/$$b#-122266067] to Actor[akka://ProviderProjector/system/kafka-consumer-1#-671865587] was not delivered. [3] dead letters encountered. If this is not an expected behavior, then [Actor[akka://ProviderProjector/system/kafka-consumer-1#-671865587]] may have terminated unexpectedly, This logging can be turned off or adjusted with configuration settings 'akka.log-dead-letters' and 'akka.log-dead-letters-during-shutdown'
источник

D

Dauren in pro.kafka
Второй раз такое поведение поймать не удалось
источник

AS

Anton Sadovnikov in pro.kafka
Alexander Sibiryakov
@Scarbo Антон, на мой взгляд это лучшее из предложенного. Только я бы это назвал по-другому. Мониторинг оффсета последнего, полученного сообщения в топике. Нужно посмотреть в API брокера, это там есть. Что получаете? Простую проверку на активность своего продюсера, если смещения не меняются долгое время, значит не пишет. Писать хартбиты на мой взгляд бессмыслено, для это цели могут использоваться сами сообщения. Сделать health check через HTTP на публикующем процессе, еще более бредовая идея. Producer, может быть мертв, а HTTP в прекрасной форме. Вам придётся пробрасывать результат от вызова send() в ответ health check, и в этом легко накосячить.
Да в API это есть, позволяет мониторить лаг между последним прочитанным сообщением и последним сообщением в партиции. Но даный способ будет работать только для топиков, в который постоянно пишутся сообщения, если сообщения пишутся с переменной частотой, то как мониторить «если смещения не меняются долгое время», что в данном случае будет «долгим временем», хартбиты будут гарантировать определенную частоту, но будут засорять мусором топик (как я писал выше хартбиты отправляются только если «давно» не отправлялись целевые сообщения, если трафик идет, то сами сообщения выступают в роли хартбитов)
источник

I

Igor in pro.kafka
Всем привет! Может ли кто-нибудь подсказать, куда дальше копать после таких ошибок cp-control-center:
ERROR found topic=_confluent-command with replication=1 expecting at least expectedReplication=3 (io.confluent.controlcenter.KafkaHelper)
ERROR found topic=_confluent-command with isr=1 below minIsr=2 (io.confluent.controlcenter.KafkaHelper)
ERROR Startup failed to create necessary topics (io.confluent.controlcenter.KafkaHelper)
INFO Shutting down Kafka Streams (io.confluent.controlcenter.streams.KafkaStreamsManager)

При этом дескрайб этого топика ничего внятно не сказал:
# kafka-topics --zookeeper clickhouse-kafka-mvm-cp-zookeeper --describe _confluent-command
Topic:__confluent.support.metrics       PartitionCount:1        ReplicationFactor:1     Configs:retention.ms=31536000000
       Topic: __confluent.support.metrics      Partition: 0    Leader: 2       Replicas: 2     Isr: 2
Topic:__consumer_offsets        PartitionCount:50       ReplicationFactor:3     Configs:segment.bytes=104857600,cleanup.policy=compact,compression.type=producer
       Topic: __consumer_offsets       Partition: 0    Leader: 1       Replicas: 1,2,0 Isr: 1,0,2
       Topic: __consumer_offsets       Partition: 1    Leader: 2       Replicas: 2,0,1 Isr: 1,0,2
       Topic: __consumer_offsets       Partition: 2    Leader: 0       Replicas: 0,1,2 Isr: 1,0,2
Topic:_confluent-command        PartitionCount:1        ReplicationFactor:1     Configs:
       Topic: _confluent-command       Partition: 0    Leader: 2       Replicas: 2     Isr: 2
Topic:_confluent-controlcenter-5-2-0-1-KSTREAM-OUTEROTHER-0000000105-store-changelog    PartitionCount:1        ReplicationFactor:1     Configs:
       Topic: _confluent-controlcenter-5-2-0-1-KSTREAM-OUTEROTHER-0000000105-store-changelog   Partition: 0    Leader: 2       Replicas: 2     Isr: 2
источник

N

No1 in pro.kafka
Привет, а есть какие нибудь роли aнсиболи для кафки рабочие? С авторизацией рабочей, с созданием топиков?
источник

VG

Vik Gamov in pro.kafka
No1
Привет, а есть какие нибудь роли aнсиболи для кафки рабочие? С авторизацией рабочей, с созданием топиков?
источник

N

No1 in pro.kafka
404 ?
источник

N

No1 in pro.kafka
источник

I

Igor in pro.kafka
А насколько плохо, что в зукипере куча подобных сообщений:
INFO Got user-level KeeperException when processing sessionid:0x1006653dfc000af type:create cxid:0x5 zxid:0x7a5 txntype:-1 reqpath:n/a Error Path:/admin/delete_topics Error:KeeperErrorCode = NodeExists for /admin/delete_topics (org.apache.zookeeper.server.PrepRequestProcessor)
источник

MK

Max Krylov in pro.kafka
Right now)
источник

SP

Sergey Pichkurov in pro.kafka
Anton Sadovnikov
Да в API это есть, позволяет мониторить лаг между последним прочитанным сообщением и последним сообщением в партиции. Но даный способ будет работать только для топиков, в который постоянно пишутся сообщения, если сообщения пишутся с переменной частотой, то как мониторить «если смещения не меняются долгое время», что в данном случае будет «долгим временем», хартбиты будут гарантировать определенную частоту, но будут засорять мусором топик (как я писал выше хартбиты отправляются только если «давно» не отправлялись целевые сообщения, если трафик идет, то сами сообщения выступают в роли хартбитов)
согласен с @sibiryakov что это избыточно и сложно. мониторить кафку своими доморощенными харбитами смысла нет никакого. а для монитиринга бизнес-логики продюсера они вряд ли чем то помогут. ИМО вам нужен мониторинг бизнес логики, и это лучше делать через пробы уровня инфраструктуры (например, k8s).
источник

GM

Gleb Mekhrenin in pro.kafka
Sergey Pichkurov
согласен с @sibiryakov что это избыточно и сложно. мониторить кафку своими доморощенными харбитами смысла нет никакого. а для монитиринга бизнес-логики продюсера они вряд ли чем то помогут. ИМО вам нужен мониторинг бизнес логики, и это лучше делать через пробы уровня инфраструктуры (например, k8s).
чет смешались люди с конями, для лайвнес проб нужна метрика, что бы получить метрику нужны хартбиты
источник

АБ

Алексей Быстрый in pro.kafka
Привет.
Как я понял что если партиции в топике 4, а в консьюмер группе 8 консьюмеров то 4 консьюмера из 8 простаивают?
источник

АБ

Алексей Быстрый in pro.kafka
в семантике eo
источник

AS

Alexander Sibiryakov in pro.kafka
Алексей Быстрый
Привет.
Как я понял что если партиции в топике 4, а в консьюмер группе 8 консьюмеров то 4 консьюмера из 8 простаивают?
Именно так.
источник

АБ

Алексей Быстрый in pro.kafka
А если я просто добавлю партиции то по идее кафка должна все ребалансировать все это дело
источник

IR

Ivan Ryshov in pro.kafka
Ребяь посоветуйте хорошие курмы на udemy
источник

IR

Ivan Ryshov in pro.kafka
Пожалуйста
источник

VG

Vik Gamov in pro.kafka
Max Krylov
Right now)
💥
источник

KS

Kostya Struga in pro.kafka
Алексей Быстрый
А если я просто добавлю партиции то по идее кафка должна все ребалансировать все это дело
Новые сообщения пойдут во все включая новые патриции, но для реблансировки старых нужен скрипт
источник