Всем привет.
У кого нибудь были странности при работе с confluentinc/cp-zookeeper:5.4.0.

У меня периодически случается интересная картина. Зукипер перестает обслуживать запросы

В логи контейнера вместо ошибок приходят оповещения типа:
INFO Expiring session 0x103141ce2910150, timeout of 6000ms exceeded (org.apache.zookeeper.server.ZooKeeperServer)
[2020-10-15 10:24:53,045] INFO Submitting global closeSession request for session 0x103141ce2910150 (org.apache.zookeeper.server.ZooKeeperServer)

[2020-10-15 10:24:53,045] INFO Expiring session 0x302e1293531010e, timeout of 6000ms exceeded (org.apache.zookeeper.server.ZooKeeperServer)
[2020-10-15 10:24:53,045] INFO Submitting global closeSession request for session 0x302e1293531010e (org.apache.zookeeper.server.ZooKeeperServer)

[2020-10-15 10:24:55,046] INFO Expiring session 0x2031415040e0151, timeout of 6000ms exceeded (org.apache.zookeeper.server.ZooKeeperServer)
[2020-10-15 10:24:55,046] INFO Submitting global closeSession request for session 0x2031415040e0151 (org.apache.zookeeper.server.ZooKeeperServer)

[2020-10-15 10:24:55,046] INFO Expiring session 0x302e1293531010f, timeout of 6000ms exceeded (org.apache.zookeeper.server.ZooKeeperServer)
[2020-10-15 10:24:55,046] INFO Submitting global closeSession request for session 0x302e1293531010f (org.apache.zookeeper.server.ZooKeeperServer)


Стата ZK при этом показывает вот такую штуку:
node-1
Zxid: 0x5f00000549
Mode: follower

node-2
Zxid: 0x6000000000
Mode: leader

node-3
Zxid: 0x5f00000549
Mode: follower

День добрый! Ecть приложение. Внутри него стартует два KafkaStreams инстанса (ThirstKS.start(); SecondKS.start();).
Допустим, в первом инстансе формируется некоторая справочная информация, которая хранится в state store-ах, и на основе этих данных регулярно выполняются вычисления, результаты которых записывается в конечный топик result_data.

Есть задача, очищать state-store-ы от уже ненужных данных, исходя из сообщений, поступающих из специального топика delete_info.

1. Каким образом возможно это сделать во втором инстансе, добраться до сторов? Interactive Queries?
2. На данный момент у меня однонодная кафка )) Я же правильно понимаю, если делать такую очистку в ThirstKS, то при получении сообщения из топика delete_info, пока процессор чистит сторы, другие процессоры (которые должны лить в result_data) будут простаивать?

Всем привет! Где-то в начале лета наткнулся на одной из конференций, правда, не помню какой, то ли TechLeadConf, то ли записи старых конференций, то ли еще что-то, на которой озвучивали допустимые ограничения по количеству писателей и читателей. Я честно записал, а потом выкинул стикер.
Погуглив, я нашел на Cloudera формулу для расчета количества партиций на основе пропускных способностей, отдельно смог найти ограничение по количеству читателей в группе (не больше, чем количество партиций), а вот по писателям ни найти, ни вспомнить не могу.
Может кто, пожалуйста, подсобить с вопросом?

А можно ссылку на доклад чтобы контекст понять?

вот если бы я помнил, что за доклад, я бы не приходил сюда с вопросом 🙂

моя ситуация. я хочу создать топик и сделать X партиций с фактором репликации Y. групп читателей, как я понимаю, может быть сколь угодно, но количество читатей в группе должно быть >=X (если больше, то лишние будут простаивать). вопрос: есть ли какое-то ограничение по количеству писателей для данного топика?

Нет

ребят, а miror maker 2.+ по умолчанию оффсеты корректно транслирует в новый кластер или доп настройка нужна?
просто ни разу не мигрировал им, а быстро найти в доке ответ не выходит

Если ещё актуально - включить kafka.request.logger в debug, и поискать по имени топика и PRODUCE

Подскажите, пожалуйста, если внутри Стрима вылетит RuntimeException то поток стрима завершится?

Вроде бы любой неотловленный exception убивает стрим

господа, помогите разобраться, zookeeper,kafka работают нормально а вот schema-registry никак не стартанет. Ошибка такая:

[2020-10-19 16:36:49,769] ERROR Server died unexpectedly:  (io.confluent.kafka.schemaregistry.rest.SchemaRegistryMain)
2020-10-19T16:36:49.770930534Z io.confluent.common.config.ConfigException: No supported Kafka endpoints are configured. Either kafkastore.bootstrap.servers must have at least one endpoint matching kafkastore.security.protocol or broker endpoints loaded from ZooKeeper must have at least one endpoint matching kafkastore.security.protocol.

SCHEMA_REGISTRY_KAFKASTORE_BOOTSTRAP_SERVERS: kafka:9092
SCHEMA_REGISTRY_KAFKASTORE_GROUP_ID: schema-registry
чего не хватает schema-registry для работы? нужно создать GROUP_ID вручную ?

конфиг в студию

пока отбой накатил последний имидж и все завелось

🙏🏽

Кто то может пояснить, чем  confluent kafka community edition отличается от commercial

Рою сайт их уже час, 6айти отличия типа первое vs второе, не могу

коммершл = энтерпрайз?

тогда вот сравнение, или это не оно?