A
Size: a a a
2019 December 27
SB
У нас питоновые консьюмеры с librdkafka, не поддерживающей транзакции
Обновляйтесь, вроде бы в последней версии уже есть?
NV
Транзакции для консьюмеров походу и правда завезли https://github.com/edenhill/librdkafka/issues/1308
λ
ὦan
Коллеги, есть ли какой-то пример готового микросервиса на кафка стримах? Можно не микросервиса, главное посмотреть как изменяется состояние
Лично нашел такой https://github.com/confluentinc/kafka-streams-examples/tree/4.0.0-post/src/main/java/io/confluent/examples/streams/microservices
Но такое ощущение что они выпилили один пакет и без него проект не собирается)
Лично нашел такой https://github.com/confluentinc/kafka-streams-examples/tree/4.0.0-post/src/main/java/io/confluent/examples/streams/microservices
Но такое ощущение что они выпилили один пакет и без него проект не собирается)
A
Транзакции для консьюмеров походу и правда завезли https://github.com/edenhill/librdkafka/issues/1308
Там только тикет и просят подождать
A
версия скалы небось
OK
Есть ли предпочтения откуда ставить java? openjdk-11-jdk достаточно или нужно заморочиться и вкатить оракловую жаву?
adopt open jdk
VG
ὦan
Коллеги, есть ли какой-то пример готового микросервиса на кафка стримах? Можно не микросервиса, главное посмотреть как изменяется состояние
Лично нашел такой https://github.com/confluentinc/kafka-streams-examples/tree/4.0.0-post/src/main/java/io/confluent/examples/streams/microservices
Но такое ощущение что они выпилили один пакет и без него проект не собирается)
Лично нашел такой https://github.com/confluentinc/kafka-streams-examples/tree/4.0.0-post/src/main/java/io/confluent/examples/streams/microservices
Но такое ощущение что они выпилили один пакет и без него проект не собирается)
Там генерируется много всего. Надо сделать полный mvn clean install тогда все собирется
VG
Hi Guys,
would appreciate any help regarding the following issue:
3 instance Apache Kafka 2.11 cluster (k8s, statefulset)
KAFKA_HEAP_OPTS -Xms2048M -Xmx2048M
each VM: 4CPU, 26Gb RAM
the essence of issue: under the load constantly growing memory consumption on only 1 instance (mostly kafka-0) and as a result periodically restarts due to OOM reason. When the cluster idle the memory is still not freed.
the questions: why only one instance is under the memory pressure? and what we have to pay attention for to stabilize cluster under the load?
would appreciate any help regarding the following issue:
3 instance Apache Kafka 2.11 cluster (k8s, statefulset)
KAFKA_HEAP_OPTS -Xms2048M -Xmx2048M
each VM: 4CPU, 26Gb RAM
the essence of issue: under the load constantly growing memory consumption on only 1 instance (mostly kafka-0) and as a result periodically restarts due to OOM reason. When the cluster idle the memory is still not freed.
the questions: why only one instance is under the memory pressure? and what we have to pay attention for to stabilize cluster under the load?
Проверьте версии клиентов. Может происходит upconvert/downconvert
ὦ
Пока только не понял как это работает
АБ