AS
вплане? у кафки есть перформанс продьюсер из коробки
Size: a a a
2019 October 30
АБ
вплане? у кафки есть перформанс продьюсер из коробки
о. Точно
АБ
ну
АБ
не совсем
АБ
ладно. буду что то думать
HK
Huan Karlos
привет всем, обновил кафку с 1.1 до 2.3 и в логе появилась ошибка:
подскажите как это можно пофиксить?
[2019-10-30 12:07:27,906] INFO [GroupCoordinator 1]: Stabilized group service-group-PROD generation 3600 (__consumer_offsets-12) (kafka.coordinator.group.GroupCoordinator)
[2019-10-30 12:07:27,908] INFO [GroupCoordinator 1]: Assignment received from leader for group service-group-PROD for generation 3600 (kafka.coordinator.group.GroupCoordinator)
[2019-10-30 12:07:28,966] INFO [GroupCoordinator 1]: Preparing to rebalance group service-group-PROD in state PreparingRebalance with old generation 3600 (__consumer_offsets-12) (reason: Adding new member service-group-PROD-ff9fdf88d-47d5q-3a61ab0d-7f19-44b1-87b3-edf0bee9d25a with group instanceid None) (kafka.coordinator.group.GroupCoordinator)
подскажите как это можно пофиксить?
Решилась проблема обновлением до 2.3.1. Бага описана тут - https://issues.apache.org/jira/browse/KAFKA-8653
N
Huan Karlos
Решилась проблема обновлением до 2.3.1. Бага описана тут - https://issues.apache.org/jira/browse/KAFKA-8653
💪🏻
2019 October 31
A
контролить это одно. Мне интересен механизм когда кластер таки даст сбой
В доках же все расписано, что происходит при падении мастера или реплики, какие команды кому шлются, как проходит ребалансинг и тд
Зачем пытаться реверсить штатный функционал
Зачем пытаться реверсить штатный функционал
AM
Кто-то может подсказать, есть ли какие-то ограничения на использование образа confluentinc/cp-enterprize-kafka ?
VG
Anton Marchenko
В смысле - в образе есть проприетарные модули, но меня интересует metrics, на который, вроде бы, ограничений на использование нет. Просто в обычном образе cp-kafka metrics отсутствует. Или на него тоже есть лицензионные ограничения?
В том образе есть metrics Reporter но смысла большого от него нет, если не используется control center
AM
В том образе есть metrics Reporter но смысла большого от него нет, если не используется control center
Metrics пишет в топик, а значит данные можно посредством какого-нибудь коннектора выложить в базу и использовать для анализа деятельности кластера.
На тему deprecated образа - это значит, что он полностью перестанет поддерживаться, так? То есть оптимальным решением остаётся сборка и поддержка полностью своего образа с брокером кафки?
На тему deprecated образа - это значит, что он полностью перестанет поддерживаться, так? То есть оптимальным решением остаётся сборка и поддержка полностью своего образа с брокером кафки?
VG
Anton Marchenko
Metrics пишет в топик, а значит данные можно посредством какого-нибудь коннектора выложить в базу и использовать для анализа деятельности кластера.
На тему deprecated образа - это значит, что он полностью перестанет поддерживаться, так? То есть оптимальным решением остаётся сборка и поддержка полностью своего образа с брокером кафки?
На тему deprecated образа - это значит, что он полностью перестанет поддерживаться, так? То есть оптимальным решением остаётся сборка и поддержка полностью своего образа с брокером кафки?
Да, можно прочитать _confluent_metrics топик и сделать с ним что хочешь. Я только не оч помню в каком формате оно там хранится.
Wrt Deprecated: все будет в cp-confluent-server, cp-enterprise-kafka не будет поддерживаться. На самом деле мы просто переименовали одно в другое.
Wrt Deprecated: все будет в cp-confluent-server, cp-enterprise-kafka не будет поддерживаться. На самом деле мы просто переименовали одно в другое.
AM
Да, можно прочитать _confluent_metrics топик и сделать с ним что хочешь. Я только не оч помню в каком формате оно там хранится.
Wrt Deprecated: все будет в cp-confluent-server, cp-enterprise-kafka не будет поддерживаться. На самом деле мы просто переименовали одно в другое.
Wrt Deprecated: все будет в cp-confluent-server, cp-enterprise-kafka не будет поддерживаться. На самом деле мы просто переименовали одно в другое.
Спасибо, важная информация.
Но а вообще, если не использовать проприетарные части энтерпрайзных образов, сами образы можно использовать свободно? Никак не могу разобраться с этой тонкостью по лицензиям
Но а вообще, если не использовать проприетарные части энтерпрайзных образов, сами образы можно использовать свободно? Никак не могу разобраться с этой тонкостью по лицензиям
AM
Можно, но надо проверить как работает проверка лицензии
Исходя из гайда на сайте конфлюэнта, для базового запуска образа той же кафки указывать адрес для проверки лицензионных ключей не нужно. Проверил, брокер прекрасно стартует, единственное, логгирование более подробное, чем у обычного образа, что любопытно
VG
Anton Marchenko
Исходя из гайда на сайте конфлюэнта, для базового запуска образа той же кафки указывать адрес для проверки лицензионных ключей не нужно. Проверил, брокер прекрасно стартует, единственное, логгирование более подробное, чем у обычного образа, что любопытно
Судиться с вам никто не будет если вы пользуетесь образами и не платите. Unless вы свой Клауд делаете и продавать его будете