C
Size: a a a
2020 April 20
AD
А чем не хватает jmx экспортера + kafka lag экспортера ?
AS
я правильно поняла, что это типо как готовое решение, и надо только предоставить возможность соединения к брокерам?
а чем бы отличался обычный prometheus_javaagent от этого?
а чем бы отличался обычный prometheus_javaagent от этого?
Вот тут ребята объясняют зачем помимо jmx_exporter нужен еще и kafka_exporter - https://strimzi.io/blog/2019/10/14/improving-prometheus-metrics/
C
Вот тут ребята объясняют зачем помимо jmx_exporter нужен еще и kafka_exporter - https://strimzi.io/blog/2019/10/14/improving-prometheus-metrics/
Стало понятнее) пасиб)
2020 April 21
PR
Всем доброго времени суток! Вопрос Kafka+C#
Есть микросервис с продюсером, он написан на Java, AVRO-схема содержит явовский неймспейс, условно "com.company.service.kafka.avro", в дотнете я генерил по аврохе классы, но при этом дабы не ломать структуру проекта - неймспейс был изменён на дотнетовский
Итак, вопрос - кто-нибудь может направить на путь истинный, как сконсумить кафка-мессадж с другим неймспейсом? Есть ли какая-то опция (C#), игнорирующая неймспейс в сообщении? (т.к. завтра может получиться, что и другой сервис будет со своим неймспейсом туда же в топик постить, а потом ещё 100500 сервисов, но структура будет одинаковая, кроме неймспейса)
Есть микросервис с продюсером, он написан на Java, AVRO-схема содержит явовский неймспейс, условно "com.company.service.kafka.avro", в дотнете я генерил по аврохе классы, но при этом дабы не ломать структуру проекта - неймспейс был изменён на дотнетовский
Итак, вопрос - кто-нибудь может направить на путь истинный, как сконсумить кафка-мессадж с другим неймспейсом? Есть ли какая-то опция (C#), игнорирующая неймспейс в сообщении? (т.к. завтра может получиться, что и другой сервис будет со своим неймспейсом туда же в топик постить, а потом ещё 100500 сервисов, но структура будет одинаковая, кроме неймспейса)
VG
Всем доброго времени суток! Вопрос Kafka+C#
Есть микросервис с продюсером, он написан на Java, AVRO-схема содержит явовский неймспейс, условно "com.company.service.kafka.avro", в дотнете я генерил по аврохе классы, но при этом дабы не ломать структуру проекта - неймспейс был изменён на дотнетовский
Итак, вопрос - кто-нибудь может направить на путь истинный, как сконсумить кафка-мессадж с другим неймспейсом? Есть ли какая-то опция (C#), игнорирующая неймспейс в сообщении? (т.к. завтра может получиться, что и другой сервис будет со своим неймспейсом туда же в топик постить, а потом ещё 100500 сервисов, но структура будет одинаковая, кроме неймспейса)
Есть микросервис с продюсером, он написан на Java, AVRO-схема содержит явовский неймспейс, условно "com.company.service.kafka.avro", в дотнете я генерил по аврохе классы, но при этом дабы не ломать структуру проекта - неймспейс был изменён на дотнетовский
Итак, вопрос - кто-нибудь может направить на путь истинный, как сконсумить кафка-мессадж с другим неймспейсом? Есть ли какая-то опция (C#), игнорирующая неймспейс в сообщении? (т.к. завтра может получиться, что и другой сервис будет со своим неймспейсом туда же в топик постить, а потом ещё 100500 сервисов, но структура будет одинаковая, кроме неймспейса)
пример схемы есть? не совсем сразу понятно
PR
пример схемы есть? не совсем сразу понятно
да, зашарил только всякие названия, но принцип такой https://pastebin.com/enQZHmwL
AD
Если topic creation включено то он будет создан при записи сообщений. Если выключен то на сколько я помню никак. Там нужно admin api дергать, чего kafkacat не делает. Поправьте если я не прав
NS
Подкиньте нормальны гайд по запуску всего этого счастья в докере
AU
Aleh Danilovich
Если topic creation включено то он будет создан при записи сообщений. Если выключен то на сколько я помню никак. Там нужно admin api дергать, чего kafkacat не делает. Поправьте если я не прав
делает, kafkacat это швейцарский нож
AU
на сайте конфлюента есть статья как пользоваться
AU
ну про создание топиков я видимо наврал, не может
V
Aleh Danilovich
Если topic creation включено то он будет создан при записи сообщений. Если выключен то на сколько я помню никак. Там нужно admin api дергать, чего kafkacat не делает. Поправьте если я не прав
то есть я просто пишу сообщение в топик и если он не существует он должен создастся?
A
Всем привет! Кто использовал s3 sink connector, подскажите, плиз, почему он создаёт огромное число файлов по несколько килобайт в хранилище (в данном случае это MinIO) и как добиться одного файла на одну партицию в какой-то интервал времени (за час, например)?