S
Size: a a a
2020 September 30
IT
Я так понимаю у вас все или в base64 или в json? Никаких schema-full форматов, т.к. вы не знаете, что прилетит по ресту. Во многих случаях это deal breaker для систем сколько-нибудь высоким трафиком.
третий вариант - один к одному, байт к байту из исходного сообщения, если обе опции выключены. base64 или в json это как дополнение, например забирающему софту удобнее работать сразу с json, а источник в него не умеет.
IT
Ну и java/scala это же дефолт для кафки, почему ее на шлюзы не поставить, если сама кафка на jvm :) но могу понять если у вас все остальное на golang
именно
IT
Интересная идея, спасибо за то, что выложили!
Вообще я думаю причина того, что таких стандартных решений мало(или нет) в том, что обычно в таких entry point-ах люди реализуют роутинг между топиками, изначальную фильтрацию, стерилизацию в более компактные форматы и другую логику на границе «синхронного» и «асинхронного» миров. А такая логика часто зависит от бизнес логики, что делает существование стандартных решений не актуальным.
Вообще я думаю причина того, что таких стандартных решений мало(или нет) в том, что обычно в таких entry point-ах люди реализуют роутинг между топиками, изначальную фильтрацию, стерилизацию в более компактные форматы и другую логику на границе «синхронного» и «асинхронного» миров. А такая логика часто зависит от бизнес логики, что делает существование стандартных решений не актуальным.
Идея как раз в этом и заключалась, исключить сложную логику и трансформации из бриджа, чтобы можно его было использовать в максимальном количестве кейсов
S
Идея как раз в этом и заключалась, исключить сложную логику и трансформации из бриджа, чтобы можно его было использовать в максимальном количестве кейсов
В целом да, звучит как идея полезная в ряде случаев 👍
SM
Подскажите, плиз, как перевести работающий брокер в кластере в режим, в котором он бы слал все log-сообщения в Debug режиме?
SB
Привет! А внезапный вопрос есть по Azure Event Hub, хотя он совсем внутри не Кафка, а только насколько-то совместимый по интерфейсу. Есть у кого-то опыт использования? Особенно с Kafka Connect :)
VG
Добрый день. Может кому-нибудь будет полезно. Не нашёл подходящего софта для заливки данных в кафку из HTTP, UDP и Kafka источников, практически всё что нашёл, в итоге на той же java, а на шлюзы не очень то хотелось её устанавливать.
В итоге написал свой бридж в кафку на go, умеет пересылать сообщения из HTTP, UDP и Kafka источников, как один к одному, так и с некоторой обработкой. Умеет экспорт метрик по статистике сообщений в prometheus.
Собственно вот, https://github.com/it1804/kafka-bridge
В итоге написал свой бридж в кафку на go, умеет пересылать сообщения из HTTP, UDP и Kafka источников, как один к одному, так и с некоторой обработкой. Умеет экспорт метрик по статистике сообщений в prometheus.
Собственно вот, https://github.com/it1804/kafka-bridge
А почему не коннектор?
VG
Привет! А внезапный вопрос есть по Azure Event Hub, хотя он совсем внутри не Кафка, а только насколько-то совместимый по интерфейсу. Есть у кого-то опыт использования? Особенно с Kafka Connect :)
А чего не конфлюент Клауд в азуре?
SB
А чего не конфлюент Клауд в азуре?
Это я пытаюсь выяснить через всю иерархию архитекторов... ;)
VA
День добрый! Необходимо сделать стрим, который получает из одного (внешнего) брокера, трансформирует и помещает в другой (внутренний) брокер. Конфигурация поднимается, но стрим стучится в топик-out на внешнем брокере, а должен во внутреннем. По логам вижу, что внутреннего брокера AdminClient видит, но в ProducerConfig сервера внешнего брокера. Может есть у кого пример такой конфигурации?
AM
Никак не пойму как обрабатывать такие случаи с KafkaStreams.
(Spring cloud streams. KafkaStreams binder.)
Если при обработке стрима получаем исключение, то стрим останавливается. Ок, можно обернуть каждый шаг в try.. catch. Но как быть если ошибка возникла при сохранении в statestore промежуточного результата join, например. При этом при перезапуске приложения оно снова читает это же сообщение и опять валится.
Главный вопрос, как сдвинуть offset консьюмеров или закоммитить это сообщение при получении такой ошибки, ведь получается один poison message может остановить обработку всего потока сообщений.
У меня возникла ошибка при сераилизации в Avro, в io.confluent.kafka.serializers.KafkaAvroSerializer
Стектрейс по ссылке
https://pastebin.com/0qsfuFmg
(Spring cloud streams. KafkaStreams binder.)
Если при обработке стрима получаем исключение, то стрим останавливается. Ок, можно обернуть каждый шаг в try.. catch. Но как быть если ошибка возникла при сохранении в statestore промежуточного результата join, например. При этом при перезапуске приложения оно снова читает это же сообщение и опять валится.
Главный вопрос, как сдвинуть offset консьюмеров или закоммитить это сообщение при получении такой ошибки, ведь получается один poison message может остановить обработку всего потока сообщений.
У меня возникла ошибка при сераилизации в Avro, в io.confluent.kafka.serializers.KafkaAvroSerializer
Стектрейс по ссылке
https://pastebin.com/0qsfuFmg
VG
День добрый! Необходимо сделать стрим, который получает из одного (внешнего) брокера, трансформирует и помещает в другой (внутренний) брокер. Конфигурация поднимается, но стрим стучится в топик-out на внешнем брокере, а должен во внутреннем. По логам вижу, что внутреннего брокера AdminClient видит, но в ProducerConfig сервера внешнего брокера. Может есть у кого пример такой конфигурации?
Так нельзя. Kafka streams работают с одним кластером.
AP
Так нельзя. Kafka streams работают с одним кластером.
а как лучше работать в такой ситуации?Сделать мирроринг в другой кластер, а потом трансформации через kafka-streams в другом кластере?
VG
а как лучше работать в такой ситуации?Сделать мирроринг в другой кластер, а потом трансформации через kafka-streams в другом кластере?
Да
VA
Переслано от Alexey Melchakov
