Size: a a a

2021 February 03

A

Alex in pro.kafka
это как спрашивать почему в jvm мире есть хадуп/спарк/флинк/кафка/самса/hbase/cassanda/etc
а в .net нету и часто даже хороших клиентов к ним нету

=)
источник

VG

Vik Gamov in pro.kafka
Oleg Gavrilov
Так а почему spring kafka есть,  а asp.net core kafka нет?
https://www.matthowlett.com/2019-06-02-stream-processing-pt1-what-and-why.html - вот что Мэтт пишет. Он же в комманде .NET клиента
источник

OG

Oleg Gavrilov in pro.kafka
Хорошо пишет, складно
источник

OG

Oleg Gavrilov in pro.kafka
Самое толерантное "вам надо вы и пишите, это супер симпл" что я видел
источник

OG

Oleg Gavrilov in pro.kafka
Тем временем consumer loop делают кто как может, я лично пару раз уже напоролся на косяки с потоками, походу надо будет на channels делать
источник

NR

Nikolaj Rudakov in pro.kafka
доброго.
spring boot + kafka consumer api.
пытаюсь отмотать очередь на начало. говорят, что перед перемоткой нужно получить партиции, которым можно выставить смещение, т.е. сделать:
consumer.poll(Duration.ZERO)
не перематывается - не возвращает сообщения (про повторном poll). но если выполнить с бОльшим таймаутом:
consumer.poll(Duration.ofMillis(1000))
то перематывается, сообщения получаю.
почему с 0-ым таймаутом не работает?
источник

РХ

Ринат Харисов... in pro.kafka
Nikolaj Rudakov
доброго.
spring boot + kafka consumer api.
пытаюсь отмотать очередь на начало. говорят, что перед перемоткой нужно получить партиции, которым можно выставить смещение, т.е. сделать:
consumer.poll(Duration.ZERO)
не перематывается - не возвращает сообщения (про повторном poll). но если выполнить с бОльшим таймаутом:
consumer.poll(Duration.ofMillis(1000))
то перематывается, сообщения получаю.
почему с 0-ым таймаутом не работает?
из доков KafkaConsumer

> This method returns immediately if there are records available. Otherwise, it will await the passed timeout. If the timeout expires, an empty record set will be returned.
источник

NR

Nikolaj Rudakov in pro.kafka
Ринат Харисов
из доков KafkaConsumer

> This method returns immediately if there are records available. Otherwise, it will await the passed timeout. If the timeout expires, an empty record set will be returned.
> Note, that seekXXX() can only be used after a consumer joined a group -- thus, it's required to do a "dummy-poll" before using seekXXX()
источник

NR

Nikolaj Rudakov in pro.kafka
т.е. вот так не работает:
consumer.poll(Duration.ZERO) // dummy-poll
consumer.seekToBeginning(consumer.assignment())
consumer.poll(Duration.ofMillis(1000)) // тут нет сообщений

а вот так работает
consumer.poll(Duration.ofMillis(1000)) // dummy-poll
consumer.seekToBeginning(consumer.assignment())
consumer.poll(Duration.ofMillis(1000)) // тут есть сообщения
источник

РХ

Ринат Харисов... in pro.kafka
Nikolaj Rudakov
т.е. вот так не работает:
consumer.poll(Duration.ZERO) // dummy-poll
consumer.seekToBeginning(consumer.assignment())
consumer.poll(Duration.ofMillis(1000)) // тут нет сообщений

а вот так работает
consumer.poll(Duration.ofMillis(1000)) // dummy-poll
consumer.seekToBeginning(consumer.assignment())
consumer.poll(Duration.ofMillis(1000)) // тут есть сообщения
деталей не знаю, но предположу что запрос на брокер даже не уходит, потому что выставляете таймаут ожидания в ноль
источник

A

Anton in pro.kafka
Коллеги, Connect Secret Registry платный? В community не вижу такой библиотеки.
источник

VG

Vik Gamov in pro.kafka
Anton
Коллеги, Connect Secret Registry платный? В community не вижу такой библиотеки.
Про что речь?
источник

A

Anton in pro.kafka
Vik Gamov
Про что речь?
источник

VG

Vik Gamov in pro.kafka
Это RBAC он в Enterprise версии
источник

SN

Sergey Nikolaev in pro.kafka
Доброго вечера,
подскажите, кто-нибудь пробовал использовать schema registry без кафки?

нужно предварительно провалидировать объект по схеме avro, которая в schema registry

стек java, spring boot.  ничего из "коробки" не нашлось
источник

SB

S B in pro.kafka
Sergey Nikolaev
Доброго вечера,
подскажите, кто-нибудь пробовал использовать schema registry без кафки?

нужно предварительно провалидировать объект по схеме avro, которая в schema registry

стек java, spring boot.  ничего из "коробки" не нашлось
Это не сложно, там элементарный гет запрос
источник

SB

S B in pro.kafka
А сама валидация уже отдельным Авро пакетом
источник

VG

Vik Gamov in pro.kafka
Sergey Nikolaev
Доброго вечера,
подскажите, кто-нибудь пробовал использовать schema registry без кафки?

нужно предварительно провалидировать объект по схеме avro, которая в schema registry

стек java, spring boot.  ничего из "коробки" не нашлось
SR использует кафку как хранилище BTW
источник

VG

Vik Gamov in pro.kafka
S B
Это не сложно, там элементарный гет запрос
Есть прям джавовый SR client.
источник

SB

S B in pro.kafka
Vik Gamov
Есть прям джавовый SR client.
Ну вот тем более
источник