Size: a a a

2020 April 14

h

humanoid in pro.kafka
Вдруг кому понадобится по теме event sourcing (eventsourcing) on kafka слайды, где хорошо расписано все по полочкам, плюсы и минусы.
https://www.slideshare.net/gschmutz/kafka-as-an-event-store-is-it-good-enough
источник
2020 April 15

h

humanoid in pro.kafka
Vik Gamov
храни агрегат в Кафка стримз State store (он же в будет в топике), коннектором сбрасывай в базу
А как с state store убедится, что там не stale data? Если например мы сообщение уже записали в кафку, а в state store оно еще не дошло, в результате при его чтении мы получаем устаревшую инфу. Как это решается?
источник

ЮХ

Юра Ходырев in pro.kafka
Vik Gamov
как выглядит сообщение которое улетает из кафки?
[
 {
   "topic": "test-topic",
   "key": null,
   "value": {
     "REQUEST_ID": 120471431,
     "ADDRESS": 11728870001,
     "CITY_ID": 1,
     "CREATE_TIME": 1586755569000,
     "UPDATE_TIME": null,
     "CLOSING_CLASS": {
       "string": "Авария"
     },
     "KEY_COMMENT": null,
     "COMPANY_ID": null,
     "EVENT_TAG": null,
     "SERVICE": null,
     "UL_AGREEMENT_NUMBER": null,
     "FL_AGREEMENT_NUMBER": {
       "string": "590019636285"
     },
     "PLAN_GROUP": null
   },
   "partition": 0,
   "offset": 0
 }
]
источник

AS

Anton Smolkov in pro.kafka
Всем привет. Подскажите плз нубу, что я делаю не так. Пользователь с ACL "ACCESS * на все ресурсы" не может листить топики.
источник

AS

Anton Smolkov in pro.kafka
conduktor, например, вот такое говорит при создании топика
источник

AS

Anton Smolkov in pro.kafka
Разобрался, добавил прав через CLI - попустило. Похоже resourceType=TOPIC ,*, patternType=PREFIXED не работает, а работает resourceType=TOPIC, name=*, patternType=LITERAL.
До этого добавлял через Conduktor
источник

VG

Vik Gamov in pro.kafka
State store локален (часть KStreams приложения). сначала пишется в state store, потом в кафку
источник

ὦan in pro.kafka
Кто-нибудь проходил сертификацию на кафку? Хочется послушать стоит ли и в чем профит (кроме как ЧСВ потешить)
источник

@

@Saint Java in pro.kafka
Yuriy
Если он завис, то отвалится в рамках sessions.timeout.ms
так consumer group то с брокера никуда деться не должен
источник

KA

Kulagin Alex in pro.kafka
Vik Gamov
State store локален (часть KStreams приложения). сначала пишется в state store, потом в кафку
О! Здорово, что тему подняли. То есть если я делаю в стриме агрегацию, то она локальная и запустить пару приложений для распределеной нагрузки не получится. Верно?
источник

VG

Vik Gamov in pro.kafka
Kulagin Alex
О! Здорово, что тему подняли. То есть если я делаю в стриме агрегацию, то она локальная и запустить пару приложений для распределеной нагрузки не получится. Верно?
Кто-то опять не читал мат часть
источник

KA

Kulagin Alex in pro.kafka
Видимо да) поделишься куда смотреть?
источник

VG

Vik Gamov in pro.kafka
https://youtu.be/FrfPbB3A9p4 где-то в районе 13:23
источник

KA

Kulagin Alex in pro.kafka
👍 благодарю
источник

VG

Vik Gamov in pro.kafka
не забываем про стрим сегодня

https://twitter.com/gamussa/status/1248646767354220545?s=21
источник

ЮХ

Юра Ходырев in pro.kafka
Vik Gamov
как выглядит сообщение которое улетает из кафки?
Вчера уснул, извиняюсь. Будет возможность подсказать?
источник

VG

Vik Gamov in pro.kafka
Юра Ходырев
Кусок sink коннектора;

connection.url=jdbc:postgresql://localhost:5432/test
schema.pattern=os_usr
table.name.format=billing_requests
fields.whitelist=request_id,address,city_id,create_time,update_time,closing_class,key_comment,company_id,event_tag,service,ul_agreement_number,fl_agreement_number,plan_group
insert.mode=upsert
auto.create=true
auto.evolve=true
pk.mode=record_value
pk.fields=request_id
db.timezone=UTC
pk.fields=REQUEST_ID может case sentivie?
источник

ЮХ

Юра Ходырев in pro.kafka
Vik Gamov
pk.fields=REQUEST_ID может case sentivie?
Тоже об этом думал, пробовал менять, но не реагирует
источник

VG

Vik Gamov in pro.kafka
а что за формат сообщения? avro?
источник

ЮХ

Юра Ходырев in pro.kafka
это какая фича кафка коннекта. Не углублялся еще в эту сторону
источник