Всем привет. Не подскажете есть ли возможность средствами KSQLDB сделать аггрегирующцую таблицу со связями 1:N
Например у нас идет стрим данных пользователей (users)

{"user_id": 1, "name": "Mike"}
{"user_id": 2, "name": "John"}

и заказов (orders)

{"order_id": 1, "user_id": 1, "total": 100}
{"order_id": 2, "user_id": 1, "total": 200}
{"order_id": 3, "user_id": 2, "total": 300}
{"order_id": 4, "user_id": 2, "total": 400}

А на выходе хотелось бы получить таблицу

{"user_id": 1, "name": "Mike", "orders": [{"order_id": 1, "total": 100}, {"order_id": 2, "total": 200}]}
{"user_id": 2, "name": "John", "orders": [{"order_id": 3, "total": 300}, {"order_id": 4, "total": 400}]}

Пытался решить это через COLLECT_LIST c MAP, он в целом собирает то что нужно, но т.к. умеет работать только с простыми типами приходится оборачивать масссив в строку и на выхорде получается

{"user_id": 2, "name": "John", "orders": ["{order_id: 3, total: 300}, {order_id: 4, total: 400}"]}

что уже не переваривает принимающая сторона

{"user_id": 1, "name": "Mike"}
{"user_id": 2, "name": "John"}

{"order_id": 1, "user_id": 1, "total": 100}
{"order_id": 2, "user_id": 1, "total": 200}
{"order_id": 3, "user_id": 2, "total": 300}
{"order_id": 4, "user_id": 2, "total": 400}

{"user_id": 1, "name": "Mike", "orders": [{"order_id": 1, "total": 100}, {"order_id": 2, "total": 200}]}
{"user_id": 2, "name": "John", "orders": [{"order_id": 3, "total": 300}, {"order_id": 4, "total": 400}]}

{"user_id": 2, "name": "John", "orders": ["{order_id: 3, total: 300}, {order_id: 4, total: 400}"]}

А почему users это стрим а не table?

можно и в таблицу превратить. но чем поможет?

И результат наверное будет типа

{"user_id": 1, "name": "Mike", "orders": [{"order_id": 1, "total": 100}]}
{"user_id": 1, "name": "Mike", "orders": [{"order_id": 1, "total": 100}, {"order_id": 2, "total": 200}]}
{"user_id": 2, "name": "John", "orders": [{"order_id": 3, "total": 300}]}
{"user_id": 2, "name": "John", "orders": [{"order_id": 3, "total": 300}, {"order_id": 4, "total": 400}]}

А подумаю и посоветуюсь людьми

А то 1:30 ночи, чет я засиделся

спасибо. буду ждать вестей

Господа

а расскажите мне за kafka acl

нет никакой информации о performance

как это всё ворочается, если 10 тысяч записей? А миллион если?

чтото стало очень интересно послушать что за кейс такой

а я вот счас задумался - там же можно wildcard делать? А кейс такой - будут роутеры с кафка клиентом

авторизация по сертификатам

надо нарулить права доступа к топикам

первое и очевидное - acl per certificate

но это реально будут тонны и тонны записей, если так

там есть группы и/или wildcard?

были, но на топики

о, а можно вопрос про кейс. Роутеров мало, или они будут не напрмую в кафку ходить, а через какой-нибудь MQTT Proxy?