ᛒ
порядок там не гарантирован
можно гранатировать
Size: a a a
2020 May 22
w
можно гранатировать
Эх, сча бы гранатировать
В
можно гранатировать
берем файл, размазывем его по кластеру.
Кафка работает по пул модели
Кафка работает по пул модели
KS
У нас это нормальная ситуация, когда есть стрим каких-то стейтов и чтобы среагировать надо вычислить дифф с тем что уже видели (есть в базе)
Вычисляем дифф
Проводим все реакции ( обычно они идемпотентные, неидемпотентных мб одна, ставим ее последней)
После чего бампаем версию стейта в базе и коммитим
Вычисляем дифф
Проводим все реакции ( обычно они идемпотентные, неидемпотентных мб одна, ставим ее последней)
После чего бампаем версию стейта в базе и коммитим
Хорошо, что вы так можете, от интеграции зависит. Ну вот например у нас есть куча топиков с биржевой информацией, в каждом из них тебе летит инфа о заявках, причем инфа-то про одни и те же заявки, но в разном формате и порядке. Типо, заявка исполняется частично - тебе из 3 топиков прилетают 3 разных события в 3 разных форматах, между собой их никак не скореллировать и не дедуплицировать. А тебе надо события обработать, по нему в базенке сделать что-то, сходить куда-то. Или прикинь, заявка исполняется частично - тебе из 2 топиков прилетает по 1 событию, а из третьего прилетает 2 события на эту тему.
В
окей, тебе дали офсет
В
оффсет этот на 3 файла
В
на 3 куска;
В
Как выбрать какой кусок первый какой второй и зачем?
KC
которые монады в монаду суют
Помогите залифтить монаду себе в очко
KC
Как говорится
ᛒ
Как выбрать какой кусок первый какой второй и зачем?
ты смари у Кирилла пиздец поболее
ZM
можно гранатировать
только если ты будешь все данные в памяти держать, но мы же про unbounded data
можно ограничено, но это трейдофф окна и нужно разруливать кейсы, когда что-то пошло не так
можно ограничено, но это трейдофф окна и нужно разруливать кейсы, когда что-то пошло не так
ZM
Kirill Shelopugin
Хорошо, что вы так можете, от интеграции зависит. Ну вот например у нас есть куча топиков с биржевой информацией, в каждом из них тебе летит инфа о заявках, причем инфа-то про одни и те же заявки, но в разном формате и порядке. Типо, заявка исполняется частично - тебе из 3 топиков прилетают 3 разных события в 3 разных форматах, между собой их никак не скореллировать и не дедуплицировать. А тебе надо события обработать, по нему в базенке сделать что-то, сходить куда-то. Или прикинь, заявка исполняется частично - тебе из 2 топиков прилетает по 1 событию, а из третьего прилетает 2 события на эту тему.
все три равноправные ивенты?
VS
Kirill Shelopugin
Хорошо, что вы так можете, от интеграции зависит. Ну вот например у нас есть куча топиков с биржевой информацией, в каждом из них тебе летит инфа о заявках, причем инфа-то про одни и те же заявки, но в разном формате и порядке. Типо, заявка исполняется частично - тебе из 3 топиков прилетают 3 разных события в 3 разных форматах, между собой их никак не скореллировать и не дедуплицировать. А тебе надо события обработать, по нему в базенке сделать что-то, сходить куда-то. Или прикинь, заявка исполняется частично - тебе из 2 топиков прилетает по 1 событию, а из третьего прилетает 2 события на эту тему.
но ты все еще можешь у себя обработать их строго последовательно
KS
все три равноправные ивенты?
Да
w
ZM
Kirill Shelopugin
Да
может быть что в одном из трех событий инфа противоречит двум другим?
VS
каждый раз отреагировав на конкретное изменение
VS
🤔 репартишенинг по номеру заявки мб помог бы, но хз
В
А что, у Кирилла сервисы общаются через Кафку?