PD
тот же Cadence реализовать на кафке, а не чем-то еще
Size: a a a
2021 January 09
VG
тот же Cadence реализовать на кафке, а не чем-то еще
Что такое cadence?
PD
Уберовский workflow движок. Изначально сделан поверх кассандры, но это кривое решение.
PD
Но вообще сценарии 'куча мелких очередей, в которых важна последовательность событий' вылезают часто. Персистентные акторы, да тот же список событий на клиент на вебсокетах.
PD
Ну, камунда очень медленная.
PD
Меня интересует 5000 tps, сотни тысяч одновременных процессов.
PD
Можно сделать на кассандре илм редисе или foundationdb, но проще было бы на кафке.
PD
Создавать по топику на workflow точно не стоит. А вот про consumer group на workflow - я не думал...
PD
(тянуть в проект pulsar тоже не хочется, там вроде нет лимита на число топиков/партиций)
PD
Если интересно, то могу отдельно рассказать поподробнее )
В
подскажите пожалуйста а задача рассылки почти и пушей сюда подходит?
или не стоит такими пустяками нагружать архитектуру при помощи кафки?
или не стоит такими пустяками нагружать архитектуру при помощи кафки?
N
(тянуть в проект pulsar тоже не хочется, там вроде нет лимита на число топиков/партиций)
Они пишет о достигнутом максимум порядка 2 млн. Может лимит и есть , но нет такой статьи, которая бы объясняла почему он есть.
PD
Nikolay
Они пишет о достигнутом максимум порядка 2 млн. Может лимит и есть , но нет такой статьи, которая бы объясняла почему он есть.
Ага, спасибо, подумаю, может реально микроочереде делать через consumer-group на каждую. Надо перечитать и подумать, не будет ли проблем при падении брокеров или консамеров и перераспределении партиций.
ДН
Граждане, подскажите как можно избежать дырок в данных если вдруг чтение из postgres с помощью CDC и запись в кафку на какое-то время невозможно. Как определить недостающие куски, которые нужно backfill?
в постгрисе обычный replication slot ставится, пока все изменения debezium не высушит - wal не должен удаляться (но надо проверять)
он lsn хранит где-то, и стартует с него после перезапуска
он lsn хранит где-то, и стартует с него после перезапуска