K
бывают проблемные чеки - они просто застревают в очереди не мешая дальнейшей работе, их удобно выдергивать и препарировать руками
Size: a a a
2021 February 11
K
в общем я не берусь спорить, но у нас получился очень неплохой высоконагруженый сервис на базе очередей реббита
PT
сложности с масштабированием кол-ва консьюмеров на лету, только потоки, без индивидуальности - а иногда нужно воротить сложные схемы с соблюдением строгой последовательности. также активно пользуемся очередями задержки, повторных попыток итд
Ну, тут, видимо уже своя специфика процессинга включается в выбор :)
a6
кафка это бомбовоз с 1 винтом, когда тебе нужно овердохера топиков и их размазывание по инстансам с ассинхронной записью то это адищще
K
Ну, тут, видимо уже своя специфика процессинга включается в выбор :)
да, там много специфик. и каждый раз с новой фичей радуемся насколько все просто
L
кафка это бомбовоз с 1 винтом, когда тебе нужно овердохера топиков и их размазывание по инстансам с ассинхронной записью то это адищще
а какая альтернатива?
K
кафка это скорее про гигантские потоки данных, и не совсем про финансовые со сложной бизнес логикой на разных этапах, ну как мне кажется.
a6
в общем я не берусь спорить, но у нас получился очень неплохой высоконагруженый сервис на базе очередей реббита
реббит проще скалябить и проще траблшутить, кафка хороша, но она не про rpsЫ кроме того
K
Ну, тут, видимо уже своя специфика процессинга включается в выбор :)
но кликхаус может быть консьюмером кафки, так что еще один плюс
PT
кафка это скорее про гигантские потоки данных, и не совсем про финансовые со сложной бизнес логикой на разных этапах, ну как мне кажется.
Да, я понял. У меня финлоги это просто финлоги :) Без процессинга дополнительного :)
a6
L.thm
а какая альтернатива?
полно альтернатив, от реббита до ibm websphere mq
K
Да, я понял. У меня финлоги это просто финлоги :) Без процессинга дополнительного :)
а у нас еще слои остатков, расчетов себестоимости, уведомлений о аномалиях и далее по тексту…)
L
полно альтернатив, от реббита до ibm websphere mq
kafka для ms + pd + хранение - кролик для ms
K
реббит проще скалябить и проще траблшутить, кафка хороша, но она не про rpsЫ кроме того
вот реббит как раз не особо рпсный. один инстанс более 10к мпс не выдает, хоть ты тресни. приходится городить шарды. но это довольно просто
a6
вот реббит как раз не особо рпсный. один инстанс более 10к мпс не выдает, хоть ты тресни. приходится городить шарды. но это довольно просто
если im memory он может и больше 10rpsОВ дать (если верно его приготовить), да и шардить проще
K
если im memory он может и больше 10rpsОВ дать (если верно его приготовить), да и шардить проще
in memory к сожалению не наш вариант( финансовые операции… delivery mode 2, lazy-mode, вот это всё
K
но в самом деле до 10к при обычной нагрузке еще весьма далеко, так что это не проблема)
a6
in memory к сожалению не наш вариант( финансовые операции… delivery mode 2, lazy-mode, вот это всё
понимаю, у меня тоже финансы, но очередь это просто очередь, основные вещи в постгре и далее в гринплуме (совсем серьёзные вещи в оракле).
K
ну очередь это точка входа. только отсюда в БД попадают данные
K
если при получении данных сразу писать их в бд без очереди - жопа будет, никак не можно такое