Size: a a a

F# Flood: No one farsch forever

2020 September 01

VS

Vladimir Shchur in F# Flood: No one farsch forever
там большие месседжи на чанки разбиваются
источник

R

Roman in F# Flood: No one farsch forever
и от пользователя при этом ничего не требуется?
источник

R

Roman in F# Flood: No one farsch forever
пульсар все сам за тебя разберет и соберет в правильном порядке?
источник

VS

Vladimir Shchur in F# Flood: No one farsch forever
ага
источник

R

Roman in F# Flood: No one farsch forever
бомба, если работает
источник

VS

Vladimir Shchur in F# Flood: No one farsch forever
от пользователя пока что только требуется отказаться от батчинга
источник

R

Roman in F# Flood: No one farsch forever
ну, в раббите тоже сообщения можно до 128 метров вроде
источник

VA

Vagif Abilov in F# Flood: No one farsch forever
S B
Кролик поддерживается всеми возможными способами, на него написано и переписано уйма опенсоуснызх проектов, бесплатных плагинов и чего угодно еще. Кроме того, есть относительно недорогие решения на облаках по кластерам, которые *почти* не нужно мейнтейнить, если вдруг это играет роль. Но у него ряд минус, в числе которых необходимость тащить за собой весь вообще Эрланг и достаточно многословные и топорные подписки, отписик и прочие писки. Про Пульсар ничего сказать не могу, так как не пользовался им ни разу в проде, но Кафка отличается в первую очередь тем, что пишет на диск лог сообщений, это позволяет вернуться к нему в нужный момент времени, а-ка из будущего вернуться в прошлое и исправить/переиграть что-то по новым правилам. Хотя на практике люди пользуются этим очень редко. Если тебе персистентность не так важна, а нужна только гарантированая доставка, то насетпапить правильно Кролика и выжать из него перфоманс ощутимо лучший на MPS <= 10000-20000 с точки зрения лейтенси будет легче. А вот если в приоритете пропускная способность, а не скорость обработки конкретного сообщения, то тут решает Кафка, конечно, при этом с учетом этих ограничений она дает очень хорошие гарантии и работает реально быстро.
Кролик хоть и написан на эрланге, но реально "тащить" эрланг - это сильно сказано, потому что никаких хлопот с этим нет, конкретно с эрлангом дела иметь не приходится.
источник

SB

S B in F# Flood: No one farsch forever
Vladimir Shchur
в случае с пульсаром размер сообщения роли не играет) с кафкой я слышал что когда больше килобайте то резко перформанс падает
у нас в системе были и 150 КБ сообещния (не спрашивайте почему). и ничего, 95%% давал <= 100 ms от входа до выхода.
источник

VS

Vladimir Shchur in F# Flood: No one farsch forever
Vladimir Shchur
от пользователя пока что только требуется отказаться от батчинга
т.е. он не может делать одновременно поддерживать и чанкинг и батчинг, надо выбрать
источник

SB

S B in F# Flood: No one farsch forever
я батчи тюнил
источник

SB

S B in F# Flood: No one farsch forever
Кафка срабатывает по накоплению батча или по времени, если батч не успел накопиться.
источник

R

Roman in F# Flood: No one farsch forever
Vladimir Shchur
т.е. он не может делать одновременно поддерживать и чанкинг и батчинг, надо выбрать
понял
источник

R

Roman in F# Flood: No one farsch forever
S B
у нас в системе были и 150 КБ сообещния (не спрашивайте почему). и ничего, 95%% давал <= 100 ms от входа до выхода.
дак а че, нам на некоторые кейсы и этого мало. Приходится в блоб складывать
источник

SB

S B in F# Flood: No one farsch forever
если ты подгадаешь эту цифру КРАСИВО, то у тебя будет хороший перфоманс с заточчкой именно под этот лоад. и он будет топорный как Лукашенко, потому что как только паттерн поменяется, батч уже будет накапливаться неэффективно, а настройки на лету поменять ты не сможешь по крайней мере программно мы не могли.
источник

SB

S B in F# Flood: No one farsch forever
Roman
дак а че, нам на некоторые кейсы и этого мало. Приходится в блоб складывать
у меня как бэ была софт-реалтайм критикал система. если я 95%% сообщений дольше чем полсекунды доставлял до адресата, меня из под земли доставали.
источник

SB

S B in F# Flood: No one farsch forever
ну не меня, мою команду.
источник

VS

Vladimir Shchur in F# Flood: No one farsch forever
S B
Кафка срабатывает по накоплению батча или по времени, если батч не успел накопиться.
у пульсара то же самое и по накоплению и по времени
источник

SB

S B in F# Flood: No one farsch forever
Vladimir Shchur
у пульсара то же самое и по накоплению и по времени
и это настройка к топику привязана? логической сущности, которая группирует партиции на диске, если они есть?
источник

VS

Vladimir Shchur in F# Flood: No one farsch forever
к продьюсеру, продьюсер как хочет так и батчит
источник