отвечать будет господин @Lanayx

прям вовремя вопрос, задам его с другой стороны)) у нас с нуля проект, нужно выбрать брокер сообщений. Предлагался rabbit, но я предложил пульсар, так как насколько понял он работает и как просто брокер, и как платформа стриминга данных

пы.сы. собствеено вопрос забыл, не поем ли я говна с лопаты? может стоить взять рэббит, если задач по обработке потока данных у нас пока нет, но будет

А почему пульсар а не кафка например? Это не к холивару а просто интерес - с Кафкой я работал немного, с пульсаром в принципе не доводилось

короче)))
нет опыта ни с тем, ни с тем. открываю сайт кафки - там написано  distributed event streaming platform, открываю пульсар - distributed messaging and streaming platform

для меня кафка - это когда надо сварганить что-то из области лямбда-архитектуры, рэббит - стандартный паб/саб, а пульсар - типа и то, и то)

Эм

там две основные разницы - кафка хранит данные прямо на брокерах, в пульсаре данные отдельно от брокеров, второе что в пульсаре обработка по-месседжно делается, в кафке оффсетами. Ну и соответственно благодаря этим двум архитектурным плюсам добавляется куча небольших

да, примерно так и есть. С говна лопаты поешь, но ты с рэббитом или кафкой ты его поешь не меньше)) У пульсара преимущество потом появляется - когда вначале на грабли понаступал, потом начинаешь его архитектурные фишки вкушать, а с кафкой или рэбитом просто остаешься с их известными проблемами

Такие темы незаконно обсуждать на территории РФ, насколько мне известно. А вообще, лучше легализовать, конечно, глядя на опыт других стран.

погоди, это же не пропаганда

Кролик поддерживается всеми возможными способами, на него написано и переписано уйма опенсоуснызх проектов, бесплатных плагинов и чего угодно еще. Кроме того, есть относительно недорогие решения на облаках по кластерам, которые *почти* не нужно мейнтейнить, если вдруг это играет роль. Но у него ряд минус, в числе которых необходимость тащить за собой весь вообще Эрланг и достаточно многословные и топорные подписки, отписик и прочие писки. Про Пульсар ничего сказать не могу, так как не пользовался им ни разу в проде, но Кафка отличается в первую очередь тем, что пишет на диск лог сообщений, это позволяет вернуться к нему в нужный момент времени, а-ка из будущего вернуться в прошлое и исправить/переиграть что-то по новым правилам. Хотя на практике люди пользуются этим очень редко. Если тебе персистентность не так важна, а нужна только гарантированая доставка, то насетпапить правильно Кролика и выжать из него перфоманс ощутимо лучший на MPS <= 10000-20000 с точки зрения лейтенси будет легче. А вот если в приоритете пропускная способность, а не скорость обработки конкретного сообщения, то тут решает Кафка, конечно, при этом с учетом этих ограничений она дает очень хорошие гарантии и работает реально быстро.

Но мне не нравится путь по которому пошло развитие Кафки дальше. Это жалкая попытка уйти от Зукипера в пользу самописного велосипеда и попытка внедрить транзакционность - это прям публичное унижение какое-то.

P.S. Кролик тоже умеет писать на диск, но совсем не так, как это умеет Кафка.

В данном вопросе безопаснее исходить из судебной практики, а не моего мнения или определения в словаре.

Вот, например, случай из 2018 с журналом 7x7
https://twitter.com/msvetov/status/1000015727011811329

ну и самое главное. ты поешь говна с двух лопат в любом случае, если у тебя по-настоящему распредленная система с более-менее ощутимой нагрузкой (от 1000 mps при разбросе сообщений, скажем, от 10 то 100 кб). технология тебя от фундаментальных проблем не спасет. но чтобы минимизировать количество раз, когда придется умыться кровью, нужно заранее понять какие тебе нужные гарантии консистентности, какой у тебя ожидаемой лоад по 95%%, так же нужно понимать размер сообщения и на какие SLA ты целишься.

мне кажется, парень узнал больше, чем хотел)

в случае с пульсаром размер сообщения роли не играет) с кафкой я слышал что когда больше килобайте то резко перформанс падает

у него нет верхнего предела размера?

два дня назад только заимплементил чтобы не было)