RM
ну, в раббите тоже сообщения можно до 128 метров вроде
Гоняли 400 мб/с по 200 мб на сообщение.
Size: a a a
2020 September 01
R
жырно
SB
к продьюсеру, продьюсер как хочет так и батчит
на стороне продюсера проблем почти никогда нет. а консюмер же тоже батчами читаем? условный var records = pulsarClien.poll()?
NK
ну и самое главное. ты поешь говна с двух лопат в любом случае, если у тебя по-настоящему распредленная система с более-менее ощутимой нагрузкой (от 1000 mps при разбросе сообщений, скажем, от 10 то 100 кб). технология тебя от фундаментальных проблем не спасет. но чтобы минимизировать количество раз, когда придется умыться кровью, нужно заранее понять какие тебе нужные гарантии консистентности, какой у тебя ожидаемой лоад по 95%%, так же нужно понимать размер сообщения и на какие SLA ты целишься.
я сейчас не от sla пляшу, а от задачи))) Кролик к ней подходит лучше конечно, стандартная всем известная пуш-модель. Пожалуй желание воткнуть пульсар с моей стороны выглядит как чрезмерная оптимизация+ просто желание его потыкать)))
VS
на стороне продюсера проблем почти никогда нет. а консюмер же тоже батчами читаем? условный var records = pulsarClien.poll()?
батч это 1 сообщение для пульсара, как продьюсер записал, так консьюмер прочитал
VS
а консьюмер уже батч на сообщения разбирает, по-моему я это тебе уже говорил))
A
Можете сказать какая разница между кафкой и пульсаром для использование в проде? Я вроде почитал несколько статей, выглядит будто одно и тоже
ну в одном можно делать очереди, в другом нельзя (можно, но не имеет смысла), поэтому это абсолютно разные продукты
A
надо уметь отличать поток событий от очередей
AH
если ты подгадаешь эту цифру КРАСИВО, то у тебя будет хороший перфоманс с заточчкой именно под этот лоад. и он будет топорный как Лукашенко, потому что как только паттерн поменяется, батч уже будет накапливаться неэффективно, а настройки на лету поменять ты не сможешь по крайней мере программно мы не могли.
в кафке можно выжать адовый перформанс
убираем репликацию
продьюсим в выделенные партиции
читаем из выделенных партиций
добавлением партиций(и консумеров) параллелится влёт
убираем репликацию
продьюсим в выделенные партиции
читаем из выделенных партиций
добавлением партиций(и консумеров) параллелится влёт
SB
я сейчас не от sla пляшу, а от задачи))) Кролик к ней подходит лучше конечно, стандартная всем известная пуш-модель. Пожалуй желание воткнуть пульсар с моей стороны выглядит как чрезмерная оптимизация+ просто желание его потыкать)))
так ты задачу-то по каким критериям определил?
SB
я про цифры ожидаемые
NK
мне кажется, парень узнал больше, чем хотел)
у нас в ИТ нельзя знать больше, чем хотел бы))
AH
в кафке можно выжать адовый перформанс
убираем репликацию
продьюсим в выделенные партиции
читаем из выделенных партиций
добавлением партиций(и консумеров) параллелится влёт
убираем репликацию
продьюсим в выделенные партиции
читаем из выделенных партиций
добавлением партиций(и консумеров) параллелится влёт
в такой схеме даже почти похуй на батчи
VS
в кафке можно выжать адовый перформанс
убираем репликацию
продьюсим в выделенные партиции
читаем из выделенных партиций
добавлением партиций(и консумеров) параллелится влёт
убираем репликацию
продьюсим в выделенные партиции
читаем из выделенных партиций
добавлением партиций(и консумеров) параллелится влёт
еще нужно fsync убрать
AH
но с батчами ещё лучше
SB
в кафке можно выжать адовый перформанс
убираем репликацию
продьюсим в выделенные партиции
читаем из выделенных партиций
добавлением партиций(и консумеров) параллелится влёт
убираем репликацию
продьюсим в выделенные партиции
читаем из выделенных партиций
добавлением партиций(и консумеров) параллелится влёт
убираем репликацию? шта бля
SB
кто в здравому уме уберет репликацию продовских данных?
VS
да, в кафке репликация весь перформанс убивает
AH
кто в здравому уме уберет репликацию продовских данных?
ну мы ж за перформанс говорим
VS
и она сразу же пульсару проигрывает по перфу