Ms
У 🐇 много тонких моментов по io
Size: a a a
2019 August 17
p
Да, возможно даже больше в распределенных развертываниях.
Звучит весьма необычно.
p
Просто фотофиниш у 🐇 наступает не по коннектам, но по размеру невычитанной очереди
У меня был простой бенч: фанаут с spsc
KI
Просто фотофиниш у 🐇 наступает не по коннектам, но по размеру невычитанной очереди
Там с хранением большого объема на диске проблема. Мы старались не накапливать много сообщений, или не хранить не нужное, чтобы держать скорости.
p
Там с хранением большого объема на диске проблема. Мы старались не накапливать много сообщений, или не хранить не нужное, чтобы держать скорости.
А у вас там durable?
KI
А у вас там durable?
Нет, не требовалось.
Ms
Durable + ha сводят перфоманс на нет;)
Ms
Кафка хорошо, но дорого, держать 6 машин (3 rmq, 3 zk) для минимального кластера это не cloudnative
Ms
Если брать даже начальные для кафки m4
2019 August 18
SB
Кафка хорошо, но дорого, держать 6 машин (3 rmq, 3 zk) для минимального кластера это не cloudnative
Три, на самом деле, достаточно, если контейнерам гарантировать cpu/memory/iops. Зависит, скорее, от бюджета.
PD
Кафка хорошо, но дорого, держать 6 машин (3 rmq, 3 zk) для минимального кластера это не cloudnative
А зачем для zk брать m4? Надо брать минимум, но в разных ДЦ, иначе толку особого нет. Но все распределённые системы хотят кворума, так что что-то ставить придется. И надежности меньше чем на трех репликах нет. А если не нужна надёжность, то можно и на одном сервере поднять.
PD
А у вас там durable?
И смысл в очереди, где очереди должны быть маленькими, durable нельзя, кластер нельзя, долго хранить нельзя, гарантий особых нет? Тогда уж проще какой-нибудь zmq брать, с ним проблем меньше в настройке.
p
И смысл в очереди, где очереди должны быть маленькими, durable нельзя, кластер нельзя, долго хранить нельзя, гарантий особых нет? Тогда уж проще какой-нибудь zmq брать, с ним проблем меньше в настройке.
Ну zmq это же вообще не про очереди, а просто сокеты с сахаром.
EI
Ну zmq это же вообще не про очереди, а просто сокеты с сахаром.
"сокет с сахаром", хорошая фраза :)
p
"сокет с сахаром", хорошая фраза :)
Только очень засахаренные: по мне сложность разобраться во всех паттернах что там есть и понять какой именно нужен сильно выше написать самому на чистых сокетах
RS
И смысл в очереди, где очереди должны быть маленькими, durable нельзя, кластер нельзя, долго хранить нельзя, гарантий особых нет? Тогда уж проще какой-нибудь zmq брать, с ним проблем меньше в настройке.
Буфер перед autoscaling группой - на случай всплесков нагрузки или долгого процесса скейлинга.
RS
А зачем для zk брать m4? Надо брать минимум, но в разных ДЦ, иначе толку особого нет. Но все распределённые системы хотят кворума, так что что-то ставить придется. И надежности меньше чем на трех репликах нет. А если не нужна надёжность, то можно и на одном сервере поднять.
Между ДЦ из разных зон доступности репликацию нужно делать асинхронно.
GK
А что с отказоустойчивостью? Буфер реплицируется? Что будет, если "выгорит" сеть между ДЦ? Такое было кстати.
GK
Ответ есть на самом деле) но хотелось бы и другие версии услышать