С каждым разом Пульсар нравится все больше и больше.

Тебя сейчас забанят )

Постараюсь пережить и это :)

Ну на самом деле Кафка тоже хороша, чего уж. Но в Пульсаре много вкусностей, тут не поспоришь.

Согласен, особенно после появления кафка-совместимого API очень хочется внедрить в наш ландшафт. Общался на конфе с одним из создателей пульсара пару лет назад, очень много у него адекватного понимания, что можно сделать лучше, чем в кафке.

Так, становится интересно. Что глянуть тому кто первый раз это название слышит?

Апач Пульсар

Для небольших инсталляций жирноват пульсар, зукипер-буккипер-брокеры, тут в кафке зукипер, как пятое колесо которое в кип-500 вырежут

Ну когда это еще будет
Кстати, я не нашел как будет решаться проблема split braint, кто нить тыкнет?

Можете подсказать по CreateMode для znode - вот есть PERSISTENT_SEQUENTIAL и EPHEMERAL_SEQUENTIAL, использую как "счетчик", в каком то случае я могу потерять счетчик(znode и стат по ней) при использовании эфемерного ?(В доке вроде как указано что при дисконекте клиента при EPHEMERAL_SEQUENTIAL znode удаляется, но сколько не дисконектился он сохраняется, зк убивал по нодам - всё так же сохраняется - это я так понимаю в целом из-за sequential где - and its name will be appended with a monotonically increasing number.). Есть ли разница в надежности сохранности сиквенса между PERSISTENT_SEQUENTIAL и EPHEMERAL_SEQUENTIAL ?

Вопрос не очень понял, но скорее всего у тебя эфемерная года не умирает из-за того, что зукипер не понимает, что клиент отключился. Там под капотом хертбит система. А ушатывать znodы вообще без толку, это на эфемерную не влияет.

А при отказах/перезапусках зк эфемерная получается может пропасть, а персистентная нет ?

Эфемерная – существует, пока существует коннект (с т.з. ZK со всеми его хартбитами) к ZK.

Спасибо большое. А известно где хранится оффсет для создания последующих SEQUENTIAL znodes ? (если например в следующей сессии запускаю вызов создания EPHEMERAL_SEQUENTIAL откуда он узнает оффсет?)

а ЗОЧЕМ тебе это знать? уже не собираешься ли ты как-то нашкодить?

До этого видел вариант curator где "счетчик" работает через обновление znode увеличивая dataVersion и там в целом понятно откуда берется оффсет - из самого znode - value. На прямую через создание EPHEMERAL_SEQUENTIAL пустых znode получается быстрее и пока не понятно чем рискую( . Очистка от эфемерных znode сильно должна нагружать зк если там много (несколько миллионов znode на удалении)  или лучше будет обойтись персистент нодами?

ничем не рискуешь. этот ephemeral sequential создавался под такой как раз юзкейс, как ты описал. пока жив клиент - монотонно возрастающий счетчик.

а вообще - пока не померяешь, не узнаешь :)

вот рву сессию, роняю зк, поднимаю, эфемерные секвенции начинаются с последнего оффсета, так и должно же быть ?

тут нужна помощь зала, насколько я помню - нет. если ты "поравал сессию" == "клиент дисконнектед" == все эфемерные сущности умерли.