DM
а чо толку то от пульсара
ровно столько же сколько и от кафки без поддержки?
Size: a a a
2020 February 13
DM
про пульсар конечно троллинг жирный
DM
но твоя участь остается перед неизбежным одиночеством на пути проблем
DM
или платить экспертам на рынке и надеяться что помогут за тебя
AZ
one should never be single biggest user of someone else technology..
AZ
вообще зачем RBAC нужен? у вас какие-то враждебные консьюмеры или продюсеры? а если требование регулятора - делайте отдельные кластера
K
вообще зачем RBAC нужен? у вас какие-то враждебные консьюмеры или продюсеры? а если требование регулятора - делайте отдельные кластера
это только был вопрос
K
не уверен что нужен
2020 February 14
TC
Any Kafka pro wanted to pair up on real time data streaming . I wanted to expand my knowledge and asking to pair up
N
Это давно такой термин зародился pair up?
N
Что это значит ?
AZ
у нас значит сессию парного кодирования или траблшутинга (или позора, для особо туповатых джунов)
NK
Привет.
Зачем консумеру инфа о фетчах ?
Это же, как я понял, прочитав этот кип https://cwiki.apache.org/confluence/display/KAFKA/KIP-227%3A+Introduce+Incremental+FetchRequests+to+Increase+Partition+Scalability, чисто брокерская тема.
Однако оно зачем-то "протекает" на консумер
Зачем консумеру инфа о фетчах ?
Это же, как я понял, прочитав этот кип https://cwiki.apache.org/confluence/display/KAFKA/KIP-227%3A+Introduce+Incremental+FetchRequests+to+Increase+Partition+Scalability, чисто брокерская тема.
Однако оно зачем-то "протекает" на консумер
2020 February 15
N
Кто знает как ЗК использует свой лог? Мне вот что непонятно. Если это лог по аналогии с WAL и нет сброса ещё записей на диск , то допустим год назад я создал ноду. Логов много уже записалось на диск. Вот сегодня ЗК упал.он что все логи за год прочитать должен , что бы состояние восстановить?
AD
Он делает снапшоты всей базы периодически.
GM
Nikolay
Кто знает как ЗК использует свой лог? Мне вот что непонятно. Если это лог по аналогии с WAL и нет сброса ещё записей на диск , то допустим год назад я создал ноду. Логов много уже записалось на диск. Вот сегодня ЗК упал.он что все логи за год прочитать должен , что бы состояние восстановить?
там есть настройки и особенности, они хорошо в доке по кликхаусу описаны - там это стреляет быстро в виду специфики
2020 February 16
SB
Доброе утро! А есть ещё маньяки, которые кроме consumer lag мониторят его ещё и в миллисекундах? В смысле
now() - message.timestamp().YB
Доброе утро! А есть ещё маньяки, которые кроме consumer lag мониторят его ещё и в миллисекундах? В смысле
now() - message.timestamp().мониторим тайм лаг. ставили кафка экспортер от лайтбенд, он считает то что надо https://www.lightbend.com/blog/monitor-kafka-consumer-group-latency-with-kafka-lag-exporter#time-lag
SB
мониторим тайм лаг. ставили кафка экспортер от лайтбенд, он считает то что надо https://www.lightbend.com/blog/monitor-kafka-consumer-group-latency-with-kafka-lag-exporter#time-lag
Спасибо. У нас в тонкой обвязке вокруг клиентов реализовано, другими словами, консюмеры сами отправляют эту метрику (и другие) - и даже, в теории, когда не смогли сообщение обработать и оффсет закоммить.