A
Size: a a a
2021 January 23
IT
шард не совсем органичный термин для кафки
A
шард не совсем органичный термин для кафки
ага, тоже так думаю
IT
тут оперируют брокерами
IT
советую началь просто с просмотра основ типа Kafka 101
IT
IT
там все простым языком разжевывается
В
Тут конечно нужно говорить с тем, кто это писал, но вот что мне кажется странным
На каждой шарде будут все партиции топика, каждая шарда на своей нодеШард и есть брокер + партиция? Нода - это тоже брокер. Как тогда шард может быть на ноде?
> На каждой шарде будут все партиции топика, каждая шарда на своей ноде
Вот это ерунда, конечно.
Смысл "шарды" в том, что она содержит только определённый кусочек данных, не весь набор.
Тут, похоже, приравнивают шарда=нода=брокер, и часто (не всегда) каждый брокер действительно содержит все партиции, но выступает "мастером" только для некоторых из них (опять же, часто только для одной)
Вот это ерунда, конечно.
Смысл "шарды" в том, что она содержит только определённый кусочек данных, не весь набор.
Тут, похоже, приравнивают шарда=нода=брокер, и часто (не всегда) каждый брокер действительно содержит все партиции, но выступает "мастером" только для некоторых из них (опять же, часто только для одной)
A
> На каждой шарде будут все партиции топика, каждая шарда на своей ноде
Вот это ерунда, конечно.
Смысл "шарды" в том, что она содержит только определённый кусочек данных, не весь набор.
Тут, похоже, приравнивают шарда=нода=брокер, и часто (не всегда) каждый брокер действительно содержит все партиции, но выступает "мастером" только для некоторых из них (опять же, часто только для одной)
Вот это ерунда, конечно.
Смысл "шарды" в том, что она содержит только определённый кусочек данных, не весь набор.
Тут, похоже, приравнивают шарда=нода=брокер, и часто (не всегда) каждый брокер действительно содержит все партиции, но выступает "мастером" только для некоторых из них (опять же, часто только для одной)
оке, спасибо!
A
мне вот эта нравится)
https://24b4dt1v60e526bo2p349l4c-wpengine.netdna-ssl.com/wp-content/uploads/2019/12/Kafka-write-scalability-768x543.jpg
https://24b4dt1v60e526bo2p349l4c-wpengine.netdna-ssl.com/wp-content/uploads/2019/12/Kafka-write-scalability-768x543.jpg
Почему на этой картинке все сообщения с лидеров идут?
IT
картинка непонятная
IT
возможно речь идет о greedy consuming
IT
Currently, Kafka has some basic support for rack awareness which can be used in this scenario to control replica placement (by treating the availability zone as a rack). However, currently consumers are limited to fetching only from the leader, so there is no easy way to leverage locality in order to reduce expensive cross-dc traffic
2021 January 25
FL
Привет всем.
Правильно ли я понимаю, что для кейса с двумя кластерами в разных ДЦ и репликацией между ними, единственный вариант переключения продюсеров и консьюмеров на резервный кластер в случае падения основного - сделать это руками?
Правильно ли я понимаю, что для кейса с двумя кластерами в разных ДЦ и репликацией между ними, единственный вариант переключения продюсеров и консьюмеров на резервный кластер в случае падения основного - сделать это руками?
NC
Привет всем.
Правильно ли я понимаю, что для кейса с двумя кластерами в разных ДЦ и репликацией между ними, единственный вариант переключения продюсеров и консьюмеров на резервный кластер в случае падения основного - сделать это руками?
Правильно ли я понимаю, что для кейса с двумя кластерами в разных ДЦ и репликацией между ними, единственный вариант переключения продюсеров и консьюмеров на резервный кластер в случае падения основного - сделать это руками?
Эээ прописать сразу два айпишника в бутстрап серверс?
NC
Но это не точно
NC
Так клиенты тогда всегда на оба ходить будут. Надо же именно фэйловер
Ээээ разве?
NC
Вроде ж клиент стучится на первый в списке и просит лидера