VG
Size: a a a
2020 September 23
I
промежуточные топики при операциях KStream.map, KStream.transform, KStream.flatMap будут всегда создаваться? т.е. в таких задачах полюбому будут новые топики, соответственно и забьёт дополнительно место на диске? хотелось бы понимать такие моменты, чтобы не выйти за рамки ресурсов
VG
вот где бы найти описание механизма репартиций
Давай с начала - repartition это процесс через который проводят стрим чтобы привести его к виду который, например, приготовит его для join. Ну т.е. исходный топик и топик для join могут иметь разное кол-во partitions и сходу join не сделать.
VG
промежуточные топики при операциях KStream.map, KStream.transform, KStream.flatMap будут всегда создаваться? т.е. в таких задачах полюбому будут новые топики, соответственно и забьёт дополнительно место на диске? хотелось бы понимать такие моменты, чтобы не выйти за рамки ресурсов
Там есть методы с ключем или с value. Если методы с ключем repartition крайне возможен. KIP про оптимизации сходу не нашел - уточню в команде
DS
Привет.
У меня 20 воркеров, которые делают одну и ту же работу в одних и тех же условиях, но почему-то у одних воркеров LAG большой, а у других маленький. Есть какие-то очевидные причины почему так может быть?
У меня 20 воркеров, которые делают одну и ту же работу в одних и тех же условиях, но почему-то у одних воркеров LAG большой, а у других маленький. Есть какие-то очевидные причины почему так может быть?
O
Привет.
У меня 20 воркеров, которые делают одну и ту же работу в одних и тех же условиях, но почему-то у одних воркеров LAG большой, а у других маленький. Есть какие-то очевидные причины почему так может быть?
У меня 20 воркеров, которые делают одну и ту же работу в одних и тех же условиях, но почему-то у одних воркеров LAG большой, а у других маленький. Есть какие-то очевидные причины почему так может быть?
а колво сообщений в партициях одинаковое примерно?
S
Привет.
У меня 20 воркеров, которые делают одну и ту же работу в одних и тех же условиях, но почему-то у одних воркеров LAG большой, а у других маленький. Есть какие-то очевидные причины почему так может быть?
У меня 20 воркеров, которые делают одну и ту же работу в одних и тех же условиях, но почему-то у одних воркеров LAG большой, а у других маленький. Есть какие-то очевидные причины почему так может быть?
data locality?
DS
а колво сообщений в партициях одинаковое примерно?
Да. Даже те воркеры, у которых LAG меньше, заасайнены в партишены, у которых сообщений больше.
O
Да. Даже те воркеры, у которых LAG меньше, заасайнены в партишены, у которых сообщений больше.
а насколько больше лаг?
DS
а насколько больше лаг?
В 5-20 раз разница (по-разному), в основном это где-то 30% самый большой, 30% средний, и 30% совсем маленький. Например, 7 воркеров по 10К, 7 по 3К, 7 по 180.