В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

2142 membersпожаловаться на группу
2020 December 16

A

Andrey in pro.kafka
А количество тасков можно изменить после создания? А то читаю доку, пишут:
The assignment of partitions to tasks never changes;
Получается если у меня было tasks.max=2 то если я потом изменю на 3 и запущу ещё один тред/instance, ничего не поменяется?
источник
18:53пожаловаться#1

k

kvadratura in pro.kafka
Andrey
А количество тасков можно изменить после создания? А то читаю доку, пишут:
The assignment of partitions to tasks never changes;
Получается если у меня было tasks.max=2 то если я потом изменю на 3 и запущу ещё один тред/instance, ничего не поменяется?
насколько я помню, к-во тасков по всем узлам (в общем случае) равно количеству partitions. таски исполняются пулом тредов, размер которого можно изменять. вместо одного треда на N тасков будет больше тредов. в предельном случае получится по треду на 1 таск
источник
19:16пожаловаться#2

k

kvadratura in pro.kafka
Andrey
А количество тасков можно изменить после создания? А то читаю доку, пишут:
The assignment of partitions to tasks never changes;
Получается если у меня было tasks.max=2 то если я потом изменю на 3 и запущу ещё один тред/instance, ничего не поменяется?
но поскольку вы упоминаете tasks.max, возможно, речь идет о kafka connect?
источник
19:20пожаловаться#3

k

kvadratura in pro.kafka
в предыдущем сообщении я имел ввиду jvm-клиентов (kafka streams в частности)

если идет речь о kafka connect, то tasks.max - это размер тред пула, и tasks.max умножить на количество узлов consumer не должно быть больше, что число partitions. вроде так.
источник
19:24пожаловаться#4

GK

Gregory Koshelev in pro.kafka
Ilya Kaznacheev
У меня паттерн такой: нужно один раз послать в очередь конктетному получателю какие-то сообщения, после этого туда больше никогда ничего не посылается
Если паттерн послать _конкретному_ слушателю одно (ОДНО!) сообщение, то Кафка вообще не лучший вариант для этого.
источник
19:31пожаловаться#5

GK

Gregory Koshelev in pro.kafka
Сколько CPU и сети будет ради это сожжено даже представить страшно.
источник
19:32пожаловаться#6

GK

Gregory Koshelev in pro.kafka
Kafka — это про 1 раз записал и несколько раз прочитал (например, как основа для Kappa-архитектуры).
Kafka — это про много пишешь и балансируешь автоматически на несколько читателей.
источник
19:33пожаловаться#7

GK

Gregory Koshelev in pro.kafka
Ну и классический вариант, разумеется, — просто очень много пишешь 🙂
источник
19:34пожаловаться#8

IK

Ilya Kaznacheev in pro.kafka
Мда, так и думал. Но в одной книжке прочитал, что кафка поддерживает p2p, вот и подумал, мб я что-то упускаю
источник
19:35пожаловаться#9

GK

Gregory Koshelev in pro.kafka
В такой архитектуре (p2p) удобно делать не по одному топику на каждое ребро (это же квадратичный рост топиков), а по одному топику на каждый peer. Все остальные пишут в его топик.
источник
19:36пожаловаться#10

S

Slava in pro.kafka
p2p у вас довольно странное, надо признать ;))
источник
19:37пожаловаться#11

AB

Andrey Belyakov in pro.kafka
Ilya Kaznacheev
Мда, так и думал. Но в одной книжке прочитал, что кафка поддерживает p2p, вот и подумал, мб я что-то упускаю
p2p же по определению прямые сообщения между пирами
источник
19:37пожаловаться#12

GK

Gregory Koshelev in pro.kafka
Конечно же, нет.
источник
19:37пожаловаться#13

S

Slava in pro.kafka
кафка не пользуется центральным сервисом при посылке данных между брокерами, это и есть p2p
источник
19:38пожаловаться#14

GK

Gregory Koshelev in pro.kafka
p2p — это про то, что участники знают друг друга.
источник
19:39пожаловаться#15

GK

Gregory Koshelev in pro.kafka
Что на нижележащих уровнях находится — не так важно.
источник
19:39пожаловаться#16

AB

Andrey Belyakov in pro.kafka
p2p я понимал как одноранговую сеть
источник
19:39пожаловаться#17

AB

Andrey Belyakov in pro.kafka
Slava
кафка не пользуется центральным сервисом при посылке данных между брокерами, это и есть p2p
Есть лидер и фолловеры если мы про саму кафку говорим, пусть лидер и выбираемый
источник
19:41пожаловаться#18

GK

Gregory Koshelev in pro.kafka
Andrey Belyakov
p2p я понимал как одноранговую сеть
На уровне прикладного кода примерно так и будет выглядеть.
источник
19:42пожаловаться#19

S

Slava in pro.kafka
Andrey Belyakov
Есть лидер и фолловеры если мы про саму кафку говорим, пусть лидер и выбираемый
Не в этом дело, а в том, что нет узкого места, данные шлются от узла к узлу, так достигается масштабируемость линейная в итоге.
источник
19:42пожаловаться#20