A
Коллеги, привет
Я правильно понимаю, что client.rack говорит о том, что у клиента будет приоритет в работе с теми брокерами, у кого такой-же brocker.rack?
Size: a a a
2019 December 20
A
Yuriy
Ты так говоришь брокеру, где ты располагаешься
Брокер определяет какая реплика для твоего консьюмера является предпочтительной на основе в тч значения этого конфига
Брокер определяет какая реплика для твоего консьюмера является предпочтительной на основе в тч значения этого конфига
RB
5m*10*3 (репликафактор) = 150MB/s чистой инфы
по идее 5 должно быть с запасом
только я бы поиграслся с размером буфера на клиенте
само добавление сообщения во внутренний буфер на клиенте может в вашем случае быть проблемой на таком рейте
по идее 5 должно быть с запасом
только я бы поиграслся с размером буфера на клиенте
само добавление сообщения во внутренний буфер на клиенте может в вашем случае быть проблемой на таком рейте
Ага, есть такое, на стороне клиента планируется плюсовый код гонять
RB
сколько у вас продьюсеров если не секрет?
Есть возможность подобрать необходимое количество. Предвариательно говоря, было бы удобно иметь штук 500 продьюсеров
RB
за плюсовый код не скажу,
тут думаю люди лучше скажут насколько хорошо он работает с кафкой, у меня был не очень с ним опыт, но это было давно
по идее норм количество и должно переварить
тут думаю люди лучше скажут насколько хорошо он работает с кафкой, у меня был не очень с ним опыт, но это было давно
по идее норм количество и должно переварить
Спасибо за ответы, помогло прицениться
AS
Коллеги, добрый вечер
AS
разрешите вакансию про Кафку?
VD
разрешите вакансию про Кафку?
Если хорошо оформлена, то можно.
2019 December 21
VG
Yuriy
Коллеги, привет
Я правильно понимаю, что client.rack говорит о том, что у клиента будет приоритет в работе с теми брокерами, у кого такой-же brocker.rack?
Я правильно понимаю, что client.rack говорит о том, что у клиента будет приоритет в работе с теми брокерами, у кого такой-же brocker.rack?
Client будет читать follower реплику с брокера с таким же rack
> Apache Kafka 2.3 clients or later will read from followers that have matching
> Apache Kafka 2.3 clients or later will read from followers that have matching
broker.rack and client.rack IDs.VG
Если хорошо оформлена, то можно.
Я вот думаю может вакансии за денежку и в канал?
VD
Yuriy
Не лучше отдельный канал?
Вообще, лучше постить вакансии в соответствующие каналы, разделенным по языкам программирования.
VD
Не, это чат, а есть канал у этого чата
Ну, и предлагается его не засорять вакансиями, а создать отдельный для вакансий. Если правильно уловил мысль.
2019 December 22
TB
Никто не сталкивается с проблемой ребалансировки на Кафка стримах в версии 2.3.х с включенным exactly once?
2019 December 23
DB
Добрый день. Есть Kafka connect hdfs sink. В настройках конфига прописан log_dir. Если происходит какой-нибудь сбой, то при переподключении выдает странные сообщения о невозможности подключения к датанодам. Лечится только удалением директории логов на hdfs. После этого работает нормально. Это как-то можно полечить?
NR
привет!
подскажите, правильно ли я понимаю работу punctuate
если мне надо найти макс значение по ключу и punctuate вызывается раз в 10 сек, то если макс значение придет через 11 сек - у меня будут 2 сообщения в аутпут топике?
т.е. по одной записи на каждый вызов punctuate?
подскажите, правильно ли я понимаю работу punctuate
если мне надо найти макс значение по ключу и punctuate вызывается раз в 10 сек, то если макс значение придет через 11 сек - у меня будут 2 сообщения в аутпут топике?
т.е. по одной записи на каждый вызов punctuate?
Punctuate вызывается с указанным интервалом, соответственно, на каждый вызов будет выполнено какое-то действие.
Когда придет максимальное значение не столь принципиально, важно, что оно будет искаться каждые 10 секунд.
https://kafka.apache.org/10/documentation/streams/developer-guide/processor-api.html#defining-a-stream-processor
Когда придет максимальное значение не столь принципиально, важно, что оно будет искаться каждые 10 секунд.
https://kafka.apache.org/10/documentation/streams/developer-guide/processor-api.html#defining-a-stream-processor
АБ
Приходит от кафки MessageSizeTooLarge. Выставил max.message.bytes больше. Но ошибка не ушла. Это ведь должно было помочь? (размер сообщения точно меньше чем значение параметра)