Size: a a a

2019 November 25

AS

Anton Sadovnikov in pro.kafka
Коллеги, а кто-нибудь доставляет логи через kafka? Насколько это вообще норм идея?
Что используете/можете посоветовать, как лучше партиционировать, какую стратегию выбора партиции использовать?
По объему со всех нод ~ 100Гб в час логов набегать будет.
Может быть кто-то юзал splunk connector, были ли какие-то грабли?
источник

GM

Gleb Mekhrenin in pro.kafka
Anton Sadovnikov
Коллеги, а кто-нибудь доставляет логи через kafka? Насколько это вообще норм идея?
Что используете/можете посоветовать, как лучше партиционировать, какую стратегию выбора партиции использовать?
По объему со всех нод ~ 100Гб в час логов набегать будет.
Может быть кто-то юзал splunk connector, были ли какие-то грабли?
источник

IR

Ivan Rasikhin in pro.kafka
Anton Sadovnikov
Коллеги, а кто-нибудь доставляет логи через kafka? Насколько это вообще норм идея?
Что используете/можете посоветовать, как лучше партиционировать, какую стратегию выбора партиции использовать?
По объему со всех нод ~ 100Гб в час логов набегать будет.
Может быть кто-то юзал splunk connector, были ли какие-то грабли?
Внезапно для логов она и была придумана )
источник

AS

Anton Sadovnikov in pro.kafka
тогда есть шанс получить ответы на вопрос )
источник

A

Alex in pro.kafka
Тут же вопрос что вы потом с логами делаете, в зависимости от этого и стратегии партиционирования
источник

A

Alex in pro.kafka
Если тупо в эластик, то и дефолт пойдёт, если критично чтобы с одного сервера всегда в одной партиции так как навернута сверху логика, то другое партиционирование
источник

EK

Eduard Korolev in pro.kafka
добрый вечер. Коллеги, кто нибудь использует kafka + php?
источник

GM

Gleb Mekhrenin in pro.kafka
да, но нет
источник

EK

Eduard Korolev in pro.kafka
всмысле? меня интересует кто как коммитит оффсеты. auto, commit, или commitAsync? Чтобы не дублировались сообщения при обработке
источник

AH

Ayrat Hudaygulov in pro.kafka
Eduard Korolev
всмысле? меня интересует кто как коммитит оффсеты. auto, commit, или commitAsync? Чтобы не дублировались сообщения при обработке
чтобы не дублировались надо комитить ручками, точно не авто
источник

AH

Ayrat Hudaygulov in pro.kafka
иначе никакого контроля за дублированием не будет
источник

GM

Gleb Mekhrenin in pro.kafka
Eduard Korolev
всмысле? меня интересует кто как коммитит оффсеты. auto, commit, или commitAsync? Чтобы не дублировались сообщения при обработке
написали прослойку на го
источник

EK

Eduard Korolev in pro.kafka
ручками раза в 2-3 медленее даже несмотря на async
источник

AH

Ayrat Hudaygulov in pro.kafka
Eduard Korolev
ручками раза в 2-3 медленее даже несмотря на async
тут что-то не то. авто просто комитит по временному интервалу, а не с какими-то оптимизациями
источник

A

Alex in pro.kafka
возможно ручками они комитят после каждого сообщения
источник

A

Alex in pro.kafka
а авто раз в сколько-то времени проходит
источник

A

Alex in pro.kafka
вот и разница в скорости
источник

AH

Ayrat Hudaygulov in pro.kafka
Я почему-то отмёл этот вариант, т.к. решение же очевидное - комитить ручками реже!
источник

EK

Eduard Korolev in pro.kafka
коммитить батчами решение очевидное, а вот как отлавливать ситуации когда батч еще не набрался, а новые сообщения прикратились. У меня так и будет висеть пачка в памяти обработанных сообщений. В js каком нить можно было бы setTimeout какой нить повесить
источник

A

Alex in pro.kafka
А в чем проблема на очередном пуле проверить что ничего нету и прокомитить
источник