A
всем спасибо за ответы, буду пробовать 🔨😄
Благо объемы не такие большие
Size: a a a
2019 December 09
AK
GM
Alexander Kuznetsov
Спасибо за ответ! Но не очень понял: как ручной комит может помочь в определении того, какой получаемый из очереди объект является последним...
При условии попадания всех сообщений одного блока в одну партицию последнему сообщению можно присвоить дополнительный хедер и использовать его как метку окончания обработки блока.
N
Продублирую вопрос. Можно ли в кафке при настройке ssl не указывать пароль , а сказать , что бы он читался из файла секретов ?
VG
Спасибо. Понял что транзакционности нет. Хранить последние сообщения в KTable муторно, чистить надо, ttl нет. Наверное сделаю кеш руками - второй консьюмер который складывает сообщения быстро в память. А медленный консьюмер пусть себе медленно пишет в хранилище.
нашел вот такое, самое близкое про очистку state store https://issues.apache.org/jira/browse/KAFKA-4212?focusedCommentId=16910715&page=com.atlassian.jira.plugin.system.issuetabpanels%3Acomment-tabpanel#comment-16910715
AK
Georg Mayur
При условии попадания всех сообщений одного блока в одну партицию последнему сообщению можно присвоить дополнительный хедер и использовать его как метку окончания обработки блока.
Ага, спасибо. Кажется что это наиболее простой вариант, который мне подходит.
Потому как если будет несколько партиций, то придется мудрить вообще...и пока в голове картинка не складывается как это можно реализовать. А с одной партицией - понятно.
Потому как если будет несколько партиций, то придется мудрить вообще...и пока в голове картинка не складывается как это можно реализовать. А с одной партицией - понятно.
JS
Nikolay
Всем привет. На #hifhload 2019 был крутой доклад по перформанса Кафки назывался Кафка " описание одной борьбы". Автор Денис Карасик из badoo. Он рассказал немного про историю Кафки , а больше всего внимания уделил какие настройки Кафки нужно выставить , что бы Кафка надёжно и ппоизводительно работала. Всем рекомендую.
А есть посмотреть?
N
kafka_broker_id может быть строкой ?
N
Или только числом ?
SP
Alexander Kuznetsov
Ага, спасибо. Кажется что это наиболее простой вариант, который мне подходит.
Потому как если будет несколько партиций, то придется мудрить вообще...и пока в голове картинка не складывается как это можно реализовать. А с одной партицией - понятно.
Потому как если будет несколько партиций, то придется мудрить вообще...и пока в голове картинка не складывается как это можно реализовать. А с одной партицией - понятно.
несколько партиций - все тоже самое как и для одной. вычисляется (зная функию ключа) последнее сообщение в пакете на партицию, помечается маркером.
2019 December 11
A
нашел вот такое, самое близкое про очистку state store https://issues.apache.org/jira/browse/KAFKA-4212?focusedCommentId=16910715&page=com.atlassian.jira.plugin.system.issuetabpanels%3Acomment-tabpanel#comment-16910715
Спасибо 👍
A
Всем привет.
Никто не сталкивался с утечками в памяти Кафки(2.1.0)?
Снимаем хипдамп и видим, что всю память съела KafkaChannel, которые хранятся в хешмаше класса Selector.
Есть вот такой тикет в жире про запись, но у меня проблема с чтением https://issues.apache.org/jira/plugins/servlet/mobile#issue/KAFKA-7304
Может кто знает костыли для решения?
Никто не сталкивался с утечками в памяти Кафки(2.1.0)?
Снимаем хипдамп и видим, что всю память съела KafkaChannel, которые хранятся в хешмаше класса Selector.
Есть вот такой тикет в жире про запись, но у меня проблема с чтением https://issues.apache.org/jira/plugins/servlet/mobile#issue/KAFKA-7304
Может кто знает костыли для решения?
VS
Anton
Всем привет.
Никто не сталкивался с утечками в памяти Кафки(2.1.0)?
Снимаем хипдамп и видим, что всю память съела KafkaChannel, которые хранятся в хешмаше класса Selector.
Есть вот такой тикет в жире про запись, но у меня проблема с чтением https://issues.apache.org/jira/plugins/servlet/mobile#issue/KAFKA-7304
Может кто знает костыли для решения?
Никто не сталкивался с утечками в памяти Кафки(2.1.0)?
Снимаем хипдамп и видим, что всю память съела KafkaChannel, которые хранятся в хешмаше класса Selector.
Есть вот такой тикет в жире про запись, но у меня проблема с чтением https://issues.apache.org/jira/plugins/servlet/mobile#issue/KAFKA-7304
Может кто знает костыли для решения?
проблема в ssl ?
A
проблема в ssl ?
Хм, извиняюсь, тикет, видимо, не совсем под мою проблему, там речь идет про запись в кафку через ssl, у меня проблема с чтением, но такая же.
VS
ssl включено ?
A
ssl включено ?
да
VS
если выключить и протестировать ?