YA
Size: a a a
2020 August 27
N
Правда я SSL не заюзал)
заюзаешь ещё, куда ты денешься)
YA
заюзаешь ещё, куда ты денешься)
В проде однозначно)
2020 August 28
IR
Привет всем.
Кто нибудь в курсе могут ли закомпактиться данные еще не записанные на диск(которые лежат в page cache)?
Кто нибудь в курсе могут ли закомпактиться данные еще не записанные на диск(которые лежат в page cache)?
Y
Привет всем.
Кто нибудь в курсе могут ли закомпактиться данные еще не записанные на диск(которые лежат в page cache)?
Кто нибудь в курсе могут ли закомпактиться данные еще не записанные на диск(которые лежат в page cache)?
Компактится вроде только закрытые сегменты, не?
IR
ну по идее и закрытые сегменты все еще могут быть в кэше
IR
сталкивался с кейсом, когда брокеры кафки рестартились потому что им не хватало лимитов по открытым файлам, и один из оффсетов слетел на 0 у одного из консюмеров, вот все пытаюсь понять почему это произошло
S
Добрый день. Подскажите, как коннектору указать с какого офсета считывать рекорды?
AR
Sirozha
Добрый день. Подскажите, как коннектору указать с какого офсета считывать рекорды?
- стопнуть коннектор
- записать в топик оффсетов нужное значение
- запустить коннектор
- записать в топик оффсетов нужное значение
- запустить коннектор
ЮХ
Sirozha
Добрый день. Подскажите, как коннектору указать с какого офсета считывать рекорды?
Я использовал кафкакат.
https://www.confluent.io/blog/kafka-connect-deep-dive-jdbc-source-connector/
Читать отсюда: Resetting the point from which the JDBC source connector reads data
https://www.confluent.io/blog/kafka-connect-deep-dive-jdbc-source-connector/
Читать отсюда: Resetting the point from which the JDBC source connector reads data
S
А если я прото запущу новый коннектор, то он вычитает все рекорды в топике с начала?
S
Спасибо. Попробую
S
Заодно тогда проясните, что делает auto.offset.reset = latest для консюмера? Вижу в некоторых коннекторах есть это параметр
AI
Sirozha
Добрый день. Подскажите, как коннектору указать с какого офсета считывать рекорды?
Какой тип коннектора?
если source - вот пример https://rmoff.net/2019/08/15/reset-kafka-connect-source-connector-offsets/
для sink - через consumer groups должно работать (пример https://rmoff.net/2019/10/15/skipping-bad-records-with-the-kafka-connect-jdbc-sink-connector/)
если source - вот пример https://rmoff.net/2019/08/15/reset-kafka-connect-source-connector-offsets/
для sink - через consumer groups должно работать (пример https://rmoff.net/2019/10/15/skipping-bad-records-with-the-kafka-connect-jdbc-sink-connector/)
S
Sink
AI
под капотом sink коннектора - консьюмер, в который можно прокинуть параметры (в том числе
можно установить для всех коннекторов, можно переопределить для каждого в отдельности (подробнее тут https://rmoff.net/2019/08/09/starting-a-kafka-connect-sink-connector-at-the-end-of-a-topic/)
auto.offset.reset) auto.offset.reset = latest - если для консьюмера нет закомиченного оффсета, то чтение из топика будет происходить с концаможно установить для всех коннекторов, можно переопределить для каждого в отдельности (подробнее тут https://rmoff.net/2019/08/09/starting-a-kafka-connect-sink-connector-at-the-end-of-a-topic/)
S
Благодарю
A
Как правильно использовать embedded-kafka при большом (50) кол-ве тестов. Тесты однотипные (отправить/получить/посмотреть результат), происходит гонка за ресурсами и часть тестов приходится прогонять повторно?