Size: a a a

2020 February 03

DS

Dastan S in pro.kafka
В документации есть команда для редактирования оффсета для группы
kafka-consumer-groups.sh --bootstrap-server <kafka_host:port> --group <group_id> [--topic <topic_name> or --all-topics] --reset-offsets [--to-earliest or --to-offset <offset>] --execute
источник

N

Nikolay in pro.kafka
Dastan S
То есть лучше реализовать это на стороне консюмера, допустим остановить консюмер, поменять стартовый оффсет и обратно запустить обработку?
Да. Это лучше , чем редактировать. Вы проверьте. Может это скрипт , что вы указали привелет к падению консьюмеров
источник

N

Nikolay in pro.kafka
Мое понимание такое. Когда поднимается консьюмер и не указан офсет для него , то он идёт к координатору группы за офсетом. Поэтому -то координатор группы живёт на лидере __consumer_offset . И тот выдает ему офсет, с которого консьюмер должен читать , а также говорит и лидера с которого надо читать. Вот если вы выполните сдвиг офсета для работающего консьюмерам что произойдет ? Может чтобы этот скрипт работал..надо консьюмерам остановить ?
источник

DS

Dastan S in pro.kafka
Nikolay
Мое понимание такое. Когда поднимается консьюмер и не указан офсет для него , то он идёт к координатору группы за офсетом. Поэтому -то координатор группы живёт на лидере __consumer_offset . И тот выдает ему офсет, с которого консьюмер должен читать , а также говорит и лидера с которого надо читать. Вот если вы выполните сдвиг офсета для работающего консьюмерам что произойдет ? Может чтобы этот скрипт работал..надо консьюмерам остановить ?
Судя по документации остановить надо.
Also, first make sure that the consumer instances are inactive. See KIP-122 for more details.

Мой вопрос больше по best practices, кто как делал
источник

N

Nikolay in pro.kafka
Dastan S
Судя по документации остановить надо.
Also, first make sure that the consumer instances are inactive. See KIP-122 for more details.

Мой вопрос больше по best practices, кто как делал
Ну тогда проще через этот скрипт.
источник

MN

Michael Nedokushev in pro.kafka
Язабан
источник

GG

George Gaál in pro.kafka
В телеграмме 😂
источник
2020 February 04

AR

Alexander Ryzhenko in pro.kafka
Доброго времени суток.
Устанавливал кто librdkafka на debian 9 ?
Какая-то лажа с libssl1.0.0
Перерыл гитхаб и другие интернеты - так и не нашел можно ли поставить
источник

GG

George Gaál in pro.kafka
Alexander Ryzhenko
Доброго времени суток.
Устанавливал кто librdkafka на debian 9 ?
Какая-то лажа с libssl1.0.0
Перерыл гитхаб и другие интернеты - так и не нашел можно ли поставить
Привет. Конкретные ошибки напиши. Поставить можно все, хоть из исходников и в отдельный prefix, но это путь очень сильных духом
источник

AR

Alexander Ryzhenko in pro.kafka
George Gaál
Привет. Конкретные ошибки напиши. Поставить можно все, хоть из исходников и в отдельный prefix, но это путь очень сильных духом
$ apt-get install librdkafka1   
Reading package lists... Done
Building dependency tree      
Reading state information... Done
Some packages could not be installed. This may mean that you have
requested an impossible situation or if you are using the unstable
distribution that some required packages have not yet been created
or been moved out of Incoming.
The following information may help to resolve the situation:

The following packages have unmet dependencies:
librdkafka1 : Depends: libssl1.0.0 (>= 1.0.0) but it is not installable
E: Unable to correct problems, you have held broken packages.
источник

AR

Alexander Ryzhenko in pro.kafka
$ dpkg -l | grep libssl
ii  libssl-dev:amd64       1.1.0l-1~deb9u1    amd64   Secure Sockets Layer toolkit - development files
ii  libssl-doc             1.1.0l-1~deb9u1    all     Secure Sockets Layer toolkit - development documentation
ii  libssl1.0.2:amd64      1.0.2t-1~deb9u1    amd64   Secure Sockets Layer toolkit - shared libraries
ii  libssl1.1:amd64        1.1.0l-1~deb9u1    amd64   Secure Sockets Layer toolkit - shared libraries
источник

GG

George Gaál in pro.kafka
О, ты из оф репы ставишь? Минут через 30 вернусь
источник

AR

Alexander Ryzhenko in pro.kafka
George Gaál
О, ты из оф репы ставишь? Минут через 30 вернусь
источник

AS

Alex Sh in pro.kafka
Народ, привет.
Может кто-нть порекомендовать книжки/статьи про кафку?
Особенно интересны те, где написано про нее с точки зрения разработчика. Про то зачем partitionKey нужен, на что влияет итп.
В офиц. доках слишком много инфы про maintainence и настройку.
источник

D

Dan in pro.kafka
Alex Sh
Народ, привет.
Может кто-нть порекомендовать книжки/статьи про кафку?
Особенно интересны те, где написано про нее с точки зрения разработчика. Про то зачем partitionKey нужен, на что влияет итп.
В офиц. доках слишком много инфы про maintainence и настройку.
источник

AS

Alex Sh in pro.kafka
спасибо
источник

GG

George Gaál in pro.kafka
Alexander Ryzhenko
Доброго времени суток.
Устанавливал кто librdkafka на debian 9 ?
Какая-то лажа с libssl1.0.0
Перерыл гитхаб и другие интернеты - так и не нашел можно ли поставить
root@5a5ed5d6a9d9:/# apt install librdkafka1
Reading package lists... Done
Building dependency tree      
Reading state information... Done
The following additional packages will be installed:
 libsasl2-2 libsasl2-modules libsasl2-modules-db libssl1.1
Suggested packages:
 libsasl2-modules-gssapi-mit | libsasl2-modules-gssapi-heimdal libsasl2-modules-ldap libsasl2-modules-otp libsasl2-modules-sql
The following NEW packages will be installed:
 librdkafka1 libsasl2-2 libsasl2-modules libsasl2-modules-db libssl1.1
0 upgraded, 5 newly installed, 0 to remove and 0 not upgraded.
Need to get 1854 kB of archives.
After this operation, 4834 kB of additional disk space will be used.
Do you want to continue? [Y/n] y
Get:5 http://deb.debian.org/debian stretch/main amd64 librdkafka1 amd64 0.9.3-1 [221 kB]
Get:1 http://security-cdn.debian.org/debian-security stretch/updates/main amd64 libssl1.1 amd64 1.1.0l-1~deb9u1 [1358 kB]
Get:2 http://security-cdn.debian.org/debian-security stretch/updates/main amd64 libsasl2-modules-db amd64 2.1.27~101-g0780600+dfsg-3+deb9u1 [68.4 kB]
Get:3 http://security-cdn.debian.org/debian-security stretch/updates/main amd64 libsasl2-2 amd64 2.1.27~101-g0780600+dfsg-3+deb9u1 [105 kB]
Get:4 http://security-cdn.debian.org/debian-security stretch/updates/main amd64 libsasl2-modules amd64 2.1.27~101-g0780600+dfsg-3+deb9u1 [102 kB]
Fetched 1854 kB in 0s (2397 kB/s)    
debconf: delaying package configuration, since apt-utils is not installed
Selecting previously unselected package libssl1.1:amd64.
(Reading database ... 6500 files and directories currently installed.)
Preparing to unpack .../libssl1.1_1.1.0l-1~deb9u1_amd64.deb ...
Unpacking libssl1.1:amd64 (1.1.0l-1~deb9u1) ...
Selecting previously unselected package libsasl2-modules-db:amd64.
Preparing to unpack .../libsasl2-modules-db_2.1.27~101-g0780600+dfsg-3+deb9u1_amd64.deb ...
Unpacking libsasl2-modules-db:amd64 (2.1.27~101-g0780600+dfsg-3+deb9u1) ...
Selecting previously unselected package libsasl2-2:amd64.
Preparing to unpack .../libsasl2-2_2.1.27~101-g0780600+dfsg-3+deb9u1_amd64.deb ...
Unpacking libsasl2-2:amd64 (2.1.27~101-g0780600+dfsg-3+deb9u1) ...
Selecting previously unselected package librdkafka1:amd64.
Preparing to unpack .../librdkafka1_0.9.3-1_amd64.deb ...
Unpacking librdkafka1:amd64 (0.9.3-1) ...
Selecting previously unselected package libsasl2-modules:amd64.
Preparing to unpack .../libsasl2-modules_2.1.27~101-g0780600+dfsg-3+deb9u1_amd64.deb ...
Unpacking libsasl2-modules:amd64 (2.1.27~101-g0780600+dfsg-3+deb9u1) ...
Setting up libsasl2-modules-db:amd64 (2.1.27~101-g0780600+dfsg-3+deb9u1) ...
Setting up libsasl2-2:amd64 (2.1.27~101-g0780600+dfsg-3+deb9u1) ...
Processing triggers for libc-bin (2.24-11+deb9u4) ...
Setting up libssl1.1:amd64 (1.1.0l-1~deb9u1) ...
debconf: unable to initialize frontend: Dialog
debconf: (No usable dialog-like program is installed, so the dialog based frontend cannot be used. at /usr/share/perl5/Debconf/FrontEnd/Dialog.pm line 76.)
debconf: falling back to frontend: Readline
debconf: unable to initialize frontend: Readline
debconf: (Can't locate Term/ReadLine.pm in @INC (you may need to install the Term::ReadLine module) (@INC contains: /etc/perl /usr/local/lib/x86_64-linux-gnu/perl/5.24.1 /usr/local/share/perl/5.24.1 /usr/lib/x86_64-linux-gnu/perl5/5.24 /usr/share/perl5 /usr/lib/x86_64-linux-gnu/perl/5.24 /usr/share/perl/5.24 /usr/local/lib/site_perl /usr/lib/x86_64-linux-gnu/perl-base .) at /usr/share/perl5/Debconf/FrontEnd/Readline.pm line 7.)
debconf: falling back to frontend: Teletype
Setting up libsasl2-modules:amd64 (2.1.27~101-g0780600+dfsg-3+deb9u1) ...
Setting up librdkafka1:amd64 (0.9.3-1) ...
Processing triggers for libc-bin (2.24-11+deb9u4) ...
root@5a5ed5d6a9d9:/#
источник

GG

George Gaál in pro.kafka
из оф репы прекрасно ставится
источник

GG

George Gaál in pro.kafka
root@5a5ed5d6a9d9:/# dpkg -l | grep ssl
ii  libssl1.1:amd64           1.1.0l-1~deb9u1                   amd64        Secure Sockets Layer toolkit - shared libraries
root@5a5ed5d6a9d9:/# dpkg -l | grep kafka
ii  librdkafka1:amd64         0.9.3-1                           amd64        library implementing the Apache Kafka protocol
root@5a5ed5d6a9d9:/#
источник

GM

Gleb Mekhrenin in pro.kafka
George Gaál
root@5a5ed5d6a9d9:/# dpkg -l | grep ssl
ii  libssl1.1:amd64           1.1.0l-1~deb9u1                   amd64        Secure Sockets Layer toolkit - shared libraries
root@5a5ed5d6a9d9:/# dpkg -l | grep kafka
ii  librdkafka1:amd64         0.9.3-1                           amd64        library implementing the Apache Kafka protocol
root@5a5ed5d6a9d9:/#
too old
источник