Спасибо, отдал мне мои топики)

а чего это тут не пишут о таких новостях -  https://twitter.com/gschmutz/status/1316295554822025216

Опять писькомер?

use case кафки в твиттере, опубликованный конфлюентом, какие цифры у твиттера с кафкой или нетфликса с кассандрой всегда интересно посмотреть

или ты о чем?

IO лучше смотреть каким нибудь node exporter, в kafka exporter такого, кажется, нет

Не,статья огонь, но очередная писькомерка. Космические цифры космической компании.

Ребята, всем привет! Кому-нибудь уже довелось испытать свежую версию kafka-connect-jdbc (https://github.com/confluentinc/kafka-connect-jdbc/releases/tag/v10.0.0) ?

Мне не удалось завести его с cp-kafka-connect:5.5.1, в списке подключенных драйверов он есть:

 {
   "class": "io.confluent.connect.jdbc.JdbcSinkConnector",
   "type": "sink",
   "version": "10.0.0"
 },

Но при создании коннектора: "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector", прилетает ошибка: org.apache.kafka.connect.errors.ConnectException: java.sql.SQLException: No suitable driver found for jdbc:mysql://

Никто не сталкивался?

Про совместимость версий ничего нигде не смог найти, может искал не достаточно хорошо

Скорее всего на kafka connect node надо подложить jdbc mysql client jar

а какой версии его брать? и куда конкретно надо положить?

в какой каталог

Может кто подсказать на сколько критичны подобные логи в кафка коннекте для сурсов?

flushing XXXX outstanding messages for offset commit
Failed to flush, timed out while waiting for producer to flush outstanding XXXX messages
Failed to commit offsets

Вроде как даже все данные проходят, но в процессе стриминга сложно оценить не на глазок. Пытался таймауты выставить - не помогло.

посмотрю, спасибо

Всем привет.
У кого нибудь были странности при работе с confluentinc/cp-zookeeper:5.4.0.

У меня периодически случается интересная картина. Зукипер перестает обслуживать запросы

В логи контейнера вместо ошибок приходят оповещения типа:
INFO Expiring session 0x103141ce2910150, timeout of 6000ms exceeded (org.apache.zookeeper.server.ZooKeeperServer)
[2020-10-15 10:24:53,045] INFO Submitting global closeSession request for session 0x103141ce2910150 (org.apache.zookeeper.server.ZooKeeperServer)

[2020-10-15 10:24:53,045] INFO Expiring session 0x302e1293531010e, timeout of 6000ms exceeded (org.apache.zookeeper.server.ZooKeeperServer)
[2020-10-15 10:24:53,045] INFO Submitting global closeSession request for session 0x302e1293531010e (org.apache.zookeeper.server.ZooKeeperServer)

[2020-10-15 10:24:55,046] INFO Expiring session 0x2031415040e0151, timeout of 6000ms exceeded (org.apache.zookeeper.server.ZooKeeperServer)
[2020-10-15 10:24:55,046] INFO Submitting global closeSession request for session 0x2031415040e0151 (org.apache.zookeeper.server.ZooKeeperServer)

[2020-10-15 10:24:55,046] INFO Expiring session 0x302e1293531010f, timeout of 6000ms exceeded (org.apache.zookeeper.server.ZooKeeperServer)
[2020-10-15 10:24:55,046] INFO Submitting global closeSession request for session 0x302e1293531010f (org.apache.zookeeper.server.ZooKeeperServer)


Стата ZK при этом показывает вот такую штуку:
node-1
Zxid: 0x5f00000549
Mode: follower

node-2
Zxid: 0x6000000000
Mode: leader

node-3
Zxid: 0x5f00000549
Mode: follower

Это какой то аварийный режим или что.
Никак не могу найти ответ на такую беду

На node-1, node-2 в логах выходит такая ошибка:
WARN Cannot open channel to 2 at election address node-2:3888 (org.apache.zookeeper.server.quorum.QuorumCnxManager)
java.net.ConnectException: Connection refused (Connection refused)

#москва #kafka #mongo #minio #oracle #bash #python #ansible #docker #вакансия
Добрый день!
✅Занятость: полная.                                                                                                                                                          ✅Формат: удаленный, планируют перейти в офис.                                                                                              😎 Уровень: поддержка - не суперджедай
💰Зарплатная вилка: до 250к net
🏦О проекте
Банк ищет специалиста сопровождения и поддержки системы контроля документов «безбумажный банк». Команда встраивает ее во все проекты банка. Взаимодействие модулей по микросервисной архитектуре.
✅Важно
- Знать основы администрирования Oracle и сопровождения БД.
- Уметь развернуть docker, настроить окружение, работать с образами.
- Писать скрипты на Bash, Python, Ansible или других скриптовых языках.
  - Знать Kafka, Mongo, Minio  Git, Jenkins – на уровне администратора
📭Если есть интерес – пишите @ivmargarita.  Расскажу подробней о проекте и команде.

Привет всем. zkserver.sh status выдает "Error contacting service. It is probably not running" в какую сторону копать? Гугл что-то не помог