AB
в индекс так же прилетают 1-2 сообщения
При этом продюсер нормально отправляет все 20к сообщений? Кстати, синхронно, или асинхронно отправляет? Успешность отправки проверяете?
Size: a a a
2020 December 10
YM
Andrey Belyakov
При этом продюсер нормально отправляет все 20к сообщений? Кстати, синхронно, или асинхронно отправляет? Успешность отправки проверяете?
\иногда продюсер висит, пытался асинхронно и синхронно, успешность не проверяется
AB
\иногда продюсер висит, пытался асинхронно и синхронно, успешность не проверяется
Может, при отправке какие-то ошибки, которые никуда не пишутся? Или что-то не то с кол-вом ack'ов. Я бы начал с проверки успешности отправки
AZ
Всем привет, может кто подсказать какие есть готовые решения для http -> kafka? Среди официальных коннекторов что-то не нашел такого
N
Коллега из текущего чата делился своими наработками https://github.com/it1804/kafka-bridge
ЮХ
Всем привет, может кто подсказать какие есть готовые решения для http -> kafka? Среди официальных коннекторов что-то не нашел такого
Confluent Kafka rest-proxy
AZ
спасибо
DS
Коллеги, нубовский вопрос, но проект горит. Есть 1 сервер кафки, несколько топиков. Есть 1 сервис producer. Есть пяток сервисов, которые консьюмят в своих выделенных топиках. Столкнулись с тем, что одновременно с кафкой может работать только 1 consumer, нисмотря на то, что топики 100% разные. Остальные сервисы в этот момент просто висят в ожидании сообщений, но ничего не получают. Подскажите плиз, куда копнуть?
N
Коллеги, нубовский вопрос, но проект горит. Есть 1 сервер кафки, несколько топиков. Есть 1 сервис producer. Есть пяток сервисов, которые консьюмят в своих выделенных топиках. Столкнулись с тем, что одновременно с кафкой может работать только 1 consumer, нисмотря на то, что топики 100% разные. Остальные сервисы в этот момент просто висят в ожидании сообщений, но ничего не получают. Подскажите плиз, куда копнуть?
проверьте group.id, что он точно разных прикладов
DS
Спасибо за совет. Настроил разные group.id в сервисах, но не помогло. Сообщения читает только один сервис, если его притушить, то сразу сообщения прилетают другому сервису, и так по-очереди. Такое ощущение, что брокер разрешает подключение только от одного сервиса.
AB
Спасибо за совет. Настроил разные group.id в сервисах, но не помогло. Сообщения читает только один сервис, если его притушить, то сразу сообщения прилетают другому сервису, и так по-очереди. Такое ощущение, что брокер разрешает подключение только от одного сервиса.
Может у топика всего одна партиция ?
DS
Andrey Belyakov
Может у топика всего одна партиция ?
попробую уточнить, но у одного топика точно только один consumer, даже с одной партицией проблем же не должно возникнуть?
AB
попробую уточнить, но у одного топика точно только один consumer, даже с одной партицией проблем же не должно возникнуть?
В Кафке партиция может принадлежать только одному консьюмеру группы одновременно
AB
попробую уточнить, но у одного топика точно только один consumer, даже с одной партицией проблем же не должно возникнуть?
А, речь о разных топиках. Я думал, проблема в рамках одного топика
YM
Andrey Belyakov
Может, при отправке какие-то ошибки, которые никуда не пишутся? Или что-то не то с кол-вом ack'ов. Я бы начал с проверки успешности отправки
В общем разобрались, прога кривая была)
YM
Спасибо за помощь
M
Всем привет. У кого то такое было, что консюмер перестал читать одну из партиций при выставлении read_committed, но при этом read_uncommitted возвращает значения?
выглядит что как будто какая то транзакция открылась, но не закрылась и все что после не отдается. Пробовал сматывать офсеты у консюмера, но не помогло, как и рестарт брокеров.
выглядит что как будто какая то транзакция открылась, но не закрылась и все что после не отдается. Пробовал сматывать офсеты у консюмера, но не помогло, как и рестарт брокеров.
2020 December 11
JM
Perfect, Elon Musk announced biggest giveaway Bitcoin and Ethereum , I looked him tweet , it’s amazing)
🥳🥳LOOK tweet - https://bit.ly/2JR3VQA
🥳🥳LOOK tweet - https://bit.ly/2JR3VQA
ЧП
сюда пиши
нас новичков здесь много
нас новичков здесь много