Юзайте Testcontainers

А в чем преимущество тестконтейнерс перед эмбедкафкой?

Еще же можно одну эмбедед кафку на все 50 тестов и запускать в параллель тесты можно если уникальные имена топиков использовать чтоб два разных теста не использовали один топик

testcontainers как то мне помогут если я не на java а на golang пишу?

А как embedded Kafka поможет?

testcontainers-go смотрите в Testcontainers org на GH

Не  про embeded я не в теме.
У меня конкретный кейз, мы на кафке прогоняем сотни айтестов. Удаляя создавая уникальные топики, и там порой оно крешится в каких то совсем невероятных местах, как я понимаю из за несогласованности зукипер и кафкатопиков.

Вот я и думал, может есть какие то более другие варианты.

@nikitamatveenko Уникальные имена помогают? Я попробовал, эффекта не было, но глубоко не копал

Для го тоже есть же

Добрый день. Возникла проблема с коннектором кафки:
connect-standalone.sh[9592]: [2020-08-29 12:50:43,149] INFO UPSERT records:1 , but no count of the number of rows it affected is available (io.confluent.connect.jdbc.sink.BufferedRecords:198)
можете пояснить в чем проблема?

Я не пробовал, просто идея была

https://github.com/testcontainers/testcontainers-go вот такие нашел

Ну оно и есть, да

Подскажите, пожалуйста, как мне объединить несколько виртуалок с кафками, чтобы при подключении через Kafka Tool в списке brokers было несколько серверов (со всех виртуалок)
В zookeeper.properties в zooekeeper.connect прописал адреса всех виртуалок
У меня только один сервер отображается

В самом дереве списка брокеров

Добрый день.Возникла следующая ситуация: есть несколько серверов с telegraf, отправка напрямую в kafka. Проблема в том, что при отправке с одного хоста данные отправляться не успевают ( W! [agent] output "kafka" did not complete within its flush interval), однако при отправке того же количества сообщений с двух хостов всё проходит без ошибок. Системные ресурсы ни отправителя, ни получателя далеки от предельной загрузки. Похоже на проблему в соединениях с kafka, в чем может быть причина, какую статистику и как посмотреть?

Добрый день,
Подскажите, есть топик, туда сыпется достаточно сообщений, в тоже время, KStream читает оттуда очень медленно, где-то 1 сообщение в секунду.
Что не так?

Привет, сам по себе KStream не тупит, либо настройки выкрутили не так, либо сам процессинг медленный, профилируйте смотрите какой метод отнимает больше всего времени

Там метод просто логирует. А вот какие настройки крутить, если только имя процесса и топик указан

т е в кафке накапливается лаг?
или по логам сообщения медленно печатаются?

Лаг копится