Всё что вы описали. Телеграф перед кафкой, телеграф после кафки перед инфлаксом.
Писали топик на базу данных, там можно так настроить. За новыми топиками следил сервис и поднимал телеграфы с настройками. Всё это добро жило в кубере. Метирк не много 60к линий(в терминологии инфлакса) может быть.
Потом переписали телеграфы на своих консьюмеров/продюсеров :)
апр 24 00:10:55 p071i07app-carbon02.unix.local telegraf[9176]: 2020-04-23T21:10:55Z E! [inputs.kafka_consumer]: Error in plugin: kafka server: The provided member is not known in the current generation.