Выше сбросил линк на описание подхода принятого в java

Single abstract method
Он же sam

Это как работают лямбды

Есть ещё такой проект на Go от одного из бывших разработчиков NATS https://github.com/liftbridge-io/liftbridge

Но тоже не особо production-ready

Этот вроде обновляется пока, так что надежда есть :)

Добрый день!
Подскажите, есть ли смысл создавать параллельные кафка-консьюмеры в приложении (с точки зрения максимизации thoughput), если их задача только читать сообщения (обработка сообщений уже распараллелена), или, возможно, одного потока на чтение из самой кафки достаточно. Речь про java.

доброе утро! встала задча получения метрик от kafka, в текущей инфраструктуре используется для съема метрик push методология на базе graphite (carbon-clickhouse, clickhouse), коллектор метрик - collectd + grafana для дашбордов. Есть что-нибудь под данный стек? (гуглил предварительно, но не сказать что что-то нашел).
kafka запущена в cloudera, на совсем крайний случай можно будет попробовать подключить datasource от cloudera (https://grafana.com/grafana/plugins/foursquare-clouderamanager-datasource/installation), но этот вариант  хотелось бы использовать когда прям совсем будет безысходно.
В интернете читал, что можно что-то получать через JMX, поставил гуевого клиента (visualvm) - там вижу только CPU usage, heap used, Threads, Classes - т.е. чисто системные метрики.
Собственно несколько вопросов:
- Можно ли через JMX получать метрики по топикам, брокерам и тп?
- рабочая связка съема метрик кафки на базе graphite существует?
- если абстрагироваться  текущей системы мониторинга - есть какие-то признанные продукты для мониторинга кафки?

Для Прометея есть jmx exporter, там же есть kafka exporter. Первый шарит метрики jvm, второй метрики самой Кафки

А, мы сейчас вообще на kafka minion

у нас к сожалению нет прома, а через jmx вообще можно получать высокоуровневые метрики кафка? (в разрезе топиков и брокеров)
нагуглил что-то такое https://gist.github.com/thbkrkr/77c8f6f9a301d7b16555726793af8301, но пока просто не понимаю особо откуда эти метрики получать (да, в java я плаваю)

https://www.youtube.com/watch?v=M3HTM81P-Sg 15-я минута.

Криминала не вижу (например Кафка стримз как-то так и работает). Но и большой пользы тоже. Кстати посмотри на

https://github.com/confluentinc/parallel-consumer
Оно конечно поделие, но есть пара интересных идей

Спасибо, ознакомлюсь

Чат привет.
Кто нибудь у себя использует cp-kafka-ce с LDAP аутентификацией и авторизацией?

Или лучше посмотреть в сторону Apache Kafka?

Вроде бы Кафка будет разные потоки консьюмера считать разными консьмерами. И поскольку это наверняка будет одна консьмер группа, на каждый поток нужна партиция

Так и есть - каждый поток будет содержать свой KafkaConsumer со своими партициями. Вопрос, даст ли это какой-то прирост по сравнению с вариантом, когда я создаю всего один консьюмер на приложение. Видимо, тут все специфично, и надо замерить.

Видимо зависит от того, где у консюмера боттлнеки

Тут еще надо учитывать, что запись одним продьюсером в любую многопоточную очередь будет эффективней, чем запись несколькими продюсерами (я про структуру данных, а не про кафку).

В целом, упрусь я вряд ли в скорость чтения из кафки, а скорее в скорость обработки того, что прочитал, поэтому одного потока вполне хватит.

главное не забудь покрутить poll timeout, batch size, etc. иначе будешь отваливаться

Писал на днях модуль аутентификации через LDAP