VG
Всем доброго времени суток.
У меня есть задача обогащать поток данных в Kafka Streams из различных внешних источников.
Одним из вариантов рассматриваю обогащение потока через Processor API а именно через реализацию интерфейса org.apache.kafka.streams.kstream.Transformer.
В методе init планирую инициализировать и устанавливать коннект к внешнему источнику.
В методе transform планирую производить непосредственно обогащение.
В методе close планирую закрывать сессию к внешнему источнику.
В связи с этим есть три вопроса:
1. На сколько такой подход к обогащению потока работоспособен?
2. Как правильно передавать в Transformer параметры коннекта (Host, Port, Login, Password)
3. Какие еще способы обогащения из внешних источников посоветуете?
По 2 пункту хотел передавать свои параметры через ProcessorContext, но это пока не поддерживается, обещают в следующих версиях.
Пока сделал передачу параметров через реализацию интерфейса TransformerSupplier.
Наброски кода тут https://pastebin.com/xfQ4kW7j
У меня есть задача обогащать поток данных в Kafka Streams из различных внешних источников.
Одним из вариантов рассматриваю обогащение потока через Processor API а именно через реализацию интерфейса org.apache.kafka.streams.kstream.Transformer.
В методе init планирую инициализировать и устанавливать коннект к внешнему источнику.
В методе transform планирую производить непосредственно обогащение.
В методе close планирую закрывать сессию к внешнему источнику.
В связи с этим есть три вопроса:
1. На сколько такой подход к обогащению потока работоспособен?
2. Как правильно передавать в Transformer параметры коннекта (Host, Port, Login, Password)
3. Какие еще способы обогащения из внешних источников посоветуете?
По 2 пункту хотел передавать свои параметры через ProcessorContext, но это пока не поддерживается, обещают в следующих версиях.
Пока сделал передачу параметров через реализацию интерфейса TransformerSupplier.
Наброски кода тут https://pastebin.com/xfQ4kW7j
Не надо так.