NK
в спринге на сколько мне известно не Transaction manager который бы и поддерживал кафкафские транзакции (как для JMS) например.
Size: a a a
2020 March 11
TB
Все таки саммит в Лондоне отменили из за вируса
C
VG
Все таки саммит в Лондоне отменили из за вируса
Да, печаль
EK
я рассматриваю что кафку, что кролика, как продвинутую замену таблице с задачами. И для обычных задач это реально удобнее. Кинул событие в кафу и оно сразу обработалось. А если нужно обработать не сразу? Например отправить email, но не сейчас, а завтра в 16.00? Для таких задач все равно без таблицы не обойдешься и каждые 5 секунд вызывает консольную команду, которая будет проверять еслить ли готовые email'ы для отправки. Или есть какой то другой флоу?
AZ
я рассматриваю что кафку, что кролика, как продвинутую замену таблице с задачами. И для обычных задач это реально удобнее. Кинул событие в кафу и оно сразу обработалось. А если нужно обработать не сразу? Например отправить email, но не сейчас, а завтра в 16.00? Для таких задач все равно без таблицы не обойдешься и каждые 5 секунд вызывает консольную команду, которая будет проверять еслить ли готовые email'ы для отправки. Или есть какой то другой флоу?
kafka для таких задач не так хорошо подходит (без out-of-order ack), а для rabbitmq можно использовать deadletter для реализации задержки сообщений
И
я рассматриваю что кафку, что кролика, как продвинутую замену таблице с задачами. И для обычных задач это реально удобнее. Кинул событие в кафу и оно сразу обработалось. А если нужно обработать не сразу? Например отправить email, но не сейчас, а завтра в 16.00? Для таких задач все равно без таблицы не обойдешься и каждые 5 секунд вызывает консольную команду, которая будет проверять еслить ли готовые email'ы для отправки. Или есть какой то другой флоу?
quartz, celery или что другое (в зависимости от ЯП/среды)
EK
kafka для таких задач не так хорошо подходит (без out-of-order ack), а для rabbitmq можно использовать deadletter для реализации задержки сообщений
спасибо
2020 March 12
AP
Доброе утро. Есть задача переливать данные из кафки заказчика в нашу. Стоим перед выбором: миррор мейкер, uReplicator или допиливать свое приложение (падает при ребалансе кластера-источника). Поделитесь опытом-советами пожалуйста
AZ
Доброе утро. Есть задача переливать данные из кафки заказчика в нашу. Стоим перед выбором: миррор мейкер, uReplicator или допиливать свое приложение (падает при ребалансе кластера-источника). Поделитесь опытом-советами пожалуйста
я бы допиливал свое приложение, потому как у вас кроме копирования происходит передача между компаниями, тут скорее всего стоит навесить каких-то дополнительных метаданных, иметь больше возможностей управления, телеметрии, потенциально трансформации
AP
Это все уже делается на выходе из нашей кафки. Здесь нужен простой и надежный коннектор, потому что работает в закрытом контуре. А что можно сказать о надежности ММ и репликатора ?
S🕶
пытаюсь приконектится к kafka и вот что пишет
2020-03-12 08:14:40.337 INFO 12 --- [ main] o.a.kafka.common.utils.AppInfoParser : Kafka version : 2.0.1
2020-03-12 08:14:40.338 INFO 12 --- [ main] o.a.kafka.common.utils.AppInfoParser : Kafka commitId : fa14705e51bd2ce5
2020-03-12 08:14:40.668 WARN 12 --- [| adminclient-1] org.apache.kafka.clients.NetworkClient : [AdminClient clientId=adminclient-1] Connection to node 1001 could not be established. Broker may not be available.
2020-03-12 08:14:40.730 WARN 12 --- [| adminclient-1] org.apache.kafka.clients.NetworkClient : [AdminClient clientId=adminclient-1] Connection to node 1001 could not be established. Broker may not be available.
2020-03-12 08:14:40.820 WARN 12 --- [| adminclient-1] org.apache.kafka.clients.NetworkClient : [AdminClient clientId=adminclient-1] Connection to node 1001 could not be established. Broker may not be available.
2020-03-12 08:14:41.021 WARN 12 --- [| adminclient-1] org.apache.kafka.clients.NetworkClient : [AdminClient clientId=adminclient-1] Connection to node 1001 could not be established. Broker may not be available.
S🕶
### KAFKA SERVER #############################
kafka-server:
image: 'bitnami/kafka:latest'
container_name: kafka-server_container
environment:
- KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper-server:2181
- KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092
- KAFKA_CFG_ADVERTISED_PORT=9092
- KAFKA_ADVERTISED_PORT=9092
- ALLOW_PLAINTEXT_LISTENER=yes
- KAFKA_ADVERTISED_HOST_NAME=kafka-server_container
networks:
- dev_network
ports:
- '9092:9092'
depends_on:
- zookeeper-server