AZ
@gamussa тут в соседнем чатике сказали что confluent enterprise теперь умеет управлять приложениями где kstreams используется, правда чтоли? одна небольшая контора в Шведции будет очень рада)
Size: a a a
2019 November 19
VA
А что за соседний чатик?
EV
GK
Имхо не выиграете от схемы 2+2 на стретч кластере.
Все равно никакого способа сказать «держи 2 реплики но на разных дц» вроде как нет.
В зависимости от удачи они упадут или на один или на разные
Все равно никакого способа сказать «держи 2 реплики но на разных дц» вроде как нет.
В зависимости от удачи они упадут или на один или на разные
А что мешает использовать
broker.rack?AU
А что мешает использовать
broker.rack?Звучит интересно. Я не знал, я прочитаю
AU
а где лучше почитать гарантий на тему rack awareness?
AU
потому что в доках расплывчато типа “мы постараемся размазать настолько хорошо насколько сможем”
AU
что под этим подразумевается… В KIP-36 описание раунд робина, что дает лишь не жесткие статистические гарантии
AZ
Звучит интересно. Я не знал, я прочитаю
мой боец описал наш путь в одном шведском клиенте на эту тему, мб полезно https://circuitwall.com/articles/kafka-multi-dc/
AU
мой боец описал наш путь в одном шведском клиенте на эту тему, мб полезно https://circuitwall.com/articles/kafka-multi-dc/
Спасибо!
c
всем привет
подкажите по Kafka Connect плз, если кто использует.
я в эту тему только врубаюсь.
Собран кластер зукипера, кластер кафки, все работает.
Теперь подключаю к ним Kafka Connect.
запускаю его таким образом:
где 172.29.х.х - адреса хостов кафки.
Kafka Connect стартует, и в логе в том числе:
не могу понять, откуда он "leaderUrl='http://172.20.0.13:8083/'" адрес берет, на том хосте где запущен контейнер в докере адреса 172.17.0.х., да и нет нигде у меня 172.20.0.13.
ну и потом ожидаемо, когда пытаюсь в него коннектор пропихнуть - выдает Connection timeout и ничего не работает.
подкажите по Kafka Connect плз, если кто использует.
я в эту тему только врубаюсь.
Собран кластер зукипера, кластер кафки, все работает.
Теперь подключаю к ним Kafka Connect.
запускаю его таким образом:
docker run -it --rm --name connect -p 8083:8083 -e GROUP_ID=1 -e CONFIG_STORAGE_TOPIC=my_connect_configs -e OFFSET_STORAGE_TOPIC=my_connect_offsets -e STATUS_STORAGE_TOPIC=my_connect_statuses -e BOOTSTRAP_SERVERS=172.29.11.187:9092,172.29.10.33:9092,172.29.11.99:9092 debezium/connect:0.10
где 172.29.х.х - адреса хостов кафки.
Kafka Connect стартует, и в логе в том числе:
2019-11-19 10:01:47,350 INFO || [Worker clientId=connect-1, groupId=1] Joined group at generation 4 and got assignment: Assignment{error=0, leader='connect-1-443601c8-323d-46f2-a5fb-8c74a5f8d6d5', leaderUrl='http://172.20.0.13:8083/', offset=-1, connectorIds=[], taskIds=[], revokedConnectorIds=[], revokedTaskIds=[], delay=0} [org.apache.kafka.connect.runtime.distributed.DistributedHerder]не могу понять, откуда он "leaderUrl='http://172.20.0.13:8083/'" адрес берет, на том хосте где запущен контейнер в докере адреса 172.17.0.х., да и нет нигде у меня 172.20.0.13.
ну и потом ожидаемо, когда пытаюсь в него коннектор пропихнуть - выдает Connection timeout и ничего не работает.
GG
а в кафке что указано по ADVERTISED_LISTENERS?
VG
@gamussa тут в соседнем чатике сказали что confluent enterprise теперь умеет управлять приложениями где kstreams используется, правда чтоли? одна небольшая контора в Шведции будет очень рада)
Не совсем понял что имеется ввиду
BK
ID:
Внезапно Kafka meetup в Питере!
Я (Виктор Гамов) расскажу про новые фичи в KSQL, а коллеги из Nexign расскажут про гексагональную архитектуру!
https://www.meetup.com/St-Petersburg-Kafka/events/265846058/
Я (Виктор Гамов) расскажу про новые фичи в KSQL, а коллеги из Nexign расскажут про гексагональную архитектуру!
https://www.meetup.com/St-Petersburg-Kafka/events/265846058/
Привет, а есть запись?
AD
Bohdan Korinnyi
Привет, а есть запись?
c
а в кафке что указано по ADVERTISED_LISTENERS?
нашел, пересеклось с другим инстансом, и там в докере действительно 172.20.х.х
вопрос теперь как ему вместо этого атоопределения передать нормальный адрес, который он должен слушать.
там weave на хосте, и у контейнеров есть нормальный routable приватный адрес.
вопрос теперь как ему вместо этого атоопределения передать нормальный адрес, который он должен слушать.
там weave на хосте, и у контейнеров есть нормальный routable приватный адрес.
AU
мой боец описал наш путь в одном шведском клиенте на эту тему, мб полезно https://circuitwall.com/articles/kafka-multi-dc/
А что будет с Кафка стрим топиками при этом?
То есть у них по идее у каждого можно тоже выбрать консистентность и авейлабилити. Не превратится ли это в ад при отключении ДЦ?
То есть у них по идее у каждого можно тоже выбрать консистентность и авейлабилити. Не превратится ли это в ад при отключении ДЦ?
AU
Для инпут топика на этот счёт можно продумать стратегию