Size: a a a

2020 August 24

VG

Vik Gamov in pro.kafka
curl -s -XGET http://localhost:8083/connector-plugins| jq '.[].class’
источник

VG

Vik Gamov in pro.kafka
Ну или чего там есть на виндах
источник

OP

Oleg P in pro.kafka
Vik Gamov
curl -s -XGET http://localhost:8083/connector-plugins| jq '.[].class’
Сделал curl -s -XGET http://localhost:8083/connector-plugins. Дало инфу только по одному коннектору: org.apache.kafka.connect.file.FileStreamSinkConnector
Монго не наблюдается
источник

VG

Vik Gamov in pro.kafka
Oleg P
Сделал curl -s -XGET http://localhost:8083/connector-plugins. Дало инфу только по одному коннектору: org.apache.kafka.connect.file.FileStreamSinkConnector
Монго не наблюдается
А как ты его устанавливал
источник

OP

Oleg P in pro.kafka
Vik Gamov
А как ты его устанавливал
1. Стянул архив с коннектором по ссылке https://www.confluent.io/hub/mongodb/kafka-connect-mongodb
2. Распаковал
3. Прописал путь path.plugins к папке где лежит jar файл плагина
4. Настроил конфигурацию в файле MongoSourceConnector.properties
5. Запустил zookeper, кафку и коннектор, использую connect-distributed.bat /config
источник

VG

Vik Gamov in pro.kafka
Надо искать в логах что не так
источник

OP

Oleg P in pro.kafka
в каком именно файле? server, state, kafka-request, controller?
источник

AS

Alexandr Smirnov in pro.kafka
бл там нихрена не понятно в этом кабинете
источник

OP

Oleg P in pro.kafka
вижу кафка разбрасывает логи. еще ложит логи в temp (по offset-ам)
источник

DL

Denis Larionov in pro.kafka
Подскажите, есть какие-либо статистические данные по использованию кафки, как стримингового хранилища? Объем, срок и т.д. и т.п. Аргументов в спорах не хватает
источник

AS

Alexandr Smirnov in pro.kafka
New York times хранит всю свою историю в кафке с самого начала
источник

V

VTaliKK in pro.kafka
Народ, простите что сюда пишу. Может кто уже пользовал или реализовавыл, Пока только на подумать задача, она стоит так. Для реализации DR необходимо, чтобы некий агент , в случае если не доступен кластер кафка ДЦ2 и ДЦ арбитр (т.е. сервер остался без сети) начал выполнять какие-либо действия (скрипт) на самом хосте.

Чет гугл особо ничего не дал, так как даже словами описать сложно, не то что запрос составить
источник

V

VTaliKK in pro.kafka
Может есть уже системы мониторинга, которые такое умеют.
источник

VG

Vik Gamov in pro.kafka
Кубер?
источник

V

VTaliKK in pro.kafka
Vik Gamov
Кубер?
к сожалению, использование кубера не предполагается по ФТ в данном этапе. Поэтому рассматриваем другие варианты
источник

AS

Alexandr Smirnov in pro.kafka
источник

VG

Vik Gamov in pro.kafka
Alexandr Smirnov
бл там нихрена не понятно в этом кабинете
ищи on-deman library - там записи
источник

VS

V 🏴‍☠️ S in pro.kafka
VTaliKK
Может есть уже системы мониторинга, которые такое умеют.
Это называется Service Discovery
источник

V

VTaliKK in pro.kafka
спасибо, попробую поискать
источник

AS

Alexandr Smirnov in pro.kafka
Vik Gamov
ищи on-deman library - там записи
+
источник