Size: a a a

2020 December 12

АЧ

Александр Черёмухин... in pro.kafka
Юра Ходырев
Хм. Звучит очень странно.  Не запускается с помощью systemd, может если каких нибудь переменных окружений не хватило
Да вот и не пойму,  че надо ему. Мало данных в лог при этом пишет. Запущу в контейнере пожалуй ))
источник

ЮХ

Юра Ходырев... in pro.kafka
Александр Черёмухин
Да вот и не пойму,  че надо ему. Мало данных в лог при этом пишет. Запущу в контейнере пожалуй ))
Самое простое)))
источник

A

Andrey in pro.kafka
Vik Gamov
Копай в сторону suppress
Нашёл в доке, https://docs.ksqldb.io/en/latest/developer-guide/ksqldb-reference/quick-reference/#emit-final  но оно не работает, говорит что не существует такого, хотя версия последняя. Плюс в  доке по push queries такого нет.. https://docs.ksqldb.io/en/latest/developer-guide/ksqldb-reference/select-push-query/#emit мистика какая-то. Кажется это у них готово но не релизнули пока или только в энтерпрайз версии есть
источник

VG

Vik Gamov in pro.kafka
Andrey
Нашёл в доке, https://docs.ksqldb.io/en/latest/developer-guide/ksqldb-reference/quick-reference/#emit-final  но оно не работает, говорит что не существует такого, хотя версия последняя. Плюс в  доке по push queries такого нет.. https://docs.ksqldb.io/en/latest/developer-guide/ksqldb-reference/select-push-query/#emit мистика какая-то. Кажется это у них готово но не релизнули пока или только в энтерпрайз версии есть
Нет, в CP Enterprise попадает более младшая версия. ksqlDB вся годнотка идёт сразу в oss
источник

A

Andrey in pro.kafka
А у них есть какое-то официальное сообщество где можно спросить?
источник

VG

Vik Gamov in pro.kafka
Andrey
А у них есть какое-то официальное сообщество где можно спросить?
Slack же
источник

VG

Vik Gamov in pro.kafka
источник

A

Andrey in pro.kafka
Спасибо
источник

VG

Vik Gamov in pro.kafka
Юра Ходырев
Просто возьми контейнер на основе этого например.
https://hub.docker.com/r/sheepkiller/kafka-manager/dockerfile

Либо если хочешь без контейнеров, то надо просто для systemd unit под него написать, он легко делается
Поддерживаю - возьми контейнер. Трахаться ещё с этими самописными systemd скриптами
источник

AC

Anton Churkin in pro.kafka
Александр Черёмухин
Systemd он умеет?
Умеет, могу скинуть свой, там вроде бы все как обычно, без подводных камней
источник
2020 December 13

VG

Vik Gamov in pro.kafka
Andrey
Нашёл в доке, https://docs.ksqldb.io/en/latest/developer-guide/ksqldb-reference/quick-reference/#emit-final  но оно не работает, говорит что не существует такого, хотя версия последняя. Плюс в  доке по push queries такого нет.. https://docs.ksqldb.io/en/latest/developer-guide/ksqldb-reference/select-push-query/#emit мистика какая-то. Кажется это у них готово но не релизнули пока или только в энтерпрайз версии есть
Так я тут пошуршал. Походу рано доку выкатили.

Klip-10 всё ещё в работе https://github.com/confluentinc/ksql/blob/master/design-proposals/klip-10-suppress.md
источник

АЧ

Александр Черёмухин... in pro.kafka
Anton Churkin
Умеет, могу скинуть свой, там вроде бы все как обычно, без подводных камней
Да. Черкни плиз. @gamussa согласен, но спортивный интерес заставляет понять,  что я делаю не так )
источник

S

SeniorAnykey in pro.kafka
Александр Черёмухин
Подскажи,  можно его как сервис запустить? Изгалялся всяко - падает
Можно. Запускал.
источник

AC

Anton Churkin in pro.kafka
Александр Черёмухин
Да. Черкни плиз. @gamussa согласен, но спортивный интерес заставляет понять,  что я делаю не так )
в доке cmak прямо указано, что можно собрать rpm
sbt rpm:packageBin

и если потом его заинсталить, то systemd из пакета будет такой
[Unit]
Description=A tool for managing Apache Kafka
Requires=network.target

[Service]
Type=simple
WorkingDirectory=/usr/share/cmak
EnvironmentFile=/etc/default/cmak
ExecStart=/usr/share/cmak/bin/cmak
ExecReload=/bin/kill -HUP $MAINPID
Restart=always
RestartSec=60
SuccessExitStatus=
TimeoutStopSec=5
User=root
ExecStartPre=/bin/mkdir -p /run/cmak
ExecStartPre=/bin/chown root:root /run/cmak
ExecStartPre=/bin/chmod 755 /run/cmak
PermissionsStartOnly=true
LimitNOFILE=1024

[Install]
WantedBy=multi-user.target

но я бы рекомендовал собрать rpm

И до того как он стал cmak, я запускал как-то так
[Unit]
Description=Kafka Manager
Documentation=https://github.com/yahoo/kafka-manager
Requires=network.target
After=network.target

[Service]
Type=simple
User=root
Group=root
WorkingDirectory=/opt/kafka-manager/kafka-manager-2.0.0.2
ExecStart=/opt/kafka-manager/kafka-manager-2.0.0.2/bin/kafka-manager
Restart=on-failure

[Install]
WantedBy=multi-user.target
источник

S

SeniorAnykey in pro.kafka
Собственно неделю назад поднимал, кроме kafka-manager.service. добавлял еще в директорию conf файл application.ini:

-Dapplication.home=/var/lib/kafka-manager
-Dconfig.file=/var/lib/kafka-manager/conf/application.conf
-Dpidfile.path=/var/lib/kafka-manager/kafka-manager.pid
-Dapplication.log.dir=/var/log/kafka-manager
-Dhttp.port=9000


ну и сам сервис:

[Unit]
Description=Kafka Manager
Documentation=https://github.com/yahoo/kafka-manager
Requires=network.target
After=network.target

[Service]
Type=simple
User=kafka
Group=kafka
WorkingDirectory=/var/lib/kafka-manager
ExecStart=/var/lib/kafka-manager/bin/cmak
StandardOutput=null
Restart=on-failure

[Install]
WantedBy=multi-user.target


Все успешно запускается. Версия - cmak-3.0.0.5
источник
2020 December 14

YK

Yurii Khmelevskii in pro.kafka
Приветствую!
Работаю с avro. Пытаюсь понять как сериализовать поле у которого тип UNION внутри которого разные объекты (рекорды).
Например, когда у меня простой Record я делаю что-то типа
Schema.Parser parser = new Schema.Parser();
Schema schema = parser.parse(userSchema);
GenericRecord avroRecord = new GenericData.Record(schema);
avroRecord.put("f1", "value1");
а вот как сериализовать UNION схему с рекордами я не понимаю.
Нужно сериализовать, например, такую схему:
    {
     "name": "op",
     "type": [
       {
         "name": "insert_record",
         "type": "record",
         "fields": [
           {
             "name": "insert",
             "type": "boolean"
           }
         ]
       },
       {
         "name": "delete_record",
         "type": "record",
         "fields": [
           {
             "name": "delete",
             "type": "boolean"
           }
         ]
       }
     ]
   }
источник

AD

Alex Dev in pro.kafka
Andrey
Нашёл в доке, https://docs.ksqldb.io/en/latest/developer-guide/ksqldb-reference/quick-reference/#emit-final  но оно не работает, говорит что не существует такого, хотя версия последняя. Плюс в  доке по push queries такого нет.. https://docs.ksqldb.io/en/latest/developer-guide/ksqldb-reference/select-push-query/#emit мистика какая-то. Кажется это у них готово но не релизнули пока или только в энтерпрайз версии есть
там теперь FINAL
источник

A

Andrey in pro.kafka
Alex Dev
там теперь FINAL
Я в слак им написал, сказали мол не готово еще и исправили доку
источник

АЧ

Александр Черёмухин... in pro.kafka
@anton_churkin @SnAnykey Спасибо, через rpm все взлетело. Пропустил чет эту строчку в мане
источник

AD

Alex Dev in pro.kafka
Andrey
Я в слак им написал, сказали мол не готово еще и исправили доку
да реально убрали, хах... Это одна из двух самых необходимый(для удобства чтобы не городишь своих лишних звеньев) фич  для построения хайлоуд архитектур 😉
источник