А почему нет? Используют

Что именно?

Твитор

По поводу Грааля и Кафка стримз - там редхад в кваркусе делает что-то, но я пока не смотрел

Генерация этих классов
С какой схемы они генерятся

Генерация делается maven plugin, сфемы поищи avsc файлы. Я не помню в каком проекте. Из схемы генерируются классы (и компилируются). А дальше как dependency используется

Спасибо за видео, но выкладывать в фб это особый вид извращенства

Не я.....

Вечер пятницы, вопрос питонистам-авроводам: вы классы из Авро генерите или все на лету? Если да, то чем и почему? Если нет, то почему?

Не знаю насчет кафки конкретно, знаю только то, что любая реализация авро на питоне будет очень медленная. У нас везде где в питонах была авро - отказались в пользу чего угодно.

Смотри бенчмарки и конкретные библиотеки которые используются - если устраивает - то не так важно что делать; но я так понимаю, что генерить классы на лету для бедного питона будет совсем непосильно.

здесь. медленно = медленее чем жвм на порядок - два / или больше

root

I have to test real time data flow from Kafka and ELK. I will appreciate any good resource/experience shared to follow as to do a POC or even to pair up with people .

В моих типичных ситуациях, Авро далеко не самое медленное. Тут вопрос удобства разработки. От Авро отказаться сложно, ибо. А "только в питоне" и вовсе невозможно, потому что он не единственный.

Господа, я правильно понимаю что для работы кафки нужны следующие разрешния соединений:

kafka to zookeeper rule
src: kafka_cluster
dst: zookeeper_cluster
port: 2181/tcp

between kafka nodes rule
src: kafka_node
dst: other_kafka_node
port: 9092/tcp

between zookeeper nodes rule
src: zookeper_node
dst: other_zookeper_node
port: 2888/tcp, 3888/tcp

Спасибо =)

В дефолтном инсталле Кафки - да, похоже

картинка нашел =)

спасибо

Зукипер не нужен

В смысле не обязательно открыть зукипер на ружу

так я вроде не открывал?
для зукипера 2 правила:
1) кафка к зукиперу
2) зукипер между собой