Телеграмм чат группы hadoopusers страница 1785

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу

2019 November 19

AZ

Anton Zadorozhniy in Data Engineers

А поясните плиз нубу про проблему скейлинга в кафка стримс и чем flink/spark приятнее в этом вопросе

kstreams это библиотека, там нет сервера приложений / кластера как такогового, авторам нужно самим решать сколько воркеров и где запустить, решать проблему их переподьема и расширения

источник

11:10пожаловаться #1

AZ

Anton Zadorozhniy in Data Engineers

flink и spark это фреймворки которые умеют свой кластерный фреймворк, или садятся на другие (YARN, k8s)

источник

11:10пожаловаться #2

V

VladMl in Data Engineers

А поясните плиз нубу про проблему скейлинга в кафка стримс и чем flink/spark приятнее в этом вопросе

Как по мне то самые основные проблемы описаны тут https://www.jesse-anderson.com/2019/10/why-i-recommend-my-clients-not-use-ksql-and-kafka-streams/

источник

11:10пожаловаться #3

EV

Eduard Vlasov in Data Engineers

Anton Zadorozhniy

flink и spark это фреймворки которые умеют свой кластерный фреймворк, или садятся на другие (YARN, k8s)

понял принял обработал

источник

11:11пожаловаться #4

EV

Eduard Vlasov in Data Engineers

Как по мне то самые основные проблемы описаны тут https://www.jesse-anderson.com/2019/10/why-i-recommend-my-clients-not-use-ksql-and-kafka-streams/

спасибо

источник

11:11пожаловаться #5

IP

Ilya Pribytkov in Data Engineers

так может посмотреть тип у результата col?

источник

11:11пожаловаться #6

IP

Ilya Pribytkov in Data Engineers

в общем суть в том что такой колонки в результирующем датафрейме нет, но есть колонка с суммой, только я не знаю как к ней обратиться

источник

11:11пожаловаться #7

A

Alex in Data Engineers

Anton Zadorozhniy

kstreams это библиотека, там нет сервера приложений / кластера как такогового, авторам нужно самим решать сколько воркеров и где запустить, решать проблему их переподьема и расширения

либо купить confluent platform 😉

источник

11:13пожаловаться #8

AZ

Anton Zadorozhniy in Data Engineers

либо купить confluent platform 😉

как это решает проблему?)

источник

11:13пожаловаться #9

A

Alex in Data Engineers

у них же вроде управление воркерами и мониторингом для kstream имеется

источник

11:14пожаловаться #10

AZ

Anton Zadorozhniy in Data Engineers

у них же вроде управление воркерами и мониторингом для kstream имеется

а кинь ссылку, я чот как-то пропустил..

источник

11:15пожаловаться #11

A

Alex in Data Engineers

https://t.me/proKafka

Чат для добросовестных господ и дам, посвящённый Apache Kafka.

Без флуда, оскорблений, регистрации и СМС.

А также без оффтопа и токсичного поведения.

Канал по Kafka: @AwesomeKafka_ru
Большой чат по JVM: @jvmchat

Спам? Зови @gamussa или @dmitvitalii

источник

11:16пожаловаться #12

V

VladMl in Data Engineers

Anton Zadorozhniy

flink и spark это фреймворки которые умеют свой кластерный фреймворк, или садятся на другие (YARN, k8s)

фактически нужно решить сколько инстансов аппликейшена запускать, обычно равно количеству партишенов, а дальше аппликейшен точно также может жить и в yarn и в k8s.

источник

11:16пожаловаться #13

A

Alex in Data Engineers

лучше спросить тут, там @gamussa как представитель конфлюента расскажет

источник

11:16пожаловаться #14

AZ

Anton Zadorozhniy in Data Engineers

фактически нужно решить сколько инстансов аппликейшена запускать, обычно равно количеству партишенов, а дальше аппликейшен точно также может жить и в yarn и в k8s.

а можете ссылку на интеграцию с yarn/k8s прислать?

источник

11:18пожаловаться #15

V

VladMl in Data Engineers

Anton Zadorozhniy

а можете ссылку на интеграцию с yarn/k8s прислать?

https://www.confluent.io/confluent-operator/?utm_medium=sem&utm_source=google&utm_campaign=ch.sem_br.nonbrand_tp.prs_tgt.kafka_mt.mbm_rgn.emea_lng.eng_dv.all&utm_term=%2Bkafka%20%2Bkubernetes&creative=381113792638&device=c&placement=&gclid=CjwKCAiAws7uBRAkEiwAMlbZjoAVcclgOV79C4KNRMrj4axoYPVPyk9rU6qYict4GXX4oW1aGWydXBoCrioQAvD_BwE

Confluent Operator | Automate Apache Kafka on Kubernetes

Confluent Operator simplifies running Confluent Platform as a cloud-native system on Kubernetes, on-premises or in the cloud. It delivers an enterprise-ready implementation of the Kubernetes Operator API to automate deployment and key lifecycle operations.

источник

11:19пожаловаться #16

AZ

Anton Zadorozhniy in Data Engineers

https://www.confluent.io/confluent-operator/?utm_medium=sem&utm_source=google&utm_campaign=ch.sem_br.nonbrand_tp.prs_tgt.kafka_mt.mbm_rgn.emea_lng.eng_dv.all&utm_term=%2Bkafka%20%2Bkubernetes&creative=381113792638&device=c&placement=&gclid=CjwKCAiAws7uBRAkEiwAMlbZjoAVcclgOV79C4KNRMrj4axoYPVPyk9rU6qYict4GXX4oW1aGWydXBoCrioQAvD_BwE

Confluent Operator | Automate Apache Kafka on Kubernetes

Confluent Operator simplifies running Confluent Platform as a cloud-native system on Kubernetes, on-premises or in the cloud. It delivers an enterprise-ready implementation of the Kubernetes Operator API to automate deployment and key lifecycle operations.

это запуск самой кафки, я про пользовательские приложения с kstreams

источник

11:20пожаловаться #17

DM

Daniel Matveev in Data Engineers

Anton Zadorozhniy

kstreams это библиотека, там нет сервера приложений / кластера как такогового, авторам нужно самим решать сколько воркеров и где запустить, решать проблему их переподьема и расширения

Есть. Но он оч примитивный.

источник

11:21пожаловаться #18

V

VladMl in Data Engineers

а в чем собственно заключается интеграция? это обчыное java приложение, которое можно запустить хоть в кубике хоть в ярне

источник

11:21пожаловаться #19

DM

Daniel Matveev in Data Engineers

либо купить confluent platform 😉

Есть и в бесплатном

источник

11:22пожаловаться #20