Телеграмм чат группы proKafka страница 1302

то есть создал новую таблицу engine=Kafka, с обновленной структурой
переключил отправку сообщений в эту таблицу
а когда в старой таблице ничего не осталось, то можно ее почистить

источник

07:04пожаловаться #5

E

Elyor in pro.kafka

я с тем же топиком делал

источник

07:27пожаловаться #6

E

Elyor in pro.kafka

в каком формате данные?

источник

07:27пожаловаться #7

R

Rail in pro.kafka

Elyor

в каком формате данные?

JsonEachRow будет

источник

07:42пожаловаться #8

R

Rail in pro.kafka

Elyor

я с тем же топиком делал

а если в этом топике еще лежали бы данные?

источник

07:43пожаловаться #9

E

Elyor in pro.kafka

после добавления поля данные старые данные из топика считывались нормально

источник

07:45пожаловаться #10

EI

Eugene Ivlev in pro.kafka

Сама kafka engine не хранит данные.

источник

08:31пожаловаться #11

EI

Eugene Ivlev in pro.kafka

Процесс такой: удаляешь view, которая перекладывать данные, удаляешь kafka engine, делаешь alter основной таблицы, создаёшь в обратном порядке

источник

08:33пожаловаться #12

R

Rail in pro.kafka

Eugene Ivlev

Процесс такой: удаляешь view, которая перекладывать данные, удаляешь kafka engine, делаешь alter основной таблицы, создаёшь в обратном порядке

Спасибо, теперь понятно

источник

08:34пожаловаться #13

DF

Donat Fetisov in pro.kafka

Rail

Хотелось бы узнать про шаги по добавлению новых столбцов в таблицу engine=Kafka, в доке кликауса про это информации нет к сожалению

Этот движок не умеет со схемой регистри работать, не поддерживает авро. Я не стал его брать. Сделал на нифи инджест

источник

10:57пожаловаться #14

AS

Alexandr Smirnov in pro.kafka

IV

привет! подскажите, кафка может при получении сообщения от продюсера отдавать в ответ какое то уникальное айди данного сообщения?

https://cwiki.apache.org/confluence/display/KAFKA/Idempotent+Producer

источник

14:51пожаловаться #15

I

IV in pro.kafka

Alexandr Smirnov

https://cwiki.apache.org/confluence/display/KAFKA/Idempotent+Producer

Спасибо!

источник

14:52пожаловаться #16

AS

Alexandr Smirnov in pro.kafka

там описано что они добавили новые поля в месаджи

Each message will have three new integer fields: pid, sequence_number, and generation.

источник

14:54пожаловаться #17

AS

Alexandr Smirnov in pro.kafka

взможно их можно заиспользовать и вам

источник

14:54пожаловаться #18

НИ

Николай Ижиков in pro.kafka

https://www.meetup.com/KafkaBayArea/events/270053856/ - кому интересно, будет онлайн-митап. Если я верно посчитал то во вторник в 2 часа ночи

Meetup

A Kafkaesque Raft Protocol (and other KIP-500 updates)

Tue, Apr 21, 2020, 4:00 PM: Hello Kafkateers!In order to do our part to help flatten the curve of the spread of COVID-19, we are moving all of our meetups online for the time being. Please find the de

источник

14:54пожаловаться #19

VG

Vik Gamov in pro.kafka

Николай Ижиков

https://www.meetup.com/KafkaBayArea/events/270053856/ - кому интересно, будет онлайн-митап. Если я верно посчитал то во вторник в 2 часа ночи

Meetup

A Kafkaesque Raft Protocol (and other KIP-500 updates)

Tue, Apr 21, 2020, 4:00 PM: Hello Kafkateers!In order to do our part to help flatten the curve of the spread of COVID-19, we are moving all of our meetups online for the time being. Please find the de

Это в какой tz в часа ночи?

источник

14:59пожаловаться #20