Телеграмм чат группы proKafka страница 1542

2020 October 20

OG

Oleg Gavrilov in pro.kafka

Круто, понятно, спасибо

источник

15:05пожаловаться #1

VG

Vik Gamov in pro.kafka

S B

Это их продукт, поэтому и гуглится. У него есть базовый бесплатный функционал, насколько я помню, а ништяки уже за деньги. Ну если в прод надо, то за платформу все равно придётся заплатить.

Функциональность

источник

15:05пожаловаться #2

VG

Vik Gamov in pro.kafka

S B

Это их продукт, поэтому и гуглится. У него есть базовый бесплатный функционал, насколько я помню, а ништяки уже за деньги. Ну если в прод надо, то за платформу все равно придётся заплатить.

Community edition можно в продолжение бесплатно

источник

15:05пожаловаться #3

VG

Vik Gamov in pro.kafka

https://www.confluent.io/product/confluent-platform ближе к концу странички есть таблица с тем что доступно в каком edition.

Confluent

Event Streaming Platform for the Enterprise | Confluent

Confluent is the complete event streaming platform and fully managed Kafka service. Stream data on cloud, serverless, or on-prem. 24/7 support. Try free!

Н

Спасибо

S

Slava in pro.kafka

Привет. Вопрос по ksql, а может просто по Confluent. Можно ли сделать такой запрос/флоу чтобы данные раскидывались по произвольному числу топиков? Условно, выходящий топик определяется значением одного из полей в сообщении.

источник

15:38пожаловаться #6

S

Slava in pro.kafka

Без использования джавы ;)

источник

15:38пожаловаться #7

AR

Alexander Ryzhenko in pro.kafka

доброго дня.
Пытаюсь создать материалку:

ksql> create table users_ls as select id, name, weight from users emit final;

а он мне говорит

Suppression is currently disabled. You can enable it by setting ksql.suppress.enabled to true

Что это за опция? не нашел нигде в документации

источник

15:49пожаловаться #8

S

Slava in pro.kafka

Alexander Ryzhenko

доброго дня.
Пытаюсь создать материалку:

ksql> create table users_ls as select id, name, weight from users emit final;

а он мне говорит

Suppression is currently disabled. You can enable it by setting ksql.suppress.enabled to true

Что это за опция? не нашел нигде в документации

я так думаю, это вот это https://cwiki.apache.org/confluence/display/KAFKA/KIP-328%3A+Ability+to+suppress+updates+for+KTables
свежак

источник

16:20пожаловаться #9

VG

Vik Gamov in pro.kafka

Alexander Ryzhenko

доброго дня.
Пытаюсь создать материалку:

ksql> create table users_ls as select id, name, weight from users emit final;

а он мне говорит

Suppression is currently disabled. You can enable it by setting ksql.suppress.enabled to true

Что это за опция? не нашел нигде в документации

https://docs.ksqldb.io/en/latest/operate-and-deploy/installation/server-config/ вот тут как конфигурировать

docs.ksqldb.io

Configuring ksqlDB Server

Learn about the configuration settings you can use to set up ksqlDB

источник

16:53пожаловаться #10

AR

Alexander Ryzhenko in pro.kafka

Vik Gamov

https://docs.ksqldb.io/en/latest/operate-and-deploy/installation/server-config/ вот тут как конфигурировать

docs.ksqldb.io

Configuring ksqlDB Server

Learn about the configuration settings you can use to set up ksqlDB

Спасибо, но тут все равно нет информации об

ksql.suppress.enabled

И вообще что-то у меня так и не получается создать материальное представление - что-то не так делаю.

Есть топик с json сообщениям. Хочу получить таблицу с ласт стейтами сущностей.

Создаю таблицу

create table users
(
    id     INT PRIMARY KEY,
    name   VARCHAR,
    weight INT
) WITH (
    kafka_topic = 'users',
    value_format = 'json'
);

создаю материалку с этой таблицы:

create table users_ls as select id,name,weight from users;

пытаюсь выбрать что-то:

ksql> select * from users_ls where id=1;
Can't pull from `USERS_LS` as it's not a materialized table. See https://cnfl.io/queries for more info.
Add EMIT CHANGES if you intended to issue a push query.

ksql> select * from users_ls where id=1 emit changes; - работает

ksql> select * from users_ls where id=1 emit final; выдает ошибку

Suppression is currently disabled. You can enable it by setting ksql.suppress.enabled to true

Почему она не materialized, что я делаю не так?

ЗЫ. Это я в первый раз лезу в стримы после прочтения десятка статей в блогах.

источник

17:37пожаловаться #11

2020 October 21

p

promzeus in pro.kafka

topics:
  - name: myExistingTopicConfig
    config: "cleanup.policy=compact,delete.retention.ms=604800000"

уточните этот параметр отвечает за ротацию ? которая по дефолту 7 дней?

источник

00:50пожаловаться #12

MK

Morozov Konstantin in pro.kafka

@gamussa привет, не знаю, кто у вас там докой занимается, поэтому, пока читал, решил обратиться к тебе 🙂 сейчас сел изучать Go-шную часть и я, конечно, могу 10 раз быть не прав, но мне кажется, что вот тут ошибка https://docs.confluent.io/current/clients/go.html#delivery-guarantees

сначала коммит, а потом обработка - это же не правильно и как раз обратный порядок с соблюдением идемпотентности обеспечивает гарантию доставки. Или я не прав ?

источник

14:29пожаловаться #13

I

Ilgiz in pro.kafka

Morozov Konstantin

@gamussa привет, не знаю, кто у вас там докой занимается, поэтому, пока читал, решил обратиться к тебе 🙂 сейчас сел изучать Go-шную часть и я, конечно, могу 10 раз быть не прав, но мне кажется, что вот тут ошибка https://docs.confluent.io/current/clients/go.html#delivery-guarantees

сначала коммит, а потом обработка - это же не правильно и как раз обратный порядок с соблюдением идемпотентности обеспечивает гарантию доставки. Или я не прав ?

там вроде написано про at most once, то есть терять сообщения можно, но два раза читать нельзя

источник

14:53пожаловаться #14

MK

Morozov Konstantin in pro.kafka

ааа, пнял, спасибо. значит, был не прав )

источник

14:54пожаловаться #15

A

Artjom Kalita in pro.kafka

https://www.youtube.com/watch?v=zlg7o3-gvEo -> почему-то звук только в левом ухе наушника - так и должно быть ?

YouTube

Event Streaming with Kafka Streams | Apache Kafka® Platform

All things change constantly! And dealing with constantly changing data at low latency is pretty hard. It doesn't need to be that way. Kafka has become a de-facto standard for ingesting event-based data and is considered the central nervous system for data in many organizations top of Kafka. It allows you to transform streams, perform analysis, and stateful operations on the incoming data. In this presentation, Viktor will cover:
• A quick intro into Kafka 101.
• What is Kafka Streams.
• How Kafka Streams enables/simplifies event-based processing.

By the end of this presentation, you will understand the basics of Kafka Streams and how you can start using it to implement event streaming applications!

slides https://www.slideshare.net/ConfluentInc/crossing-the-streams-event-streaming-with-kafka-streams/ConfluentInc/crossing-the-streams-event-streaming-with-kafka-streams

источник

16:56пожаловаться #16

VG

Vik Gamov in pro.kafka

Artjom Kalita

https://www.youtube.com/watch?v=zlg7o3-gvEo -> почему-то звук только в левом ухе наушника - так и должно быть ?

YouTube

Event Streaming with Kafka Streams | Apache Kafka® Platform

All things change constantly! And dealing with constantly changing data at low latency is pretty hard. It doesn't need to be that way. Kafka has become a de-facto standard for ingesting event-based data and is considered the central nervous system for data in many organizations top of Kafka. It allows you to transform streams, perform analysis, and stateful operations on the incoming data. In this presentation, Viktor will cover:
• A quick intro into Kafka 101.
• What is Kafka Streams.
• How Kafka Streams enables/simplifies event-based processing.

By the end of this presentation, you will understand the basics of Kafka Streams and how you can start using it to implement event streaming applications!

slides https://www.slideshare.net/ConfluentInc/crossing-the-streams-event-streaming-with-kafka-streams/ConfluentInc/crossing-the-streams-event-streaming-with-kafka-streams

Хм, да ты прав. И нет, так не должно быть.

источник

17:02пожаловаться #17

VG

Vik Gamov in pro.kafka

В следующий раз учту

источник

17:03пожаловаться #18

A

Artjom Kalita in pro.kafka

В следующий раз учту

17:11пожаловаться #19

D

Dee in pro.kafka

Всем привет!

У меня вопрос как корректно поступить.

Есть кафка продюсер, продюсит сообщение.

Если успешно - все ок
Если ошибка - сделай какие-то дела и верни ошибку.

Момент паблишинга может занять некоторое время, в связи с чем во фьюче можно реализовать onSuccess && onFailure.

Откуда возник вопрос, если onSuccess|onFailure будет долго отрабатывать, то имеет ли смысл после отправки сразу отдавать клиенту на ресте ОК, а потом при повторном запросе отправить результаты onSuccess || onFailure. Или дать клиенту ждать, пока onSuccess не отработает и зафризить запрос?

источник

18:50пожаловаться #20