Телеграмм чат группы proKafka страница 1664

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

2192 membersпожаловаться на группу

2021 January 21

AB

Alexey Barabanov in pro.kafka

Ребят, такой вопрос по ksql возник. Гоняем тесты через ksql-test-runner и ловим такую ошибку

>>>>> Test failed: Topic 'topic', message 0: Expected <"2367947|+|1|+|123@1597928996000/1597928996000", {"ID_L":2367947,"N_LOS":1,"N_LOS_CHANGED":123,"N_IMPRESSION_QD":0,"N_CLICK":0,"WINDOW_END":1597928996000}> with timestamp=1597928996000 but was <[2367947|+|1|+|123@1597928996000/1597928996000], {ID_LANDING=2367947, N_LANDING_OPTIMIZATION_STATE=1, N_LOS_CHANGED=123, N_IMPRESSION_QD=0, N_CLICK=0, WINDOW_END=1597928996000}> with timestamp=1597928996000

То есть как будто получается другое сообщение относительно того, которое указано в expected. Но это не так, в expected указано корректное сообщение. Возникает такая штука только при использовании WINDOW в запросе. Баг, или что-то упускаем из вида?

источник

17:33пожаловаться #1

AB

Alexey Barabanov in pro.kafka

Alexey Barabanov

Ребят, такой вопрос по ksql возник. Гоняем тесты через ksql-test-runner и ловим такую ошибку

>>>>> Test failed: Topic 'topic', message 0: Expected <"2367947|+|1|+|123@1597928996000/1597928996000", {"ID_L":2367947,"N_LOS":1,"N_LOS_CHANGED":123,"N_IMPRESSION_QD":0,"N_CLICK":0,"WINDOW_END":1597928996000}> with timestamp=1597928996000 but was <[2367947|+|1|+|123@1597928996000/1597928996000], {ID_LANDING=2367947, N_LANDING_OPTIMIZATION_STATE=1, N_LOS_CHANGED=123, N_IMPRESSION_QD=0, N_CLICK=0, WINDOW_END=1597928996000}> with timestamp=1597928996000

То есть как будто получается другое сообщение относительно того, которое указано в expected. Но это не так, в expected указано корректное сообщение. Возникает такая штука только при использовании WINDOW в запросе. Баг, или что-то упускаем из вида?

Пробовали консол-консьюмером ключ получить, он отображается как-то так

2367947|+|1|+|123t
                  �|�t
                      �|�

. Я думал, что окно в ключе хранится просто стрингом, но видимо там какой-то специальный сериализатор используется?

источник

17:37пожаловаться #2

2021 January 22

NK

ID:0 in pro.kafka

Давно не закидывал новости в канал. Исправляюсь!
Если вы не в курсе, то я уже какое-то время каждый вторник (ну почти) виду стримы (#LiveStreams) на YouTube канале Confluent.
Естественно про Кафку и околокафкавские технологии - Kafka Streams, ksqlDB и прочее. Вчера например делал стрим про то как построить Interactive Queries service для Kafka Streams приложения с использованием gRPC (почему gRPC? Ну хотя потому что на REST есть пример в официальной документации). Стримы на английском, но не думаю, что это проблема для вас, коллеги!
Подписывайтесь на канал, приходите в лайв, будем обсуждать Ваши вопросы.

источник

08:12пожаловаться #3

NK

ID:0 in pro.kafka

#партнерскийматериал

Завезли курсы про так сказать «джентльменский набор» продвинутого Дата инженера (кстати, обсуждали чем отличаются Дата инженеры и Дата Scientists в подкасте «Новый подкаст 2 (после правок) - ссылка на кнопке 👇»— Spark, Hadoop, Hive и естественно наша Kafka.
Что можно со всем этим делать и какие задачи решать:
- Писать распределенные приложения.
- Работать с потоками данных.
- Обрабатывать большие объемы данных.
- Оптимизировать приложения.
Всему этому можно научить за 4 месяца на практике в живом общении с опытными Дата инженерами!

Надо пройти вступительный тест и вступить в группу по спец.цене https://otus.pw/1Oog/

источник

08:20пожаловаться #4

VG

Vik Gamov in pro.kafka

Ништяков накидал вам тут с утра в пятницу!

источник

08:20пожаловаться #5

V

Vasiliy in pro.kafka

Такие штуки с утра полезней овсянки

источник

09:04пожаловаться #6

AK

Andrei Kogun in pro.kafka

По просьбе @gamussa , возможно и было уже, но всегда приятно вспомнить - прекрасный пример про фильмы и рейтинги инклудед - https://youtu.be/AdDsvv4dDlk

Виктор Гамов, Confluent - Kafka Streams IQ: «Зачем нам база данных?» - jug.msk.ru - 08/05/2019 - ч.2

Запись встречи jug.msk.ru 8 мая 2019 с Виктором Гамовым, Confluent - Kafka Streams IQ - часть 2

Часть 1 - https://youtu.be/PgoRuxKqStI

Kafka Streams IQ: «Зачем нам база данных? Нам база не нужна!»

Рост популярности Apache Kafka, как потоковой платформы, потребовал пересмотра традиционного подхода к распределенной обработке данных. Kafka Streams позволяет разрабатывать приложения без каких-либо кластеров. Подход «кластер на коленке» позволяет начать разработку и не задумываться о том, сможем ли мы потом масштабироваться (spoiler alert: Сможем!).

А слабо выкинуть традиционную базу данных для хранения результатов и промежуточного состояния?

В этом докладе Виктор расскажет про Interactive Queries — часть API Kafka Streams, которая позволяет получить доступ к состоянию приложения без использования традиционных хранилищ — БД, кэшей и тп. Посмотрим, как такой подход позволяет упростить архитектуру для использования Kafka Stream в микросервисах.

Как обычно, кроме доклада по слайдам, присутствует демонстрация с…

источник

09:04пожаловаться #7

NK

ID:0 in pro.kafka

Кстати, про мой пост про IQ https://t.me/AwesomeKafka_ru/157
Мне тут коллега @akogun напомнил, что я делал доклад для московского JUG-а как раз про Interactive Queries. т.е. Если вы не в теме, есть отличный шанс в эту тему попасть.
Смотрим!

источник

09:13пожаловаться #8

DP

Denis Pavlyuchenko in pro.kafka

эх, джуги, оффлайн конференции, что может быть лучше.. Во времена то были! :)

источник

09:15пожаловаться #9

A

Alex in pro.kafka

доковидная эпоха

источник

09:16пожаловаться #10

VG

Vik Gamov in pro.kafka

Такие штуки с утра полезней овсянки

Стараюсь для вас

источник

09:20пожаловаться #11

VC

Vladimir Chernyi in pro.kafka

Всем привет, вопрос про кафка коннект. Я создаю сорс коннектор mode=bulk, указываю query, результат запроса 4 млн строк. Работает ли тут tasks.max? У меня всегда один таск

источник

09:24пожаловаться #12

AS

Andrei St in pro.kafka

парни дайте аналог conductor нормальный, kafka tools 2 не вариант

источник

10:55пожаловаться #13

VC

Vladimir Chernyi in pro.kafka

ID:0

#партнерскийматериал

Завезли курсы про так сказать «джентльменский набор» продвинутого Дата инженера (кстати, обсуждали чем отличаются Дата инженеры и Дата Scientists в подкасте «Новый подкаст 2 (после правок) - ссылка на кнопке 👇»— Spark, Hadoop, Hive и естественно наша Kafka.
Что можно со всем этим делать и какие задачи решать:
- Писать распределенные приложения.
- Работать с потоками данных.
- Обрабатывать большие объемы данных.
- Оптимизировать приложения.
Всему этому можно научить за 4 месяца на практике в живом общении с опытными Дата инженерами!

Надо пройти вступительный тест и вступить в группу по спец.цене https://otus.pw/1Oog/

Про спарк и хадуп есть, а про кафку не нашел пока

источник

11:08пожаловаться #14

OG

Oleg Gavrilov in pro.kafka

парни дайте аналог conductor нормальный, kafka tools 2 не вариант

kafdrop?

источник

11:15пожаловаться #15

VG

Vik Gamov in pro.kafka

Vladimir Chernyi

Про спарк и хадуп есть, а про кафку не нашел пока

Не порядок! я уточню. Сам понимаешь, мопед не мой ©️

источник

11:16пожаловаться #16

YZ

Yuri Zavyalov in pro.kafka

парни дайте аналог conductor нормальный, kafka tools 2 не вариант

kowl, но только чтение и статистика

источник

11:17пожаловаться #17

AS

Andrei St in pro.kafka

Oleg Gavrilov

kafdrop?

пасиб, заюзаю

источник

11:18пожаловаться #18

IS

Ivan S in pro.kafka

Всем привет,
есть вопрос про kafka-streams (в доках ответа не нашел, по сорцам быстро понять не получилось).
Есть ли гарантия, что на момент вызова punctuate (зашедуленного с помощью wall-clock time) стейт сторы должны быть инициализированы (т.е. чейджлог топик вычитан)?

источник

11:27пожаловаться #19

VG

Vik Gamov in pro.kafka

Ivan S

Всем привет,
есть вопрос про kafka-streams (в доках ответа не нашел, по сорцам быстро понять не получилось).
Есть ли гарантия, что на момент вызова punctuate (зашедуленного с помощью wall-clock time) стейт сторы должны быть инициализированы (т.е. чейджлог топик вычитан)?

А какой use case?

источник

11:28пожаловаться #20