Телеграмм чат группы proKafka страница 1580

2020 November 16

AS

Для тестов. А принудительно каким способом?

Позорно говорить - но я обрубал интерфейс. Остальные способы нужно уточнять у коллег, а сейчас не самое подходящее время в моей стране)

источник

23:06пожаловаться #1

AS

Alexander Strakh in pro.kafka

Сейчас изучаю security сторону Kafka.

Сформировал 5 статей на эту тему - как настраивать SASL_PLAINTEXT, SASL_SSL и прочее.
С позволения администрации могу дать ссылки на статьи в личку.
Статьи это мой опыт, записывал только чтобы не забыть! на гуру в этом вопросе не претендую=)

источник

23:12пожаловаться #2

S

SeniorAnykey in pro.kafka

Alexander Strakh

Сейчас изучаю security сторону Kafka.

Сформировал 5 статей на эту тему - как настраивать SASL_PLAINTEXT, SASL_SSL и прочее.
С позволения администрации могу дать ссылки на статьи в личку.
Статьи это мой опыт, записывал только чтобы не забыть! на гуру в этом вопросе не претендую=)

А про влияние ssl на производительность нет никаких данных?

источник

23:14пожаловаться #3

DK

Dmitry K in pro.kafka

Мы делали mutual TLS auth и вроде никаких проблем не возникло, но предполагаю что может вырасти CPU util

источник

23:15пожаловаться #4

AS

Alexander Strakh in pro.kafka

SeniorAnykey

А про влияние ssl на производительность нет никаких данных?

Есть информация (по слухам с форумов) что влияет. Но информацию нужно подтверждать тестами.
Опять же вопросы, где SSL. Только на клиент-kafka или еще на inter-borker соединении.

источник

23:17пожаловаться #5

AS

Alexander Strakh in pro.kafka

Alexander Strakh

Есть информация (по слухам с форумов) что влияет. Но информацию нужно подтверждать тестами.
Опять же вопросы, где SSL. Только на клиент-kafka или еще на inter-borker соединении.

Вообщем это демагогия. Если буду делать тесты, обязательно дам знать

источник

23:17пожаловаться #6

S

SeniorAnykey in pro.kafka

Alexander Strakh

Вообщем это демагогия. Если буду делать тесты, обязательно дам знать

Оке)

источник

23:18пожаловаться #7

2020 November 17

YK

Yurii Khmelevskii in pro.kafka

Возможно как-то с таблицы прочитать последние 5 записей?

источник

03:53пожаловаться #8

ЮХ

Юра Ходырев... in pro.kafka

Yurii Khmelevskii

Возможно как-то с таблицы прочитать последние 5 записей?

JDBC kafka-connect, mode query .
Написать разовый селект

источник

06:40пожаловаться #9

DK

Daniyar Kaliyev in pro.kafka

Всем привет! использую connect-mirror-maker и никак не могу выставить значение

max.request.size

, хотя в это же время могу писать и считывать данные в 16 МБ в обоих кластерах

источник

07:50пожаловаться #10

IK

Ivan K. in pro.kafka

привет всем

источник

11:41пожаловаться #11

IK

Ivan K. in pro.kafka

а в confluent вижу встроенный mirror maker - он какой версии? 1 или 2?

источник

11:42пожаловаться #12

V

Vadim in pro.kafka

а если какие-то новые фичи не нужны 2.5.1 стабильнее чем 2.6.0 ? че то в 2.6.0 список багфиксов огромный. может там больше исправлений ?

источник

17:15пожаловаться #13

IK

Ilya Kaznacheev in pro.kafka

Господа, наверное уже затертый вопрос, но как легче всего запустить локально кластер кафки из нескольких брокеров?
Есть какой-то быстрый способ? Пробую просто несколько cp-kafka запустить, но постоянно сыплются непонятные для меня ошибки, хотя одна реплика работает без проблем…

источник

17:32пожаловаться #14

VG

Vik Gamov in pro.kafka

Ilya Kaznacheev

Господа, наверное уже затертый вопрос, но как легче всего запустить локально кластер кафки из нескольких брокеров?
Есть какой-то быстрый способ? Пробую просто несколько cp-kafka запустить, но постоянно сыплются непонятные для меня ошибки, хотя одна реплика работает без проблем…

Докер (точнее докер компоуз)

источник

17:49пожаловаться #15

IK

Ilya Kaznacheev in pro.kafka

Vik Gamov

Докер (точнее докер компоуз)

А там как-то можно настроить, чтобы из одного сервиса скейлом поднималось?
Полдня потратил на это, все не запускаются вместе (один брокер поднимается отлично).
Понимаю, конечно, что вопрос довольно тупой и ответ лежит где-то на поверхности, но увы

источник

17:52пожаловаться #16

SB

Sergey Bezrukov in pro.kafka

Ilya Kaznacheev

Господа, наверное уже затертый вопрос, но как легче всего запустить локально кластер кафки из нескольких брокеров?
Есть какой-то быстрый способ? Пробую просто несколько cp-kafka запустить, но постоянно сыплются непонятные для меня ошибки, хотя одна реплика работает без проблем…

https://github.com/confluentinc/cp-docker-images/tree/5.3.3-post/examples/kafka-cluster - это ?

GitHub

confluentinc/cp-docker-images

[DEPRECATED] Docker images for Confluent Platform. - confluentinc/cp-docker-images

источник

17:52пожаловаться #17

IK

Ilya Kaznacheev in pro.kafka

Sergey Bezrukov

https://github.com/confluentinc/cp-docker-images/tree/5.3.3-post/examples/kafka-cluster - это ?

GitHub

confluentinc/cp-docker-images

[DEPRECATED] Docker images for Confluent Platform. - confluentinc/cp-docker-images

Спасибо, сейчас попробую

источник

17:53пожаловаться #18

К

Кемель in pro.kafka

Добрый вечер. Появилась такая проблема. Не мог запустить сервер и удалил папку zookeeper и logs. Запустил заново, однако, когда я записываю цифры от 1 до 10, кафка заполняет его так 30,31,32,33... и цифра 10 превращается в 3031. В чем может быть проблема?
P.S. Я менял dir не помогло. Прошелся по всем stackoverflow, их советы не помогли

источник

19:44пожаловаться #19

A

Artjom Kalita in pro.kafka

пошел на митап набросил про передачу файлов и никакой реакции эхх =)

источник

19:45пожаловаться #20