Size: a a a

2020 December 17

A

Alex in pro.kafka
А вы уверены что вставка тормозит а не логика обработки занимает 2-3 минуты?
источник

YL

Yuri Lyulchenko in pro.kafka
Да
источник

YL

Yuri Lyulchenko in pro.kafka
Через метод to() пишет идеально
источник

YL

Yuri Lyulchenko in pro.kafka
Но мне все равно нужно будет использовать свой продюсер в дальнейшем. Поэтому хотелось бы разобраться с вопросом.
источник

VG

Vik Gamov in pro.kafka
Yuri Lyulchenko
Коллеги, доброго дня. Вопрос по Producer API для Kafka Streams. Есть свой Producer, в ProducerConfig заданы стандартные сериализаторы и подключение к кафке. В Топик-источник попадает, скажем, 6000 сообщений в минуту. Есть процессор, который определенным образом анализирует данные и результат записывает в синк-топик, при этом запись осуществляется с помощью вышеуказанного продюсера. Ожидаю, что эта обработка и запись в топик займет также минуту, и в результате также 6000 сообщений в этот топик лягут. По факту, это длится 2-3 минуты. Можно ли "убыстрить" свой продюсер, мб какие-то доп параметры следует в конфиг задать?
Подкрутить commit.interval.ms ?
источник

YL

Yuri Lyulchenko in pro.kafka
Vik Gamov
Подкрутить commit.interval.ms ?
Попробую, спасибо
источник

YY

Yana Yana in pro.kafka
Всем привет! Я сюда уже писала, но попробую ещё раз) Меня зовут Яна, я работаю в компании Нетология и занимаюсь поиском экспертов по различным тематикам для проведения корпоративного обучения. Сейчас мы очень ищем эксперта по Apache Kafka. Вас здесь так много, неужели никто не хочется поделиться экспертизой?) Задача - провести 3-4 вебинара для миддл разработчиков одной компании банковского сектора. Пожалуйста, откликнитесь, кому интересно!
источник

GK

Gregory Koshelev in pro.kafka
Yana Yana
Всем привет! Я сюда уже писала, но попробую ещё раз) Меня зовут Яна, я работаю в компании Нетология и занимаюсь поиском экспертов по различным тематикам для проведения корпоративного обучения. Сейчас мы очень ищем эксперта по Apache Kafka. Вас здесь так много, неужели никто не хочется поделиться экспертизой?) Задача - провести 3-4 вебинара для миддл разработчиков одной компании банковского сектора. Пожалуйста, откликнитесь, кому интересно!
Имя, сестра, имя! ©
Условия, какие условия?
источник

YY

Yana Yana in pro.kafka
Gregory Koshelev
Имя, сестра, имя! ©
Условия, какие условия?
Напишу вам в личку)
источник

GK

Gregory Koshelev in pro.kafka
Так всем (наверное) интересно будет.
источник

YY

Yana Yana in pro.kafka
Условия обсуждаются с каждым экспертом индивидуально 🤷🏼‍♀️😊
источник

ЮХ

Юра Ходырев... in pro.kafka
Yana Yana
Условия обсуждаются с каждым экспертом индивидуально 🤷🏼‍♀️😊
где то в чатах питонистов видел, нету предложений по вилке, нету откликов от специалистов🤷🏼‍♀️
источник

YY

Yana Yana in pro.kafka
Юра Ходырев
где то в чатах питонистов видел, нету предложений по вилке, нету откликов от специалистов🤷🏼‍♀️
Справедливо. Но здесь не готовы озвучивать, дабы не запускать обсуждения много/мало. Зависит ведь от уровня эксперта. В целом могу сказать так: мы точно в рынке) и стараемся идти навстречу условиям эксперта (т.е., слушаем вас и обсуждаем)
источник

ЮХ

Юра Ходырев... in pro.kafka
Yana Yana
Справедливо. Но здесь не готовы озвучивать, дабы не запускать обсуждения много/мало. Зависит ведь от уровня эксперта. В целом могу сказать так: мы точно в рынке) и стараемся идти навстречу условиям эксперта (т.е., слушаем вас и обсуждаем)
Владелец чата, возможно запросто справится с данной задачей.
Он крут
источник

YY

Yana Yana in pro.kafka
С Виктором мы пообщались в первую очередь) Он заинтересован, но занят очень.
источник

О

Олег in pro.kafka
Кто нить мейнтейнил  Apache Flink на проде? Интересует насколько можно доверять сему инструменту. На хабре только старая статья и там народ жаловался что жрет cpu немеряно и память течет.
источник

A

Alex in pro.kafka
гонял в свое время (ещё 2 года назад)
память не текла, цпу в зависимости от того что вы делается

медленней спарка на батчах
для стриминга пока он в топе алибаба/lyft/uber/netflix свои стримы процессят через него
источник

NC

Nigerian Currywurst in pro.kafka
Ребят, стоит задача найти на страте приложения сообщение определенного типа в топике с несколькими жсон схемами. Пока только ручное траверсирование сообщений в обратную сторону через декремент офсета приходит в голову
источник

NC

Nigerian Currywurst in pro.kafka
Есть идеи как сделать это красиво?
источник

ks

kolek_nn s in pro.kafka
Добрый вечер. Для решения задачи использования Kafka в инфраструктуре с 2-мя ЦОДами (DC) какие еще материалы можно поштудировать после "Виктор Гамов — Два с половиной дата-центра (и Кафка)"? Спасибо
источник