AM
Size: a a a
2019 October 31
А
Привет,
Logstash просит формат syslog в avro для хранения в кафке стерилизуя avro а base 64 по умолчанию,
Подскажите что ещё можно для паркинга использовать, какое-то еще коробочное решение или библиотеки java..?
Logstash просит формат syslog в avro для хранения в кафке стерилизуя avro а base 64 по умолчанию,
Подскажите что ещё можно для паркинга использовать, какое-то еще коробочное решение или библиотеки java..?
UP
Всем привет! Начинаем разработку новой платформы с использованием микросервисной архитектуры. Для асинхронного общения между сервисами выбрали Kafka. У нас вся инфраструктура автоматизирована (terraform, ansible). Стал вопрос автоматизации создания и конфигурирования kafka topic-ов. Подскажите пожалуйста, кто какие подходы использует для автоматизации этого дела, и может быть какие-то тулы?
GM
Ulad Palinski
Всем привет! Начинаем разработку новой платформы с использованием микросервисной архитектуры. Для асинхронного общения между сервисами выбрали Kafka. У нас вся инфраструктура автоматизирована (terraform, ansible). Стал вопрос автоматизации создания и конфигурирования kafka topic-ов. Подскажите пожалуйста, кто какие подходы использует для автоматизации этого дела, и может быть какие-то тулы?
для ansible модуль есть, ща найду
GM
Ulad Palinski
Всем привет! Начинаем разработку новой платформы с использованием микросервисной архитектуры. Для асинхронного общения между сервисами выбрали Kafka. У нас вся инфраструктура автоматизирована (terraform, ansible). Стал вопрос автоматизации создания и конфигурирования kafka topic-ов. Подскажите пожалуйста, кто какие подходы использует для автоматизации этого дела, и может быть какие-то тулы?
UP
для ansible модуль есть, ща найду
Спасибо!
АБ
и для терраформа где то было
UP
и для терраформа где то было
Использовали в продакшене?
АБ
Ulad Palinski
Использовали в продакшене?
Да. Но мы только начали
2019 November 01
GK
Andrei Aseev
Сложно представить у кого в России есть сопоставимые хотя бы порядком кластера и sla
У нас в кластере из 9 нод входящий трафик в пике почти до 1.5 млн в секунду. Средний, конечно, меньший получается. Так что трафик в 7 трлн в сутки на нескольких кластерах (на деле - там не один десяток) не выглядит чем-то запредельным.
GM
./kafka-consumer
IR
как пример
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
2019 November 04
OR
Коллеги, привет! Вопрос по kafka streams. Есть реализация Transformer с использованием Punctuaror. В Punctuaror при выполнении набора условий выполняется context.forward. Чтобы избежать лишнего repartition, хочу заменить transfom на transformValues. Но там почему-то нельзя сделать context.forward. Подскажите, может быть для transformValues есть какая-то альтернатива (или workaround), позволяющая из Punctuaror-а передать сообщение в downstream?
2019 November 05
ЮБ
Всем привет. Есть ли у кого опыт работы с большим количеством партиций? Я хочу для решения одной из задач создать топик с количеством партиций примерно 700-1000. Как вы думаете, скажется ли такое количество партиций на производительности? Есть ли какие-то подводные камни?