В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

1534 membersпожаловаться на группу
2019 December 04

RA

Roman Ananyev in pro.kafka
Вообще кто-то юзал или сравнивал 2 такий подхода в своей практике?
источник
20:51пожаловаться#1
2019 December 05

AH

Aviad Hayumi in pro.kafka
Hey I need help
источник
09:01пожаловаться#2

AH

Aviad Hayumi in pro.kafka
Do you speak english?
источник
09:01пожаловаться#3

SZ

Sergey Zhemzhitsky in pro.kafka
Aviad Hayumi
Do you speak english?
don't ask to ask, just ask
источник
09:43пожаловаться#4

N

Nikolay in pro.kafka
Aviad Hayumi
Do you speak english?
What is your question ?
источник
09:45пожаловаться#5

A

Alex in pro.kafka
Roman Ananyev
Поэтому и возник вопрос - насколько вообще релевантно Кафку использовать для хранилки вот так в лоб или есть какие-то более элегантные и верные сценарии, как такой вопрос о хранении более 500 ТБ данных, можно решить?
Какие вообще лучшие практики в целом, если возникает подобная задача?
Почти год назад спрашивал разрабов кафки на счёт этого, собираются ли они делать оффлоад старых данных как это делает какой pulsar или pravega.io во внешний сторейдж типа s3/hdfs, получил ответ что есть наработки, но когда в прод пойдёт неизвестно
источник
13:31пожаловаться#6

A

Alex in pro.kafka
Хранить можно, но тогда нужно смириться с накладными расходами
источник
13:31пожаловаться#7

A

Alex in pro.kafka
Если вы монтируете локал диски без рейдоа, то не забудьте создать побольше партиций
источник
13:32пожаловаться#8

A

Alex in pro.kafka
Одна партиция это один фолдер на диске
источник
13:32пожаловаться#9

A

Alex in pro.kafka
Если подключено 20 дисков в разные точки монтирования и кафка пытается балансить партиции между ними то обычно ок, проблема что если появляются отдельные жирные партиции, то между 2мя дисками одну партицию не разбить, только рейды городить чтобы один непрерывный volume был
источник
13:33пожаловаться#10

A

Alex in pro.kafka
В остальном кроме плясок с жирными партициями и вручную их перебрасывания между дисками при остановленом брокере сильно проблем не видел
источник
13:36пожаловаться#11

A

Alex in pro.kafka
Но даже для балансинга по дискам у них был какойто тикет, но не факт что уже сделали его, год назад кафка никак не выводила наружу инфу сколько дисков и на каких какая партиция лежит
источник
13:38пожаловаться#12

RA

Roman Ananyev in pro.kafka
@xhumanoid - спасибо большое за развернутый ответ! Тобой описанное это как раз сценарий который нам грозит =)
источник
13:41пожаловаться#13

RA

Roman Ananyev in pro.kafka
И еще по дисковой подсистеме - вот может сходу для этих целей полку какую бахнуть, чем диски в серверах использовать?
источник
13:42пожаловаться#14

A

Alex in pro.kafka
Ну у нас были диски :) поэтому сразу и предупредил
источник
13:43пожаловаться#15

A

Alex in pro.kafka
Про полку думаю тут другие что подскажут
источник
13:43пожаловаться#16

A

Anatoly Soldatov in pro.kafka
Alex
Почти год назад спрашивал разрабов кафки на счёт этого, собираются ли они делать оффлоад старых данных как это делает какой pulsar или pravega.io во внешний сторейдж типа s3/hdfs, получил ответ что есть наработки, но когда в прод пойдёт неизвестно
Скоро уже
Обещали в 2020 году )

https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage
источник
19:16пожаловаться#17

NZ

Nikita Zhdanov in pro.kafka
Всем привет, подскажите плз, поймали ошибку при отправке сообщения: OutOfOrderSequenceException
Может кто сталкивался, как её победить?
источник
21:13пожаловаться#18
2019 December 06

N

Nikolay in pro.kafka
Nikita Zhdanov
Всем привет, подскажите плз, поймали ошибку при отправке сообщения: OutOfOrderSequenceException
Может кто сталкивался, как её победить?
А вы на гитхаба не смотрели в исходниках ?
источник
16:29пожаловаться#19

NZ

Nikita Zhdanov in pro.kafka
Nikolay
А вы на гитхаба не смотрели в исходниках ?
Ну я понял, что возникает при идемпотентной публикации сообщения если вдруг одно сообщение не отправилось - то следующее сообщение будет падать с этой ошибкой

Понял, что нужно кол-во retries ставить равным MAX_INT

Но не понял как вот сейчас пропихнуть сообщение
источник
16:32пожаловаться#20