N
Строю фрэйм граф. Половину времени от Sender он висит на pool, а вторую половину на sendProducerData
Size: a a a
2020 September 11
IR
Nikolay
Делаю такой эксперимент. Пытаюсь найти сколько одним продьюсером можно максимально в минуту прокачать. выбрал такие сообщения, чтобы они не сжимались : 3 рэндомных числа short,int,int. Посставил batch size в 1М. ack в 0. чтобы сначала понять максимальный сроупут. скомпилил и запускаю прям с сервера, где кафка установлена, чтобэ лэтенси был минимальный. И пока удалось только 15Мб/sec. как ускорить?
точно в сетку не уперся?
IR
а типо на 127.0.0.1 трафик летит?
IR
или все же на внешний IP?
N
точно в сетку не уперся?
Специально перенес на сервер. С локальной машины было 5mb/sec. Причем с нее ping 10 мс. Увидел это и на сервер перенес. Между серверами ping 1ms.
IR
если по внешнему IP стучишься то не факт что не через контур трафик идет, если по 127.0.0.1 то там сразу на машину
ЮХ
Всем привет, а есть те кто работу зукипера разбирал? Хочу в личку вопросы позадавать
IR
что за контур
сетка в которой твоя тачка
N
если по внешнему IP стучишься то не факт что не через контур трафик идет, если по 127.0.0.1 то там сразу на машину
Попробую через nc померить сроупут по сети , но что то мне говорит ,что должно быть больше 15 мб в секунду
N
сеть дает примерно 100мб/sec
N
а какфка только 15 мб/sec. Почему?
S
Nikolay
Попробую через nc померить сроупут по сети , но что то мне говорит ,что должно быть больше 15 мб в секунду
У меня тесты в амазоне просто на живом флоу выдают около 100МБ/сек на одном брокере, использую 2 или 4 nvme ssd для хранения. Я подозреваю, что поменять нужно именно продьюсер, может он в мало потоков тупо пишет? Ну или совсем глупое предположение - у вас мало партишенов в топике. Я делаю 5-10 партишенов на один диск примерно.
N
У меня тесты в амазоне просто на живом флоу выдают около 100МБ/сек на одном брокере, использую 2 или 4 nvme ssd для хранения. Я подозреваю, что поменять нужно именно продьюсер, может он в мало потоков тупо пишет? Ну или совсем глупое предположение - у вас мало партишенов в топике. Я делаю 5-10 партишенов на один диск примерно.
он у меня ack =0 вот таких 15Мб/sec показывает
N
Я правильно понял, при ack=0 вы ожидаете что максимальная пропускная способность будет достигнута при любых раскладах, даже если продьюсер работает в один поток а топик состоит из одного партишена?
да. замерил отдельно producer в один поток успевает генерить и сериализовать за 50 мс примерное 10 мегабайт.даже больше наверное. сейчас еще раз проверю.
N
примерно так ~ 50 - 60 ms на 10 МБ с сереализацией без отправки в кафку
N
в общем, если вдруг решитесь увеличить количество партишенов и количество продьюсеров, то будет интересно, изменится ли результат например пропорционально вашим 15Мбит/сек. 15Мбит это что-то очень уж печально, даже учитывая то, что вы другие настройки кафки пока не трогали даже.
15 мегабайт