IC
пример был выше где-то давно
Да, я видел
Size: a a a
2021 January 14
AH
Парсить строку и складывать на диск в 1 файл или в разные?
ну хотя бы в один, можно в разные, это не так важно сейчас. главное понять оверхед технологии и ее принципиальную возможность это сделать
IC
ну хотя бы в один, можно в разные, это не так важно сейчас. главное понять оверхед технологии и ее принципиальную возможность это сделать
Ок, сохраню
AH
необходимо чтобы сей стрим умел броадкастить и параллелить некие шаги, потому что если не параллелить ИО, можно умереть от старости
IC
необходимо чтобы сей стрим умел броадкастить и параллелить некие шаги, потому что если не параллелить ИО, можно умереть от старости
Если у тебя ссд - да
Если хдд это может иметь негативный эффект
Если хдд это может иметь негативный эффект
AH
на гопачке я смог выжать 500к рпс, было 60% на 10 ядерной машине, 70 мбайт/сек диска и 200мбит сети
неясно где затык
неясно где затык
VS
AH
уточню, у нас с половиной прод трафика сейчас 20 таких машин не справляются
AH
то есть гопак ТОЧНО вытянет
VS
Торгани гопаком
AH
Если у тебя ссд - да
Если хдд это может иметь негативный эффект
Если хдд это может иметь негативный эффект
у меня там параллелится сеть, а диск последовательно
VS
Может, сделают либу хоть одну нормальную
AH
то есть параллельная сеть работает в N акторов, а следующий шаг (запись на ссд) берет первого готового из предыдущего шага и пишет.
Так сделано именно потому что ссд сильно быстрее сети
Так сделано именно потому что ссд сильно быстрее сети
AH
mapPipelinedJob - параллельная операция
mapJob - последовательная
mapJob - последовательная
IC
mapPipelinedJob - параллельная операция
mapJob - последовательная
mapJob - последовательная
Если не парралелить сеть, какой результат?
AH
Если не парралелить сеть, какой результат?
очень плохой понятное дело
IC
тыща рпс?
Это ты мне скажи
AH
Это ты мне скажи
ну ок, ща