IA
Ну как это на уровне hdd сделано?
Size: a a a
2021 October 24
IA
Вы понимаете
IA
Вы думаете kafka дергает fsync / flush на каждый пакет?)
w
Кафка наверное кусками пишет в лог на hdd, и наверное по записи помечает сообщения как acknowledged/видимые для других консьюмеров. То есть даже если линукс машина упадет, клиент точно знает что все ack сообщения сохранились и будут видны пользователям в какой-то момент.
w
Вообще, да, странно, что вы можете написать что-то быстрей и надежней кафки одновременно)
IA
А если кусок лога не флашнулся на диск?
IA
Хочу понять как глубоко вы понимаете )
w
Кафка (по крайней мере в оригинальной статье) использовала стандартные никсовые утилиты для работы с диском.
IA
Ну а вы понимаете на уровне апи работу с диском?
IA
И вы пользуете в kafka этот дисковый лог в режиме постоянного flush?)
w
Учитывая, что диск сейчас очень часто SSD, то есть никаких приколюх с прокручиванием диска нет, то думаю не обязательно все тонкости знать. Если никсовая утилита говорит, что файл записан, значит так оно и есть.
IA
Ведь тогда скорость вашей кафки будет в 10раз медленнее
IA
Диск так не работает ;)
w
Кстати, если бы я хотел прям совсем угореть по скорости, то можно попробовать использовать новые нетворк карты которые поддерживают direct memory access
PD
А не надо делать rf=1
IA
Ну так я и сразу сказал что решение узкое
IA
В одном конкретном режиме обогнать кафку в 2..3 раза легко. И по латенси в 10раз
IA
Линукс крашится раз в год. Если данные у вас не финансы - решение имеет право на жизнь
IA
Ммап работает с надежностью линуха
w
https://www.usenix.org/conference/nsdi14/technical-sessions/dragojevi%C4%87 - во, кажется, нашел статью. Довольно крутая идея обходить вообще весь слой нетворк прослоек линукса и карты и напрямую стучать в память через RDMA. Но это скорей не для очередей, а для какого-то распределенного хранилища.
