Скорость влияет лишь на ту часть времени, которая нужна для всасывания интерфейсом пачки байт размером в пакет. В оптике и проводе скорость не влияет никак - лэтэнси определяется скоростью сигнала в среде и длинной линии. Внутри железа ситуация ещё сложнее и вообще слабо со скоростью линков коррелирует.
Если ты считаешь время для одного пакета в 1000 байт это кажется мало, но передать надо не 1000 байт, например главная страница сайта втб весит 32 Мб и латенси считается до получения последнего байта