Несколько мс это оооочень много времени.
По разному, начинал с 960 000, но с этой скоростью у меня стали возникать проблемы. В итоге остановился на гарантированной максимальной доступной в qserialplot. Потом перешёл на can
у меня бодрейт 480 или 460 тыщ, кол-во байт 128 итого длительность uart посылки около 3+ мс.
затем 8-10 мс тишина, затем опять посылка.
и походу при нагрузке на комп, реакция на readyRead сдвигается на N ms.