возможно ваш рейд-контроллер включает write cache безусловно. В случае когда ZFS на обычных сата дисках и если не весь диск отдан в пул, то write cache=off. Это сделано по причине что раз не всё блочное устройство отдано под zfs, то у ФС нет контроля за записью на него.
ааа блин. READ: bw=947MiB/s (993MB/s), 947MiB/s-947MiB/s (993MB/s-993MB/s), io=55.7GiB (59.8GB), run=60213-60213msec за минуту не успевает прочитаться всё. таким образом весь кусок мог оказаться в кэше, т.к. рамы 128 гигов.