Пошел на ребут. Вообще лими есть у ZFS. Выставлял на 2Gb. Но учитывая что всплеск по IO произошел когда на одной машине пришел киллер, то, видимо вы правы. Буду смотреть где я по памяти недосмотрел. Вообще прям очень похоже все на то как вы описали. Пул не смог размотрироваться при перезагрузке ноды. Висим..