хм.. где-то была статья, разъясняющая конкретные различия в математике
там инструкция для взятия обратной величины разные профили ошибки имеет на intel и amd
обе укладываются в ieee-754, у amd лучше средняя ошибка, у intel лучше максимальная ошибка
и тут вот попали как раз на ситуацию, когда amd оказался менее точным - и досвидос, привет NaN