Да блин это реально оверкил как сложный мат выходит. На мой взгляд если симуляция волн собрана в гудини то водную поверхность конвертим в мешку и кидаем как FBX. Шейдер воды настраиваем так чтоб все что выше определённого значения синего канала уходило по маске в пену, остальное в цвет штормовой волны.