Как проверять на стат. значимость - куда копать?
Оцените две модели, которые вы хотите сравнить между собой, на кросс-валидации. И потом сравните т-тестом для зависимых наблюдений (так как кол-во фолдов скорее всего будет небольшим (5-7), то ещё в начале проверьте полученные по cv скоры на нормальность. Например, тестом Шапиро-Уилка)