Официально рекомендуемый гуглом механизм - safetynet. На практике - есть нюансы. На кастомную прошивку можно накатить magiskhide и/или разные модули и хуки которые смогут подделать профиль устройства и пройти safetynet проверку. Можно пытаться обнаруживать сторонние признаки кастомных прошивок, но и их можно спрятать. Это бесконечная игра в кошки-мышки)