если речь про локальное объяснение - то да, шап для него подходит, и может дать веса на тестовом наборе (только kernelexplainer/deepexplainer довольно дорогие, они по сути инферят по каждой строке), но это не решает задачу объяснения в общем виде, так как такое объяснение хорошо настолько, насколько хорош тестовый набор