Нашел корень зла этой проблемы. Напишу, может кому будет полезно)

Я в проекте также использую LanguageHelper, для поддержки корректной смены языка во всем приложении на всех апи. (для себя нашел ещё давно что-то типо такой реализации, с небольшими изменениями https://gunhansancar.com/change-language-programmatically-in-android/)

Также, есть бага на некоторых версиях андроида со сменой локали https://issuetracker.google.com/issues/140602653

и спасибо стековерфлоу, у которого, когда-то брал обходное решение ещё для версии AppCompat 1.1.0 (теперь тут есть и для AppCompat 1.2.0)
https://stackoverflow.com/questions/55265834/change-locale-not-work-after-migrate-to-androidx/58004553#58004553

Суть в том, что помимо одних костылей (которые сейчас уже не актуальны, после обновы AppCompat 1.2.0) также у меня было В Application и BaseActivity - override fun attachBaseContext, в котором жестко был вызов LanguageHelper который врапал контекст и делал нужные манипуляции.

И стоило мне убрать этот override в Application…