Сертификат не может быть самоподписным, если вы подписали его корневым сертификатом.
Требования для сертификатов используемых в Remote Desktop Services официально следующие:
«Certificates in Remote Desktop Services need to meet the following requirements:
The certificate is installed in the local computer’s “Personal” certificate store.
The certificate has a corresponding private key.
The Enhanced Key Usage extension has a value of either “Server Authentication” or “Remote Desktop Authentication” (1.3.6.1.4.1.311.54.1.2). You can also use certificates with no Enhanced Key Usage extension.»
Что за политики вы там выбираете не представляю, но, что касается Key Usage и Extended Key Usage extension, то они таковы:
«id-kp-serverAuth OBJECT IDENTIFIER ::= { id-kp 1 }
-- TLS WWW server authentication
-- Key usage bits that may be consistent: digitalSignature,
-- keyEncipherment or keyAgreement»