Вполне возможно. Так сделал, на debian накатил KDE и проксмокс. В системнике 2 видеокарты, игровая и затычка, и встроенное видео в процессор.
Debian на каждый день, работает через встройку.
Две видеокарты проброшены в разные виртуалки, для игр, экспериментов и т.д., в том числе и с виндой. Когда грузится виртуалка, видео выводится на отдельный монитор, и по-сути она становится отдельным полноценным пк.
Одна мышь/клава работают с виртуалками через barrier.
Тестил игры, запускал 2 виртуалки, на одной MS Fly Simulator, в другой WoT, проц i5-10600k + 32Gb RAM с обеими справляются на ура. С пробросом вк помучился только с Windows 10, и то скорее из-за невнимательности, не указал pci-e в пробросе.
А конфигом сервера можете поделиться? Интересует мать + видяха которая пробрасывается нормально