Пока мы не убежали далеко от Вардзии, вот маленький список того, что я нашел вокруг, но не поехал смотреть:
Vanis Kvabebi - мини-вардзия. Бесплатна, народу нет, иногда таксисты пытаются взять 5 лари за вход, но вроде как можно слать лесом.
GENO - тут недорогая гостиница с серными ваннами, если верить отзывам.
Sulfur bad - с дороги выглядит как труба из которой фигачит пар, но где-то рядом есть сарай, переоборудованный в бассейн с серной водой.