Я делал такие приложения.
В чем проблема делаешь 2 фрагмента у одного гугл у второго яндекс.
В настройках запоминаешь и грузишь то что надо тебе. Крутишь вертишь как угодно
у меня там и маркеры, и полигоны, и кластеризация. т.е. в vm будут дублироваться все методы. например, нарисоватьМаркерДляГуглКарты() и нарисоватьМаркерДляЯндексКарты(). и так для вссех компонентов карты.
Я вот больше думаю над тем, как это абстрагировать всё и т.д. У меня в принципе приложение очень завязано с картой.