"Ассоциативная таблица" делается не для удобства либо чего-то еще, а для разруливания ситуаций many-to-many c Users и Groups. Вы "для удобства" по факту хотите вместо одного many-to-many создать 4.
И "ассоциативная таблица" - это физическая таблица в БД и они создаются не для удобства, а для превознемогания ограничений реляционных БД. Поэтому в общем случае единственно верным подходом - это будет использовать join с условием. Как он там в sequellize реализуется - я хз, но возможно через "findAll"