Вполне логично и там и там есть свитера, накой мне отдельно делать категорию "свитера женские" и "свитера мужские" когда можно товару присваивать каждое отдельно, оно же удобнее и человечнее...
На мой взгляд должна быть фильтрация, т.е в квери вставляться те теги которые выбраны, если мы кликнули по дочернику он должен взять с собой своего родителя чтобы в запросе участвовали только те у кого есть обе категории.
Ну вот есть два родителя Ж и М, у каждого есть одинаковые под категории, ведь мужской или женский свитер не перестает быть свитером, по этому все вполне логично