По этому нужно создать папку, в которой будут все файлы из двух папок, перезаписанные с нужным приоритетом. Это не я такой извращенец, это весьма глупый конфиг плагина
что-то выглядит все слишком сложно. Но если совсем надо в таком виде все собирать, то тут уже лучшим решением будет написание своего плагина для вебпака, другие варианты кажутся странными)