А его не надо билдить тогда. Просто указать в package.json в разделе "svelte" путь к рутовому элементу модуля и поставлять через npm так. А потом в итоговом App компилятор возьмет этот модуль и скомпилит уже App + модуль.
у меня просто не с npm модуль, а свой собственный на ts. Я его обычно в rollup в iife билдил, и в браузере использовал, а тут такое не прокатывает