Если я тебя правильно понял то если инференсишь чисто на проце и у тебя моб приложение, то в 1 треде приложение (чтоб интерфейс не вис), а все остальные под инференс (но это в настройках dl фреймворка а не флаттера) . Если на gpu, то там все равно 1 поток проца только юзается обычно самой моделью, весь паралеллизм уже на gpu