Но на экране ведь не только Streambuilder. Там Scaffold + 2-3 отображаемых виджета.
И что? Большинство виджетов лишь обертки. Самые тяжёлые для прорисовки - текст и картинки. Если вы думаете, что вы решаете какую-то проблему, то вы плохо понимаете концепцию Flutter. Тут нет Activity и Fragment, тут все виджет.