вы его просто так не выключите, тк виджеты что отрисовываются не константны
скорее всего что происходит - это второй список не может определить видимую часть и отрисовывается полностью, после чего экран просто обрубает видимое
от этого можно избавиться убрав вложенность списков до единицы, после чего не составит труда обернуть отрисовку в ListView.builder
но делать это не стоит в методе build самого виджета, а ещё до отрисовки или после получения самих данных
также можно не уменьшать вложенность, а написать свой итератор что будет постепенно выдавать элементы из необходимых списков по мере прокрутки