вот со скроллом кстати и может быть долго) тебе надо сохранить индекс элемента, потом проверить что список "тот-же" что и был раньше (не изменился, не добавились новые элементы или удалились существубщеие)
Та можно и быстрее
Если данные пришли с базы, то скорее всего у объекта будет id или какой-то уникальный идентификатор
Просто сохраняем его и все
При загрузке проверяем есть ли он в списке и если да, то прыгаем на него (если так конечно-же можно в flutter)