флаттер лагает на старте и это у всех, на мощных девайсах меньше, на слабых больше. На андроиде ситуация в целом лучше. Эти лаги связаны с подготовкой шейдеров на старте
на каких девайсах тестить? я тестировал на redmi 4x и samsung a80 лагов не наблюдал