я тут недавно листал книгу кокосы про память в .net, и сначала он писал про то, какая вообще есть память и как быстро она работает. Так что возможно эти разрывы связаны с тем, куда получается поместить список для его сортировки, чем меньше список - тем в более быструю память его можно впихнуть