Это да. Поэтому обычно и предпочитаю коллекции.
Этим ты отказываешься от некоторых вещей, что даёт IEnumerable. Например, вычислять элементы по одному. Для коллекций нужно, как минимум, знать количество, что часто равносильно по сложности полному вычислению всего результата. Так что всему свой инструмент, устраивать войну на IEnumerable не стомт