Если про потоковую запись - то с этим я согласен, и выше компонент TZipper это как раз про это. А класс TTmpFileStream это альтернатива на случай, если уже есть рабочее решение на временных файлах и его можно быстро оптимизировать.

целый компонент, состоящий из трех строк кода? =D

да ладно :) если работает и полезен - почему нет

Без разницы. Он либо сохраняет XML, либо сохраняет ZIP. Да и судя по описанию, память как раз жрется нещадно, пока не возникнет OutOfMemory )

в современных распространенных ОС очень плохо обстоят дела с контролем свободного ОЗУ.. причем свопирование не панацея..

FILE_ATTRIBUTE_TEMPORARY
256 (0x100)
The file is being used for temporary storage.
For more information, see the Caching Behavior section of this topic.

там всё хитро, надо читать, я точно сам не помню

и лучше читать первоисточник - msdn. а не трактовки. как вариант - Рихтера

Необходимость написать свой TMemoryStream возникла после проблем с памятью в круглосуточном продакшене с большой нагрузкой. Примерно через месяц-два начинают появляться проблемы с выделением больших блоков памяти, порядка 200 Мб. При этом свободной памяти в системе значительно больше. Для изучения вопроса и понадобилось городить свой огород для работы с памятью. Короче, с фрагментацией памяти бороться можно, но сложно. Проще работать с памятью как с файлом, тогда пофиг, что он физически из "лоскутков" состоит.

да, фрагментация бывает проблемой. памяти хватает, хотя массивы не создаются (потому что лежат как недавно обсуждали подряд в памяти). на 64х правда к счастью стало сильно проще

Ты уверен, что нужен TMemoryStream размером гигабайт? Может есть более человеческие решения?

Смотря, какая задача.

Ну вот я и спрашиваю. Что за задача?

всяко бывает ) иногда и нужно

Потому что если речь идёт о XML и ZIP, то задача решается без TMemoryStream, причём можно обойтись штатными средствами

У меня, например, на сервер приходят SQL запросы и в ответ генерируется и отправляется по частям DataSet. А там могут быть миллионы строк. Да и в одной строке могут быть блобы на мегабайты.

Кстати, кому надо сделать свой DataSnap с максимальной эффективностью - пользуйтесь. https://github.com/serbod/NovaLib/blob/master/DBFunc.pas

function QueryToStream(ASql: TStrings; AParams: TParams; AStream: TStream): Boolean;

function DatasetToStream(ADataSet: TDataSet; AStream: TStream; ACount: LongInt; var ARecNo: LongInt): boolean;

И то же самое в обратную сторону