а как сделать пустое, но не null? в json, я имею в виду

А, всё, я понял, неправильно тебя распарсил

Кстати, я ожидал, что два указателя помогут, но оказалось, что нет

дратути. подскажите как правильно поступить.

у меня есть порядка миллиона объектов, которые я пишу в xml батчами по 3к. следом нужно сделать такое же еще два раза. т.е. по итогу я получу около 3 млн хмл файлов. мне нужно их смержить. некоторые определнные поля нужно будет взять из всех трех типов файлов и создать один.

вопрос. как то можно писать структуру в файл (те самые три миллиона объектов как темповые файлы засейвить, а потом их уже мержить и формировать итоговый хмл)? какойнить бинарник может? чтобы никаких маршалингов\анмаршалингов, чтобы максимально производительно было

коллега, вопрос не ясен

блин, как бы сформулировать, ща перефразирую

вот у вас 3 миллиона объектов

какого размера один объект?

объект не знаю, итоговый хмл на один объект примерно 30кб

ну так это ключевой вопрос - можно ли держать все объекты в памяти разом

это с одной стороны

вот поэтому думаю, что как тмп писть на диск, в памяти боюсь не влезет

“засейвить на диск” - это и есть маршалинг, без него никак.

можно взять быстрый маршалер. я бы взял msgpack

но и штатный json для мелких простых объектов очень хорошо себя показывает

спасибо, сейчас погуглю

ну и третий вариант - взять KV базу, типа badger, и писать в нее.

3М файлов - это уже серьезная нагрузка на FS, накладные расходы могут стать слишком большими.

правда, писать в badger - это тоже сериализация, так что msgpack она не отменяет

Можно заммапить файл в памяти и написать свой небольшой аллокатор

Я бы никому такого не посоветовал, но можно

у меня с mmap файлами сугубо отрицательный опыт на любых языках, кроме однопоточных с ручным управлением памятью

я так и думал

тогда просто сделайте swap достаточного размера, и держите все в “памяти”