Структуру патчей можно сделать плоской или ограничить максимальную глубину патчей

а если патчей накопилось уже больше размера блока ?

тогда привет gc

Это всё эвристика и легко решается

дак тут речь идет про файловую дедубликацию да?

Не думаю что GC обязательно нужен. В моём представлении, патчи не живут сами по себе. При удалении файлов сразу делается проверка счётчика использований патча и если патч никем больше не используется, то удаляется. Но это можно реализовать по другому, в зависимости от требований к конкретным случаям использования

Не знаю. Зависит от определения. Я говорю о экономии места за счёт определения похожих файлов на уровне ФС и записи таких файлов как ссылок на источник и патчи с разницей к нему, в случае, когда файлы достаточно похожи, что определяется пользователем

Короче если надо -- надо писать

Видимо это так

Если по быстрому за год можно получить проо

Файловая система DwarFS, обеспечивающая очень высокий уровень сжатия
Маркус Холланд-Мориц (Marcus Holland-Moritz) из компании Facebook опубликовал первые выпуски файловой системы DwarFS, работающей в режиме "только для чтения" и нацеленной на обеспечение максимального уровня сжатия и сокращения избыточных данных. ФС использует механизм FUSE и работает пространстве пользователя. Код написан на С++ и распространяется под лицензией GPLv3.

Я как раз после прочтения решил распросить людей что им известно о ФС

Так ридонли скучно

Вся работа по записи один раз делается

Мне кажется, конкретно то, что ты рассказываешь, нужно делать ПОВЕРХ файловой системы внутри файлов.
То есть пользоваться, например, не условным png для картинок, а каким-нибудь webp и концепцией слоёв (webp же умеет в слои?), тогда ты на уровне софта сможешь добавлять "патчи" (ты говорил про вотермарки?) в виде допслоёв и отдавать картинку в нужном виде с минимальными изменениями метаинформации в webp с отключением или включением нужного тебе слоя.

Добавляешь endpoint для аплоада картинок -> находишь ближайший аналог картинки в своей базе (есть алгоритмы по быстрому поиску похожих изображений) -> делаешь дифф в виде слоя -> запоминаешь в БД, что загруженная картинка -- это файл xxx.webp с тремя включенными слоями.

Один. А сколько тебе их нужно, чтобы хранить 1тб пользовательских данных?

Это смотря какой RAID. 😉

Я юзаю два в рейд 1 захуярил и по кайфу