В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.bash

378 membersпожаловаться на группу
2020 November 30

AS

Aleksey Shirokikh in pro.bash
Prikolist Начрэл
Пейсаны, а есть какие-нибудь ФС, позволяющие эффективно хранить дубликаты и похожие файлы? Что бы я мог хранить 10 копий картинки и занимать при этом места как 1 картинка + немного мета информации или 2 одинаковых картинки, но вторая с вотемаркой и она занимает места примерно как часть картинки с вотемаркой?
есть fdupes он умеет находить полные дубликаты и делать хардлинки. годится для write once файлов
источник
18:15пожаловаться#1

AS

Aleksey Shirokikh in pro.bash
есть множество вендорных решений по блочной или файловой дедубликации
источник
18:15пожаловаться#2

AS

Aleksey Shirokikh in pro.bash
файловая дедубликация условно дешевая ибо хардлинки, блочная условно дорогая ибо copy-on-write
источник
18:16пожаловаться#3

AS

Aleksey Shirokikh in pro.bash
для большиства блочных решений нужно _очень_ много памяти
источник
18:17пожаловаться#4

EN

Evgeniy Naumov in pro.bash
Prikolist Начрэл
Поддерживаю. Вообще, говорить одному человеку за всё комьюнити странно. Никто конкретно не решает чего хочет комьюнити. Вот я например хочу эффективно хранить не сортированные архивы, в которых есть похожие файлы и полные дубликаты
а мне не поверил про дедупликацию?.. =(
нуок =)
источник
18:17пожаловаться#5

AS

Aleksey Shirokikh in pro.bash
Prikolist Начрэл
Поддерживаю. Вообще, говорить одному человеку за всё комьюнити странно. Никто конкретно не решает чего хочет комьюнити. Вот я например хочу эффективно хранить не сортированные архивы, в которых есть похожие файлы и полные дубликаты
архивы это тары ?
источник
18:18пожаловаться#6

AS

Aleksey Shirokikh in pro.bash
тогда это блочный только вариант дедупа.
источник
18:18пожаловаться#7

AS

Aleksey Shirokikh in pro.bash
если же тары уже пожатые то вариантов сразу стало меньше
источник
18:19пожаловаться#8

PН

Prikolist Начрэл... in pro.bash
Aleksey Shirokikh
архивы это тары ?
Нет, имею в виду коллекции файлов в целом
источник
18:19пожаловаться#9

PН

Prikolist Начрэл... in pro.bash
Evgeniy Naumov
а мне не поверил про дедупликацию?.. =(
нуок =)
Ты о чём?
источник
18:19пожаловаться#10

AS

Aleksey Shirokikh in pro.bash
если архивы пожаты то я знаю только один вариант который чуть чуть поможет это тар с gz с ключём --rsyncable
источник
18:19пожаловаться#11

AS

Aleksey Shirokikh in pro.bash
всё остальное не даст дедупа вовсе
источник
18:20пожаловаться#12

PН

Prikolist Начрэл... in pro.bash
Aleksey Shirokikh
для большиства блочных решений нужно _очень_ много памяти
Что значит блочные? Это больше чем файл или меньше? Это маленькие блоки данных на диске или это дисковые разделы?
источник
18:20пожаловаться#13

EN

Evgeniy Naumov in pro.bash
Prikolist Начрэл
Ты о чём?
про эту же тему в соседнем чате =)
источник
18:21пожаловаться#14

AS

Aleksey Shirokikh in pro.bash
блочные это значит работают на уровне блочного устройства. тоесть диска. тоесть смотрят на иноды или ексенты или прочее.
тоесть дедупить будут одинаковые блоки в разных файлах
источник
18:21пожаловаться#15

EN

Evgeniy Naumov in pro.bash
Prikolist Начрэл
Что значит блочные? Это больше чем файл или меньше? Это маленькие блоки данных на диске или это дисковые разделы?
это про то, как данные хранятся на диске
источник
18:22пожаловаться#16

EN

Evgeniy Naumov in pro.bash
Aleksey Shirokikh
блочные это значит работают на уровне блочного устройства. тоесть диска. тоесть смотрят на иноды или ексенты или прочее.
тоесть дедупить будут одинаковые блоки в разных файлах
иноды это про фс скорее
источник
18:22пожаловаться#17

AS

Aleksey Shirokikh in pro.bash
блоки бывают разных размеров. как правило минимальный начинается от 128к
источник
18:23пожаловаться#18

AS

Aleksey Shirokikh in pro.bash
блоки меньшего размера не дедупятся.
источник
18:23пожаловаться#19

AS

Aleksey Shirokikh in pro.bash
разымным блочным блоком обычно называют 1мегабайт. тоесть блоки ровно в 1 мег будут задедуплены
источник
18:23пожаловаться#20