интересно посмотреть(именно реализацию я себе не могу представить), есть набросок?
> есть fdupes он умеет находить полные дубликаты и делать хардлинки. годится для write once файлов
ну т.е. запускаешь inotifywait, ищешь новые файлы, делаешь md5sum файла, сравниваешь со своей внутренной «базой» (достаточно даже key-value а-ля hashsum=path), если новый файл совпал по хэшсумме с файлом из базы, то удаляешь файл и ставишь там хардлинк на path из базы, иначе добавляешь в конец «базы» новую строчку, профит.