UT
fsevents но топик о том, как отследить между запусками
++
Size: a a a
2021 March 31
АП
ну простое-то да, просто файлов много. что-то в районе 50к
так в итоге ты ничего не параллелишь? все обращения к fs осуществляешь последовательно?
AS
ну простое-то да, просто файлов много. что-то в районе 50к
Какая файловая система? Или все нужны?
UT
так в итоге ты ничего не параллелишь? все обращения к fs осуществляешь последовательно?
Да я по-разному уже пробовал. Синхронно читать, на промисах, на дочерних процессах
UT
Какая файловая система? Или все нужны?
желательно без завязок. вообще linux
UT
Да я по-разному уже пробовал. Синхронно читать, на промисах, на дочерних процессах
Для меня выглядит так, что как ни оптимизируй без предварительного хранения какого-то индекса никак не получится
AS
желательно без завязок. вообще linux
В zfs используется cow поэтому там что поменялась может сама система сказать по снепшотам
М
Так, а зачем между запусками? Запустился, прочитал диру и дальше вотчишь изменения. Так не годится?
AS
Для меня выглядит так, что как ни оптимизируй без предварительного хранения какого-то индекса никак не получится
Храните хэш директорий, если не поменялся, можно её пропустить
AS
Так, а зачем между запусками? Запустился, прочитал диру и дальше вотчишь изменения. Так не годится?
Если это бэкап Тула которую раз в неделю запускают?
UT
Храните хэш директорий, если не поменялся, можно её пропустить
Да, логично, а от чего брать этот хэш? Время изменения не прорастает в статистику директории (
UT
Так, а зачем между запусками? Запустился, прочитал диру и дальше вотчишь изменения. Так не годится?
use-case такой: тулза может лежать неделями. Потом юзер пришел, запустил ее, она должна быстро отработать, потом снова может лежать неделями
М
use-case такой: тулза может лежать неделями. Потом юзер пришел, запустил ее, она должна быстро отработать, потом снова может лежать неделями
А. То есть вам не события изменения нужно отслеживать, а разницу. Понял.
AS
Да, логично, а от чего брать этот хэш? Время изменения не прорастает в статистику директории (
mtime например
UT
mtime например
было бы идеально. Но я попробовал, mtime меняется только у директории уровнем выше. а те, которые выше на 1, 2, 3 уровня уже не меняются
AS
было бы идеально. Но я попробовал, mtime меняется только у директории уровнем выше. а те, которые выше на 1, 2, 3 уровня уже не меняются
mtime меняется при добавлении файла, удалении или переименовании существующего, изменения в файле не баблятся
UT
не обновляется статистика внешней директории даже при удалении файла
UT
короче любой признак того, что в директории что-либо поменялось — ключ к решению всех проблем
AS
не обновляется статистика внешней директории даже при удалении файла
Возможно, стоит посмотреть на уже готовые решения
snapper например
snapper например