Там вроде Асик должен для этой математики появиться уже вот-вот.

Хранить файлы асиками это как-то уж совсем неправильно.

Не думаю. Ну те если и появится, то преждевременно. Грот16 уже точно неоптимален с точки зрения сложности прувера, да и Поссейдон скорее всего не на века. Там из математики преобразования фурье и мультиэспоненциирования. От первого, например, Джастин Дрейк предлагает вообще отказываться. Второе ещё на алгоритмическом уровне можно на порядок оптимизировать

На самом деле это мысль

//Мимокрокодил, статью не читал//

И все же - ну логично, сторадж же сам по себе работать не будет, какой-то процессор должен это отрабатывать и как минимум:

- записывать/отдавать данные по сети

- поддерживать репликацию

- горизонтальная ребалансировка или чо?

- BFT-заморочки: проверка что файлы у вас физически есть, проверять это надо регулярно и часто

- опциональный квест - обмазаться кэшами (хотя зачем?), вот и память

Итого, очевидно, что сторадж это не только про диски, но и про процессор/память и сеть.

Так то файловые кластеры требуют ресурсов только в путь. Особенно ребалансировка какая-нибудь.

А тут же до кучи ещё BFT история и кластер размазанный георафически.

В сторадже хватает работы и без этих факторов, а тут ещё и это.

Где то читал, что холодный сторадж того же Амазона, типа Glacier, это юнит с огромной корзиной дисков и малюсеньким процессором.

При этом, одновременно доступ возможен только к одному диску, причём:
- как по логике
- так и по питанию (обычно диски отключены кажется, но не уверен)

Чем итоговая конструкция не ASIC?

Мамка там явно собрана под задачу чисто холодного стораджа.

Не, ну асик то может и асик, только вот заменить его можно армовым процессором за $3.

Мой поинт был в том, что все эти операции, конечно, могут требовать таких диких вычислительных ресурсов в конкретной реализации, но целесообразность использования такой реализации для решения задач, которые традиционно требуют раз в 100 меньше ресурсов, спорна.

(ну и я тоже мимокрокодил, не смотрел, на какие именно операции они столько ресурсов тратят, может там тысячи очень полезного функционала, о котором я не догадываюсь)

Привет всем, короче разбирался неделю с инстанс сегментированием, взял за основу модель maskrcnn, она написана в 2к17-18 и устарела с выходом tensorflow-2, но есть порты и аналогов я не нашел, в итоге неделю рылся в ее полурабочих портах, собирал свой вариант, параллельно изучал примеры, сегодня пытался уже парсер датасета начать делать, вобщем сижу, думаю: классную статью сделаю, ведь так много пришлось сделать и изучить, и, вдруг, случайно натыкаюсь на уже готовую статью, в которой расписано ВСЕ и репозиторий с идеальным портом прилагается и датасет тестовый и парсер написан и я такой типо... чеееееее, почему, яндекс, ты не выдал мне эту сраную статью 6 суток назад?!?!?!?🤬

Обидно очень...

Стоит заметить, что я в первый же день несколько часов усердно гуглил и не нашел эту прекрасную статью...

Но автору конечно все равно респект

++

тоесть объяснить зачем нужны такие ресурсы можно. просто такое объяснение не даёт ответа на то кто именно будет за этот файлкоин платить при такой себестоимости

А в 100 раз меньше это в каких юз кейсах?

Мы же понимаем, что сторадж есть очень сильно разный:

- файловое хранилище

- блочное

- архивное

- холодное

А есть ещё специализированные вариации под базы данных, кэши и всякое такое.

А вот тут согласился

В 100 раз меньше для горячего хранения и раздачи потребителям файлов/блоков, модифицируемых либо нет(там есть трейдоффы, но масштаб не сильно меняет). Для сверхгорячего может быть не в 100, а в 10, для холодного разной степени - в 100+, вероятно до 1000.