AR
а почему именно через fuse, почему не сразу грузить как-то более нативно?
потому что проприетарный софт предназначен для работы на обычных десктопах и "железных" серверах с обычными файловыми системами, рейдами
Size: a a a
2020 July 21
PK
s3fs - это fuse? да, наверное не надо так, действительно
AR
Используйте S3 API, доступ к S3 через fuse это безумие
На azure работало
AR
сколько не слышал про fuse - это так, больше для локальных каких-то штучек у себя на компе
Ну вот на azure у нас до 50 нод одномоментно тягало по 1-2 гб каждая за минуту, и оно не глючило
AR
вот я и думаю как это можно на яндекс облаке воспроизвести
ЕО
потому что проприетарный софт предназначен для работы на обычных десктопах и "железных" серверах с обычными файловыми системами, рейдами
Профили использования S3 и fs разный принципиально, S3 это поточная запись/случайное чтение, а fs это случайная запись/чтение. Azure Blob storage в этом смысле намного умнее
AR
Профили использования S3 и fs разный принципиально, S3 это поточная запись/случайное чтение, а fs это случайная запись/чтение. Azure Blob storage в этом смысле намного умнее
Ааа, т.е. это не одно и то же?
AR
Вот где зарыта собака
ЕО
Azure Blob storage устроен иначе, блоб делится на блоки, каждый блок можно случайно читать/писать
AR
Azure Blob storage устроен иначе, блоб делится на блоки, каждый блок можно случайно читать/писать
Хммм, понятно, спасибо большое за объяснение. Жалко, делать рейд в облаке из дисков будет сильно дороже.
SC
а зачем рейд из дисков в облаке?
AR
а зачем рейд из дисков в облаке?
У яндекса ограничение - максимум 4 ТБ на диск, а нам надо где-то 50-100
ЕО
50 террабайт?
AR
SC
У яндекса ограничение - максимум 4 ТБ на диск, а нам надо где-то 50-100
там ещё лимит по девайсам на виртуалку, 7*4 = 28 тб на вм
AR
там ещё лимит по девайсам на виртуалку, 7*4 = 28 тб на вм
ох... спасибо, что сказал, об этом я тоже не знал. Всё печальнее и печальнее с яндексом по ходу дела
VS
а что за юзкейс, требующий 50-100 ТБ одним диском?
AR
а что за юзкейс, требующий 50-100 ТБ одним диском?
рендеринг кадров VFX для кино
AR
ну и предварительная симуляция