Size: a a a

2020 October 08

AZ

Anton Zadorozhniy in Data Engineers
Max Efremov
Если честно, особо разницы не видно от обычной фс, юзаем s3 просто чтобы записать и считать файлы, разве что фишка в том, что нет папок, есть только имя объекта с разделителями
видимо вам повезло и к вам не приходят какие-нибудь опсы с вопросом "как мне ее подмонтировать" или "как мне поправить в середине того файла три строчки"
источник

ME

Max Efremov in Data Engineers
Anton Zadorozhniy
видимо вам повезло и к вам не приходят какие-нибудь опсы с вопросом "как мне ее подмонтировать" или "как мне поправить в середине того файла три строчки"
Это да, особенности работы с этим есть, конечно. нельзя просто переименовать файл ещё, даже теги прописать просто так нельзя безе пересоздания
источник

AZ

Anton Zadorozhniy in Data Engineers
Max Efremov
Это да, особенности работы с этим есть, конечно. нельзя просто переименовать файл ещё, даже теги прописать просто так нельзя безе пересоздания
тогда зачем приписывать его к одному классу компонентов (с кучей оговорок) когда есть другой класс компонентов в котором все это сразу понятно?
источник

АЖ

Андрей Жуков... in Data Engineers
Anton Zadorozhniy
потому что это объектный сторадж)
Мой любимый вопрос на собесах, кстати
источник

АЖ

Андрей Жуков... in Data Engineers
Далеко не все отвечают
источник

AZ

Anton Zadorozhniy in Data Engineers
Андрей Жуков
Далеко не все отвечают
это нормально, умирающая технология
источник

АЖ

Андрей Жуков... in Data Engineers
Anton Zadorozhniy
это нормально, умирающая технология
ну не, если чел грит, что хадуп-павер-юзер, то надо погонять
источник

AZ

Anton Zadorozhniy in Data Engineers
у меня есть стажер из универа который "только слышал" про хадуп, но пишет свободно на спарке
источник

AZ

Anton Zadorozhniy in Data Engineers
ты можешь усложнить задание и спросить являются CIFS и NFS файловыми системами, по той же логике))
источник

UD

Uncel Duk in Data Engineers
Anton Zadorozhniy
видимо вам повезло и к вам не приходят какие-нибудь опсы с вопросом "как мне ее подмонтировать" или "как мне поправить в середине того файла три строчки"
Монтируется в fuse при желании, если файлы не бинарные, grep/sed ftw
источник

AZ

Anton Zadorozhniy in Data Engineers
Uncel Duk
Монтируется в fuse при желании, если файлы не бинарные, grep/sed ftw
https://github.com/petere/postgresqlfs и теперь PostgreSQL стало файловой системой)
источник

АЖ

Андрей Жуков... in Data Engineers
Anton Zadorozhniy
ты можешь усложнить задание и спросить являются CIFS и NFS файловыми системами, по той же логике))
ну это уже достается знатокам практик девопс!
источник

AZ

Anton Zadorozhniy in Data Engineers
если что-то МОЖНО запихнуть в фьюз это не значит что так НУЖНО всем делать
источник

АЖ

Андрей Жуков... in Data Engineers
за шо
источник

AZ

Anton Zadorozhniy in Data Engineers
'cause we can
источник

A

Alex in Data Engineers
Anton Zadorozhniy
видимо вам повезло и к вам не приходят какие-нибудь опсы с вопросом "как мне ее подмонтировать" или "как мне поправить в середине того файла три строчки"
Ну можно же. Чёрез fuse ещё 10 лет назад монтировалось. Чтения переименования работали :)

Хуже когда спрашивают: я заливал данные на hdfs, можете дать доступ по ссш чтобы я проверил что они появились на сервере
источник

UD

Uncel Duk in Data Engineers
Anton Zadorozhniy
если что-то МОЖНО запихнуть в фьюз это не значит что так НУЖНО всем делать
Почему же
источник

UD

Uncel Duk in Data Engineers
Пишем микроядро
источник

UD

Uncel Duk in Data Engineers
И фузе будет рабить бистра
источник

UD

Uncel Duk in Data Engineers
источник