Size: a a a

2020 October 08

AZ

Anton Zadorozhniy in Data Engineers
Alex
А можно критерии ос?
какая задача, убедить меня что HDFS это файловая система?
источник

VG

Vladimir Gavrilenko in Data Engineers
Anton Zadorozhniy
какая задача, убедить меня что HDFS это файловая система?
У меня задача - разобраться в терминах
источник

A

Alex in Data Engineers
Тоже самое
источник

A

Alex in Data Engineers
источник

AZ

Anton Zadorozhniy in Data Engineers
Alex
Атомарно переименовать директорию можно?
в ADLSv2 запросто
источник

A

Alex in Data Engineers
Судя по определению hdfs это файловая система

Вот и спрашиваю критерии по которым она не является ей
источник

VG

Vladimir Gavrilenko in Data Engineers
Alex
Судя по определению hdfs это файловая система

Вот и спрашиваю критерии по которым она не является ей
+1
источник

A

Alex in Data Engineers
Anton Zadorozhniy
в ADLSv2 запросто
Это ажур :) в обычном s3 интересно
источник

AZ

Anton Zadorozhniy in Data Engineers
Alex
Судя по определению hdfs это файловая система

Вот и спрашиваю критерии по которым она не является ей
она в той же мере файловая система как NFS
источник

AZ

Anton Zadorozhniy in Data Engineers
Alex
Это ажур :) в обычном s3 интересно
просто Amazon тормозит, а в HDFS и ADLS сделано
источник

A

Alex in Data Engineers
Anton Zadorozhniy
она в той же мере файловая система как NFS
Nfs это протокол, он не занимается хранение данных

Та же hdfs может и как Nfs сервер работать
источник

AZ

Anton Zadorozhniy in Data Engineers
Alex
Nfs это протокол, он не занимается хранение данных

Та же hdfs может и как Nfs сервер работать
На Isilon хранение данных сделано по-своему, а наружу выставлен HDFS-протокол
источник

A

Alex in Data Engineers
Hdfs может быть как протоколом (привет mapr)
Так и полноценным сторейджем (проект хадуп)
источник

AZ

Anton Zadorozhniy in Data Engineers
HDFS это и протокол (которым мы на самом деле пользуемся) и одна реализация
источник

A

Alex in Data Engineers
Меня именно apache hadoop интересует почему он не фс
источник

VG

Vladimir Gavrilenko in Data Engineers
тут бы для начала разобраться, что такое файл, что такое файловая система, что такое объект и объектное хранилище)
источник

VG

Vladimir Gavrilenko in Data Engineers
и протоколы
источник

AZ

Anton Zadorozhniy in Data Engineers
зайдем с другой стороны: что дает причисление HDFS к файловым системам, а не объектным стораджам? вот вам кто-то говорит "HDFS это объектный сторадж, а вы поперхнулись и такие - нет, это файловая система!"  - чего вы добиться хотите таким?
источник

VG

Vladimir Gavrilenko in Data Engineers
Anton Zadorozhniy
зайдем с другой стороны: что дает причисление HDFS к файловым системам, а не объектным стораджам? вот вам кто-то говорит "HDFS это объектный сторадж, а вы поперхнулись и такие - нет, это файловая система!"  - чего вы добиться хотите таким?
торжества истины
источник

UD

Uncel Duk in Data Engineers
На момент появления гадупа не было термина объектное хранилище
источник