Size: a a a

2020 October 08

UD

Uncel Duk in Data Engineers
источник

VG

Vladimir Gavrilenko in Data Engineers
Uncel Duk
На момент появления гадупа не было термина объектное хранилище
чем объект отличается от файла?
источник

UD

Uncel Duk in Data Engineers
Vladimir Gavrilenko
чем объект отличается от файла?
Чем файл отличается от экстента
источник

UD

Uncel Duk in Data Engineers
Т.е холиварить можно до упора
источник

UD

Uncel Duk in Data Engineers
источник

AZ

Anton Zadorozhniy in Data Engineers
Vladimir Gavrilenko
торжества истины
пусть для вас будет истиной что HDFS это файловая система
источник

VG

Vladimir Gavrilenko in Data Engineers
Anton Zadorozhniy
без проблем, хуже когда говорят что это файловая система :)
ок, но ты таких как мы принижешь
источник

AZ

Anton Zadorozhniy in Data Engineers
Vladimir Gavrilenko
ок, но ты таких как мы принижешь
это моя персональная идиосинкразия, я никого не принижал
источник

AS

Andrey Smirnov in Data Engineers
Жмака
А когда коворят "хэдээфэс"?)
а как правильно говорить?
источник

A

Alex in Data Engineers
Anton Zadorozhniy
зайдем с другой стороны: что дает причисление HDFS к файловым системам, а не объектным стораджам? вот вам кто-то говорит "HDFS это объектный сторадж, а вы поперхнулись и такие - нет, это файловая система!"  - чего вы добиться хотите таким?
У объектых сторейджей в большинстве своём это kv, хоть и могут под файл систему мимикрировать

Тот же S3, adsl пошёл чуть дальше

Модифицировать объект нельзя, у hdfs доступен append.

Объектый якобы проще скейлить, так как часто это просто хэштаблица, у файловой имеется иерархия и набор операций над директориями

В свое время сам реализовывал hdfs FileSystem интерфейс повер объектного сторейджа joyent, поэтому сталкивался с разным набором примитивов которые предоставляет объектный сторейдж и которые привычны по сравнению с тем что когда делал fuse а потом и кернел драйвер для своей игрушечный fs
источник

ME

Max Efremov in Data Engineers
Andrey Smirnov
а как правильно говорить?
эйчдиэфэс вроде
источник

ME

Max Efremov in Data Engineers
Аббревиатуры по буквам читаются
источник

ME

Max Efremov in Data Engineers
Хотя sql как сиквел и нейтивы говорят
источник

ME

Max Efremov in Data Engineers
Но правильно эскьюэл будет
источник

A

Alex in Data Engineers
Anton Zadorozhniy
это моя персональная идиосинкразия, я никого не принижал
Поэтому и хочется понять по каким критериям он не является файловой системой, а относится больше к объектным сторейжам
источник

AS

Andrey Smirnov in Data Engineers
Max Efremov
эйчдиэфэс вроде
аа, я пропустил эйч, но всё это меркнет как мы произносим FAQ :)
источник

A

Alex in Data Engineers
Тот же ozone там достаточно явно видно что он объектный по набору доступных операций, хотя уровень хранения с теми же блокпулами шарит с существующим кодом от датанод
источник

AZ

Anton Zadorozhniy in Data Engineers
Alex
Поэтому и хочется понять по каким критериям он не является файловой системой, а относится больше к объектным сторейжам
1) Исключительно сетевой сервис, а не локальный; неполноценная POSIX реализация
2) внутри чистый KV (я знаю что fsimage внутри хранит дерево, но примитивы чисто объектные, тот-же append не меняет существующих блоков, а добавляет новый)
источник

D

Dmitry in Data Engineers
Anton Zadorozhniy
зайдем с другой стороны: что дает причисление HDFS к файловым системам, а не объектным стораджам? вот вам кто-то говорит "HDFS это объектный сторадж, а вы поперхнулись и такие - нет, это файловая система!"  - чего вы добиться хотите таким?
у меня в коде
import org.apache.hadoop.fs.FileSystem
значит FileSystem
источник

AZ

Anton Zadorozhniy in Data Engineers
Dmitry
у меня в коде
import org.apache.hadoop.fs.FileSystem
значит FileSystem
Вас не проведёшь!
источник