Size: a a a

2020 October 08

AZ

Anton Zadorozhniy in Data Engineers
Max Efremov
это ещё всё это знать надо) На практике у нас только с3 и был))
ну я собеседую principal engineers, большинство знает о чем речь
источник

АЖ

Андрей Жуков... in Data Engineers
у нас Дримио, дурья башка, не может поймать обновления в минио, потому что тот отвечает пустотой на запрос изменения таймстампа ключа папки
источник

A

Alex in Data Engineers
Anton Zadorozhniy
но я понял что если разложить карточки с надписями сephfs, glusterfs, efs, azure files, s3, adls и попросить разделить на два класса, то сторонники "HDFS это файловая система" положат hdfs вместе с cephfs, gluster, efs
я бы хз куда её положить

основная фишка что cephfs, gluster, efs предоставляют posix api

hdfs больше предоставляют posix like свой собственный апи
источник

AZ

Anton Zadorozhniy in Data Engineers
Vladimir Gavrilenko
так у тебя первый критерий - это локальность и  POSIX-compliance
да, efs, cephfs, azure files - это сетевые (не локальные) файловые системы, остальные - объектные стораджи :)
источник

VG

Vladimir Gavrilenko in Data Engineers
Anton Zadorozhniy
1) Исключительно сетевой сервис, а не локальный; неполноценная POSIX реализация
2) внутри чистый KV (я знаю что fsimage внутри хранит дерево, но примитивы чисто объектные, тот-же append не меняет существующих блоков, а добавляет новый)
напомню твои критерии
источник

VG

Vladimir Gavrilenko in Data Engineers
еще и завязка на реализацию
источник

ME

Max Efremov in Data Engineers
Anton Zadorozhniy
ну я собеседую principal engineers, большинство знает о чем речь
принципал это кто-то на уровне архитектора?
источник

AE

Alexey Evdokimov in Data Engineers
Anton Zadorozhniy
для меня на собесе это точно будет красным флажком
я сразу уточню о семантическом подмножестве, и задам пару встречных вопросов про 9п и посикс :)
источник

AZ

Anton Zadorozhniy in Data Engineers
Max Efremov
принципал это кто-то на уровне архитектора?
вроде того, раньше мы вообще отказывались давать тайтл solution architect, так как если архитектор пишет код - он инженер, а если нет - то нам такой не нужен)
источник

AE

Alexey Evdokimov in Data Engineers
а далеко не каждый "принципал" знает чё за 9п вообще
источник

AZ

Anton Zadorozhniy in Data Engineers
теперь конечно набрали по объявлениям
источник

AZ

Anton Zadorozhniy in Data Engineers
Alexey Evdokimov
я сразу уточню о семантическом подмножестве, и задам пару встречных вопросов про 9п и посикс :)
при каких ответах ты положишь HDFS в одну корзину с EFS, GlusterFS?
источник

AE

Alexey Evdokimov in Data Engineers
Anton Zadorozhniy
при каких ответах ты положишь HDFS в одну корзину с EFS, GlusterFS?
хдфс не посикс комплаент
источник

AE

Alexey Evdokimov in Data Engineers
соответственно, возможных категорий больше двух.
источник

A

Alex in Data Engineers
да, поэтому и смущает подход “если не А, то значит точно Б”
источник

AE

Alexey Evdokimov in Data Engineers
есть у меня один знакомый, который ext3 занимался (один из контрибуторов), и кор в lustre пилил. вот он мне в своё время много порассказал о семантике и т.п. вещах
источник

AE

Alexey Evdokimov in Data Engineers
каким подмножеством операций ФС определяешь, так и считай
источник

AE

Alexey Evdokimov in Data Engineers
а стандартов, окромя посикса и де-факто стандартного 9п, как таковых нету
источник

AZ

Anton Zadorozhniy in Data Engineers
Alex
да, поэтому и смущает подход “если не А, то значит точно Б”
ну это strawman, вы говорите "точно А", а я говорю "точно не А, ближе к Б"
источник

A

Alex in Data Engineers
С такой трактовкой согласен

Особенно если за образец Б брать ажуровскую реализацию, а не с3
источник