ЕГ
На реально крупных джобах
потому что hdfs это треш, и чем быстрее спарк нативно будет дружить с s3 тем лучше
тогда будет нормальное разделение storage и compute
Size: a a a
2021 April 21
ИК
у нас ещё даже попыток начать тащить не было, это я восхищаюсь безумством храбрых
ИК
масштабируется hdfs достаточно хорошо. И можно minio ещё
D
а какие проблемы у hdinside с adls ? в рекламе их хадуп пишет на adls
ЕГ
Просто у нас спарк на хадупе с ярном, включён преемпшен, решили затестить 3 спарк с шафл трекером. После таск килла он начинает делать что-то вроде 8657/2000 тасков завершено, мы подзабили после этого, невозможно отслеживать прогресс нормально)
D
ну а можно в кратце, чем они круче spark job в hdinside который пишет на adls ?
ПБ
я не в курсе про буржуев, но могу предположить что ценой )
GP
А какое дата локалити нужно тебе в спарке при работе с azure блоб сторадж / gcs/s3?
D
как у hdfs, они же деньги стригут за чтение. если каждый день вычитывать по 50 тб с adls в k8s кластер бюджет я так понимаю спалим в первую неделю
GP
хдфс это отдельная история
D
я и пытаюсь понять. как у других устроено. если hadoop/hdfs не модно, все поголовно сидят на эксперементальном k8s и платят за весь тот трафик ?
AE
1500 деплоев на emr 6 c третьим спарком, полёт абсолютно нормальный
GP
достаточно что бы было все в одном регионе, о каком трафике ты говоришь?
GP
Конечно у сервисов типа с3 / гкп там плата за пут
AE
на некоторых задачах примерно на 15% быстрее, чем на 2.4. на некоторых никакой разницы
GP
когда они уже на ждк11 перелетят
AE
так что не знаю, экспериментально или нет, но вполне стабильно для прода
AE
х их з. тоже очень хочу :/