A
Надо немного глубже)
вам до уровня short-circuit reads на hdfs и перекидывания файлового дескриптора через доменный сокет?
Size: a a a
2019 November 20
AZ
Раз про S3 то скорее про детали реализации S3Guard или про EMRFS, но все равно нужен конкретный вопрос
AE
Привет всем, можете посоветовать статьи или что-то где можно было бы разобраться s3 и спарком, как они взаимодействуют, как Hadoop и с3...
Как идёт вычитка и запись в файл
Как идёт вычитка и запись в файл
если кратко: копируйте в HDFS на кластере, будет сильно быстрее. до десятков раз в зависимости от условий
L
вам до уровня short-circuit reads на hdfs и перекидывания файлового дескриптора через доменный сокет?
Наверное да...
L
если кратко: копируйте в HDFS на кластере, будет сильно быстрее. до десятков раз в зависимости от условий
Тут возник вопрос в том что копирование на шдфс не хотят а сразу на с3... Но так как я не сильно в этом. Хочу разобраться в этом вопросе. Как быстрее, в чем плюсы и минусы
T
Тут возник вопрос в том что копирование на шдфс не хотят а сразу на с3... Но так как я не сильно в этом. Хочу разобраться в этом вопросе. Как быстрее, в чем плюсы и минусы
кластер где в aws?
L
кластер где в aws?
Да
T
Да
кластер постоянный или по запросу поднимается?
AE
Тут возник вопрос в том что копирование на шдфс не хотят а сразу на с3... Но так как я не сильно в этом. Хочу разобраться в этом вопросе. Как быстрее, в чем плюсы и минусы
проведите бенчмарк. сделайте какой-нибудь расчёт, который много читает и много пишет, и убедитесь что времени на общение с с3 тратится во много раз больше, чем на сам расчёт
T
BTW не забудте включить vpc s3 endpoint
AE
легко может быть всего 15 минут в спарке, но 3 часа на копирование по сети туда и обратно
T
ну в s3 лучше с аппенд модом писать
T
иначе он пишет в стейджинг директорию и потом копирует данные
T
иначе он пишет в стейджинг директорию и потом копирует данные
не смотрел новые редиз ноутсы может они это пофиксили
A
скажите кто должен победить, а ворклоад под указанные базы я напишу =)
A
Mikhail эти все статьи из той же оперы
T
тут aws кстати не давно присылали сылку на то что они рантайм спарка улучшили https://aws.amazon.com/blogs/big-data/amazon-emr-introduces-emr-runtime-for-apache-spark/
M
скажите кто должен победить, а ворклоад под указанные базы я напишу =)
AE
ну-ну, We used TPC-DS benchmark queries with 3 TB scale and ran them on a six-node c4.8xlarge EMR cluster
там какой линк до с3 с таким размером ноды? 10гбит?
там какой линк до с3 с таким размером ноды? 10гбит?