ME
А в чем проблема? указываете endpoint и поехали
Size: a a a
2021 April 20
AE
это как штатным образом делается?
ME
Да, конечно, только будьте готовы что реализации могут несколько отличаться
AE
но в EMR не используется s3a, там какой-то свой коннектор
ME
consistency listing могут сломаться
ME
Да, там emrfs, но s3a можно и нужно пользовааться для других провайдеров
AE
консистенси в амазоновском с3 щас строгий кстати, никакого больше емрфс
ME
Ага, они молодцы
AE
эт чё, предлагаете его в фатжар как-то добавлять?
ME
тут заваисит от того как спарк запускаете
AE
в комплекте емр он просто алиас для ихнего проприетарного коннектора, я опасаюсь что сломается всё нафиг
ME
в EMR все запускается поверх hadoop и там уже есть hadoop-aws
ME
вместе с клиентом s3a
ME
Т.е. достааточно просто опции задать и все должно работать
AE
не, там он несколько патченный
ME
>The s3a protocol is not supported. We suggest you use s3 in place of s3a.
AE
дык о чём и вопрос
AE
чё делать-то?