K
вот я присла пример
Size: a a a
2020 August 31
K
неужели у спарка при spark.write есть проблемы с именами?
GP
ну а почему не пользуетесь встроенным функционалом спарка?
да чел часто короч приходится не исопльзовать встроенный функционал спарка сам знаешь
GP
ну тип проще (в долгосрочной перспективе) нормальные сурсы уж на край запилить чем колхозить юнионы)
ИК
ещё есть к чему придраться?
это вы между собой решайте, а конечному пользователю как эту либу использовать? Конкретная проблема у человека есть, что ему нужно набрать, чтоб ее решить и (желательно) не создать пачку новых проблем?
AE
это вы между собой решайте, а конечному пользователю как эту либу использовать? Конкретная проблема у человека есть, что ему нужно набрать, чтоб ее решить и (желательно) не создать пачку новых проблем?
просто брать и использовать. если что, автор доступен и может дать пример
K
да чел часто короч приходится не исопльзовать встроенный функционал спарка сам знаешь
нормально интегрироваться со спарком, а не делать обертку над клиентом, это явно вантаймер без конфигурирования
https://github.com/PastorGL/OneRing/blob/master/DistWrapper/src/main/java/ash/nazg/dist/DistWrapper.java#L182 явно эта лоигка есть где - то другом месте и это просто копипаста
https://github.com/PastorGL/OneRing/blob/master/DistWrapper/src/main/java/ash/nazg/dist/DistWrapper.java#L182 явно эта лоигка есть где - то другом месте и это просто копипаста
K
прост чем больше кода - тем больше багов
K
а количество багов зависит от урвня команды
AE
а что если если я сам хочу генерить имена как мне надо
GP
нормально интегрироваться со спарком, а не делать обертку над клиентом, это явно вантаймер без конфигурирования
https://github.com/PastorGL/OneRing/blob/master/DistWrapper/src/main/java/ash/nazg/dist/DistWrapper.java#L182 явно эта лоигка есть где - то другом месте и это просто копипаста
https://github.com/PastorGL/OneRing/blob/master/DistWrapper/src/main/java/ash/nazg/dist/DistWrapper.java#L182 явно эта лоигка есть где - то другом месте и это просто копипаста
ну представь что имя это индекс
AE
короче, кривда не разобрался и не хочет разбираться. ну да и фиг с ним
K
а что если если я сам хочу генерить имена как мне надо
значит скорее всего это не совместимо со всем написанным софтом который решает похожую проблему и/или не сможет результатом вывода воспользоваться
K
ну представь что имя это индекс
но тут не индекс
AE
если у меня стоит задача эффективно скопировать десяток датасетов из s3 в хдфс на кластер (в разных исходных форматах), я её решаю. путь, куда складывать в hdfs, конфигурируется. количество файлов в хдфс тоже конфигурируется. как их назвать — вообще дело десятое.
AE
а "стандартного" нормального инструмента в емр, окромя s3-dist-cp, между прочим, нет. но паркеты он читать не умеет. везде советуют колхозить с union. и очень странно, что некоторые считают, что нельзя сделать по-человечески
K
если у меня стоит задача эффективно скопировать десяток датасетов из s3 в хдфс на кластер (в разных исходных форматах), я её решаю. путь, куда складывать в hdfs, конфигурируется. количество файлов в хдфс тоже конфигурируется. как их назвать — вообще дело десятое.
spark.read("s3://").parquet.write.csv("hdfs://")
AE
это капец медленно
K
Await.result(files.map(Future(spark.read("s3://").parquet.write.csv(""))).sequence,время)
AE
это всё равно капец медленно