K
еще можно hadoop fs distcp s3:// hdfs://
Size: a a a
2020 August 31
GP
еще можно hadoop fs distcp s3:// hdfs://
так это вроде то что у Алексея в коде +-
K
это всё равно капец медленно
почему это медленно
K
так это вроде то что у Алексея в коде +-
но у него вантаймеп
AE
да, но у меня уровень параллелизма выше
K
с фиксированным форматом хранения
GP
ну ты придираешься
GP
тебе просто надо от больше тулов унифицированности, а Алексею - скорости
K
да, но у меня уровень параллелизма выше
чем число файлов?
GP
вы о разных вещах сейчас вообще говорите
AE
опять же, если бы был нормальный инструмент, я ни за что не стал бы писать свой. изобретать велосипед — неэффективно
K
вы о разных вещах сейчас вообще говорите
я не верю что оно быстрее
AE
но если подходящего нет, то можно и написать. и выиграть по времени от 10 до 50 раз
AE
я не верю что оно быстрее
так проверь, фомушка
K
я проверял свой вариант и он быстрый
K
минуты
K
кода меньше, компоненты стандартные
K
нет никакого бойлерплейта утащенного из других проетков, котрый нужно поддерживать
AE
на каком кластере и сколько на с3 ты проверял.
AE
у меня объёмы в терабайты (десятки тысяч паркетов) и екластеры от 5 до 10 узлов c4.2xlarge