AE
s3-dist-cp я декомпильнул и нужную мне логику выдернул. а потом переписал с мр на спарк
Size: a a a
2020 August 31
AE
ну и добавил чтение паркетов
K
ну а почему не пользуетесь встроенным функционалом спарка?
AE
потому что можем лучше, быстрее и ближе к нужному для нашего конвейера :)
K
потому что можем лучше, быстрее и ближе к нужному для нашего конвейера :)
насколько лучше, что можно увеличить басфактор и поддерживаемость?
K
можно было написать так, чтобы относительно любое хдфс лайк поддерживало из коробки
AE
код открыт и документирован, расширить не проблема. btw, для s3 используется стандартный клиент. будет работать с любым
K
больше кода - больше проблем
K
тем более копипаста из других проектов
AE
тут его существенно меньше чем в оригинале
AE
~ 500 строк
AE
ну и опять же не прямая копипаста, а рерайт
AE
ещё есть к чему придраться?
K
к рерайту
K
что не использованы станлартные компоненты и генераторы всякие сами написаны
AE
всмысле н е использованы
AE
ты код-то посмотри, а потом фигню всякую говори :/
AE
чукча не читатель блин
K
ты код-то посмотри, а потом фигню всякую говори :/
для чего генератор имени файлов то?