UD
Паркетина на хдфс пишется/читается без проблем
Size: a a a
2020 September 01
UD
hive metatore jars скормил, но таска падает при попытке общения с метастором
AS
Ну вот не пытаться строить счётчики на атомиках, а так же значит зачем cyclicbarrier
а чем плох AtomicInteger в качестве счетчика?
ПФ
а чем плох AtomicInteger в качестве счетчика?
Очень медленно при высоком контеншне. Потому что cas на каждую операцию
ПФ
И, конечно же, огромная очередь на эти касы
ПФ
а чем плох AtomicInteger в качестве счетчика?
Отдельно замечу что integer для счётчика просто мало. Всего два миллиарда значений!
GP
Привет, а кто дружил третий спарк со вторым хайвом и хадупом?
Это как-то у емр сделано
AS
Отдельно замечу что integer для счётчика просто мало. Всего два миллиарда значений!
это понятно, я же не придираюсь что LongAdder тоже в намеспейсе atomic
ПФ
это понятно, я же не придираюсь что LongAdder тоже в намеспейсе atomic
Ну да, лонгэддер правильное решение, конечно.
GP
AA
Это как-то у емр сделано
В емр же спарк максимум 2.4.5. Причем в последней версии откатились до 2.4.4.
GP
Anton Alekseev
В емр же спарк максимум 2.4.5. Причем в последней версии откатились до 2.4.4.
ах у них наоборот сделано хадуп & хайв 3 и спарк 2.4.4
GP
(утро)
T
Anton Alekseev
В емр же спарк максимум 2.4.5. Причем в последней версии откатились до 2.4.4.
в пятой ветки в последних релизах 2.4.5
AA
в пятой ветки в последних релизах 2.4.5
Да, в 6ой уже 2.4.4
T
ну там пока 6.0.0 еще рано на нее переходить
T
хотя бы 6.1.0 над подождать
GP
ну там пока 6.0.0 еще рано на нее переходить
да не рано; все работает там; рад был дропнуть 2.11
T
да не рано; все работает там; рад был дропнуть 2.11
мы сами сидим на онколах так что я лучше на 5 посижу