DZ
Можно не бродкастить а юзать mapPartition
Size: a a a
2020 December 20
2020 December 21
A
А сколько строк в dataframe?
около 100k
A
Посмотрите в сторону pandas_udf, если хотите на векторах и spark версии 2.3 и больше
То есть просто лямда функцию заменить на PandasUDF?
A
+ стоит избежать инициализации модели на каждый скаляр или вектор в udf, тоже может съедать производительность. Но тогда не всегда можно легко забродкастить модель. Был случай, когда в либе где-то в кишках были статические поля, которые превращались в тыкву при бродкасте объекта.
Чёт не сильно врубаюсь как можно это сделать..
ЕК
Всем доброго дня!
Подскажите плиз, если кто с hue работает, проблема в следующем, есть oozie workflow с параллельным выполнение sqoop job'ов(20 джобов), но одновременно запускаются не более двух job'ов, как это побороть? ((((
Подскажите плиз, если кто с hue работает, проблема в следующем, есть oozie workflow с параллельным выполнение sqoop job'ов(20 джобов), но одновременно запускаются не более двух job'ов, как это побороть? ((((
ME
Всем доброго дня!
Подскажите плиз, если кто с hue работает, проблема в следующем, есть oozie workflow с параллельным выполнение sqoop job'ов(20 джобов), но одновременно запускаются не более двух job'ов, как это побороть? ((((
Подскажите плиз, если кто с hue работает, проблема в следующем, есть oozie workflow с параллельным выполнение sqoop job'ов(20 джобов), но одновременно запускаются не более двух job'ов, как это побороть? ((((
ресурсов хватает в кластере? может квота на пользователя?
ЕК
ресурсов хватает в кластере? может квота на пользователя?
дэ кластером это назвать сложно ) там всего одна нода и на ней всё крутится, но по ресурсам должно хватать с избытком: 32 ядра и 64 оперативы.
A
Описал десктоп, не самый мощный
ЕК
дэ кластером это назвать сложно ) там всего одна нода и на ней всё крутится, но по ресурсам должно хватать с избытком: 32 ядра и 64 оперативы.
Так же вручную если запустить sqoop джобы из под ssh, они отрабатывают без проблем параллельно
ЕК
Описал десктоп, не самый мощный
ну не самый мощный, это понятно ) но для текущих задач, должно хватать без проблем
AZ
в последнее время тут плотно пошли микро-кластера, тренд какой-то что ли (при том что в отрасли вовсю обсуждаются 80 ядерные камни, десктопные камни на 32 ядра стали мейнстримом)
ЕК
в последнее время тут плотно пошли микро-кластера, тренд какой-то что ли (при том что в отрасли вовсю обсуждаются 80 ядерные камни, десктопные камни на 32 ядра стали мейнстримом)
дэ сейчас цель не создать большой мощный кластер, а научиться с этим вообще работать.. а мощности докинуть не проблема, по необходимости)
как я понял, если докинуть ща мощностей, то проблема моя не решится )
как я понял, если докинуть ща мощностей, то проблема моя не решится )
AZ
дэ сейчас цель не создать большой мощный кластер, а научиться с этим вообще работать.. а мощности докинуть не проблема, по необходимости)
как я понял, если докинуть ща мощностей, то проблема моя не решится )
как я понял, если докинуть ща мощностей, то проблема моя не решится )
почему вообще такой стэк и архитектура, у вас взрывной рост какой-то предвидится?
AZ
(я без упрека если что, просто интересно)
ЕК
почему вообще такой стэк и архитектура, у вас взрывной рост какой-то предвидится?
дэ нет в общем то )
Планируется забирать данные из 17 источников))
Планируется забирать данные из 17 источников))
ЕК
но пока б с одним источником разобраться )))))
сейчас забираю данные из PG базы, в целом базу забрать не проблема, а вот с синхронизацией таблиц проблемы)
на просторах интернета вычитал, что это делается sqoop джобами, вот и пытаюсь реализовать )
сейчас забираю данные из PG базы, в целом базу забрать не проблема, а вот с синхронизацией таблиц проблемы)
на просторах интернета вычитал, что это делается sqoop джобами, вот и пытаюсь реализовать )
ЕК
но решение sqoop джобов так себе... это ж на каждую таблицу надо делать отдельный джоб :-/
SK
То есть просто лямда функцию заменить на PandasUDF?
По сути да, вместо udf в вашем примере будет pandas_udf и функция будет принимать pd.Series. За подробностями лучше в документацию глянуть, там подробно описаны различные варианты создания такой udf.
AZ
но решение sqoop джобов так себе... это ж на каждую таблицу надо делать отдельный джоб :-/
sqoop блистает если у вас немного очень больших таблиц, если у вас много маленьких (или вообще нет очень больших таблиц) - то оверхед на вашем "кластере" будет огромный, вам лучше посмотреть на какой-то подходящий ETL инструмент или написать свою выгружалку
ЕК
sqoop блистает если у вас немного очень больших таблиц, если у вас много маленьких (или вообще нет очень больших таблиц) - то оверхед на вашем "кластере" будет огромный, вам лучше посмотреть на какой-то подходящий ETL инструмент или написать свою выгружалку
Большое спасибо!
Пошёл гуглить )
Пошёл гуглить )