АЖ
а, у нас именно сеф+кубик+аир нормально, мейлом не пользовались, а у них же там не сеф вроде должен быть
https://www.youtube.com/watch?v=30yo_xQPfpY
https://www.youtube.com/watch?v=30yo_xQPfpY
хадуп точно поверх цефа у них
Size: a a a
2019 November 01
АЖ
может, и кубики тоже
E
Ещё момент. Чем больше слоев абстракции, тем больше шансов воткнуться в кривые руки разрабов, которые их писали. Придется контрибьютить.
AS
Привет!
Кто-нибудь может подсказать, как ускорить заливку данных из pyspark-овского датафрейма в Postgre-SQL базу? Сейчас льется примерно три часа, для сравнения, тот же датафрейм, но в Хайв, заливается за ~12 минут. Использую jbdc-postgre драйвер
Кто-нибудь может подсказать, как ускорить заливку данных из pyspark-овского датафрейма в Postgre-SQL базу? Сейчас льется примерно три часа, для сравнения, тот же датафрейм, но в Хайв, заливается за ~12 минут. Использую jbdc-postgre драйвер
Можно попробовать .option("numPartitions", parallelismLevel) уменьшить уровень параллелизма или если никак то можно попробовать руками через pyodbc
P
Афинити на эту ошибку мало влияет. Только если железо разное. И постоянное схлопывание сервисов.
nfs маунтится только на одну ноду куба. это избавило от случайной ошибки Input/Output
E
nfs маунтится только на одну ноду куба. это избавило от случайной ошибки Input/Output
Но она, по-прежнему, выскакивает, так?
P
Но она, по-прежнему, выскакивает, так?
после того, как прибили запуск на одну ноду, то перестало
2019 November 03
AN
Всем привет, хотел спросит как правильно настроить спарк чтоб в мезос-е он отображался?
AN
AN
AN
Извини за такой вопрос) я новичок)
AN
Я через амбари настраиваю спарк, как я понял надо дописать в spark2-env.sh??
AN
A
Привет! А вакансии здесь можно постить?
ЕГ
Привет! А вакансии здесь можно постить?
В описание чата загляните
A
Евгений Глотов
В описание чата загляните
Спасибо!
2019 November 04
C
Jonathan Pratono has been banned! Reason: CAS ban.
C
troncity.io has been banned! Reason: CAS ban.
神
Добрый вечер. Не подскажете как лучше мониторить лаг при использовании spark structured streaming?
2019 November 05
ME
А у него в spark UI нет такой метрики?