P
@invade_r такое задумывал
и как? получилось у него?))
Size: a a a
2019 November 01
АЖ
и как? получилось у него?))
Ну я его призвал, расскажет при случае :)
E
Ну я его призвал, расскажет при случае :)
Привет!) Пока нет. У нас инфраструктура в k8. Но Хадуп мы пока там не разворачивали. Это в планах на конец 20-го года.
E
С другой стороны, лично я ничего сложного в этом не вижу.
E
Если будут прикладные задачи, готов помочь.
P
С другой стороны, лично я ничего сложного в этом не вижу.
ага, все мы так
P
E
ага, все мы так
Не было ещё ни одной проблемы, с к8, которую мы не решили.)
P
Не было ещё ни одной проблемы, с к8, которую мы не решили.)
так у вас пока хдфса нет, потому и не было)))
P
Не было ещё ни одной проблемы, с к8, которую мы не решили.)
мы вот уже наткнулись на проблему NFS, airflow регулярно кидает файлы на нфс, которая на Ceph, случайным образом ловим
OSError Input/Output ErrorVP
Привет!
Кто-нибудь может подсказать, как ускорить заливку данных из pyspark-овского датафрейма в Postgre-SQL базу? Сейчас льется примерно три часа, для сравнения, тот же датафрейм, но в Хайв, заливается за ~12 минут. Использую jbdc-postgre драйвер
Кто-нибудь может подсказать, как ускорить заливку данных из pyspark-овского датафрейма в Postgre-SQL базу? Сейчас льется примерно три часа, для сравнения, тот же датафрейм, но в Хайв, заливается за ~12 минут. Использую jbdc-postgre драйвер
RI
Привет!
Кто-нибудь может подсказать, как ускорить заливку данных из pyspark-овского датафрейма в Postgre-SQL базу? Сейчас льется примерно три часа, для сравнения, тот же датафрейм, но в Хайв, заливается за ~12 минут. Использую jbdc-postgre драйвер
Кто-нибудь может подсказать, как ускорить заливку данных из pyspark-овского датафрейма в Postgre-SQL базу? Сейчас льется примерно три часа, для сравнения, тот же датафрейм, но в Хайв, заливается за ~12 минут. Использую jbdc-postgre драйвер
мб коммиты после каждой вставке?
N
Привет!
Кто-нибудь может подсказать, как ускорить заливку данных из pyspark-овского датафрейма в Postgre-SQL базу? Сейчас льется примерно три часа, для сравнения, тот же датафрейм, но в Хайв, заливается за ~12 минут. Использую jbdc-postgre драйвер
Кто-нибудь может подсказать, как ускорить заливку данных из pyspark-овского датафрейма в Postgre-SQL базу? Сейчас льется примерно три часа, для сравнения, тот же датафрейм, но в Хайв, заливается за ~12 минут. Использую jbdc-postgre драйвер
Сделать 10 датафреймов вместо 1 и писать параллельно в постгрес в 10 потоков.
A
Привет!
Кто-нибудь может подсказать, как ускорить заливку данных из pyspark-овского датафрейма в Postgre-SQL базу? Сейчас льется примерно три часа, для сравнения, тот же датафрейм, но в Хайв, заливается за ~12 минут. Использую jbdc-postgre драйвер
Кто-нибудь может подсказать, как ускорить заливку данных из pyspark-овского датафрейма в Postgre-SQL базу? Сейчас льется примерно три часа, для сравнения, тот же датафрейм, но в Хайв, заливается за ~12 минут. Использую jbdc-postgre драйвер
Так в хайв это же записать файлы на диск и создать метаданные в хайв
A
Что-то я сомневаюсь что даже через параллельную запись добьётесь такой же скорости
A
Сделать 10 датафреймов вместо 1 и писать параллельно в постгрес в 10 потоков.
А он разве не пер партишен пишет?
M
на уровне бд эта параллельность будет не очень быстрой
N
Что-то я сомневаюсь что даже через параллельную запись добьётесь такой же скорости
Ну такой же точно не получится, но точно быстрее будет. Если в постгресе не 2 ядра, конечно.
M
учитвая что ей нужно сохранять консистентность
C
Big Launch has been banned! Reason: CAS ban.