N
Есть всякие pgbulkload. Я лично не трогал, но отзывы позитивные.
Size: a a a
2019 November 01
АЖ
быстрее всего фигарить данные в постгрес через стдаут
АЖ
через jdbc - тлен
N
быстрее всего фигарить данные в постгрес через стдаут
Ну постгрес же на другом узле , наверное. Не рядом со спарком стоит.
N
учитвая что ей нужно сохранять консистентность
Это же вставки.
АЖ
Ну постгрес же на другом узле , наверное. Не рядом со спарком стоит.
если есть возможность перегнать данные на узел с постгресом - это да, идеально
N
А он разве не пер партишен пишет?
Я имел ввиду кустарно.
M
N
если есть возможность перегнать данные на узел с постгресом - это да, идеально
Ну тогда возникает передача по сети, запись/чтение с диска, это будет, скорее всего, еще медленнее, чем по jdbc.
M
говорят ещё можно размер батча повысить
N
говорят ещё можно размер батча повысить
Это тема. Недавно писал заливку в кликхаус по jdbc, батч 1000 и 100000 по времени пишутся одинаково.
E
мы вот уже наткнулись на проблему NFS, airflow регулярно кидает файлы на нфс, которая на Ceph, случайным образом ловим
OSError Input/Output ErrorЗвучит, как проблема сокетов. Нужно смотреть логи.
P
Звучит, как проблема сокетов. Нужно смотреть логи.
там даже трейс включали, не понятно ваапще. более менее заработало когда прописал афинити
OP
Аирфлоу в кубике на опенстеке под сефом ?
S
Ну тогда возникает передача по сети, запись/чтение с диска, это будет, скорее всего, еще медленнее, чем по jdbc.
От размера данных зависит
Гигабайты будет быстрее через копи
Гигабайты будет быстрее через копи
P
Аирфлоу в кубике на опенстеке под сефом ?
айрфлоу в кубе от мэйла
P
air собирали весь сам, не пукель
E
там даже трейс включали, не понятно ваапще. более менее заработало когда прописал афинити
Афинити на эту ошибку мало влияет. Только если железо разное. И постоянное схлопывание сервисов.
OP
айрфлоу в кубе от мэйла
а, у нас именно сеф+кубик+аир нормально, мейлом не пользовались, а у них же там не сеф вроде должен быть
https://www.youtube.com/watch?v=30yo_xQPfpY
https://www.youtube.com/watch?v=30yo_xQPfpY
E
там даже трейс включали, не понятно ваапще. более менее заработало когда прописал афинити
Паша, нужны логи.