Телеграмм чат группы hadoopusers страница 3022

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2115 membersпожаловаться на группу

2020 December 10

ME

Max Efremov in Data Engineers

Привет! Подскажите пожалуйста кто-нибудь делал upsert (хотя бы каким-то образом) в postgresql/mysql используя spark ss? Я понимаю возможно это ненормально так делать, но столкнулся с такой задачей. Нашел такой пример, но немножко смущает использование broadcast'a https://medium.com/@thomaspt748/how-to-upsert-data-into-relational-database-using-spark-7d2d92e05bb9

How to UPSERT data into relational database using Apache Spark: Part 1

Spark has multiple ways to read data from different sources like files, databases etc. But when it comes to loading data into…

А я просто спарком с csv пишу и дальше в базу импортирую через load :)

источник

21:03пожаловаться #1

ME

Max Efremov in Data Engineers

Получается быстрее и спарк базу не кладёт кучей потоков

источник

21:04пожаловаться #2

N

Nikita Blagodarnyy in Data Engineers

Получается быстрее и спарк базу не кладёт кучей потоков

это можно настроить в num_partitions

источник

21:08пожаловаться #3

SS

Sergey Sheremeta in Data Engineers

Привет! Подскажите пожалуйста кто-нибудь делал upsert (хотя бы каким-то образом) в postgresql/mysql используя spark ss? Я понимаю возможно это ненормально так делать, но столкнулся с такой задачей. Нашел такой пример, но немножко смущает использование broadcast'a https://medium.com/@thomaspt748/how-to-upsert-data-into-relational-database-using-spark-7d2d92e05bb9

How to UPSERT data into relational database using Apache Spark: Part 1

Spark has multiple ways to read data from different sources like files, databases etc. But when it comes to loading data into…

Мы такое делали через вставку спарком в стейдж-таблицу и последующий вызов prepared statement с логикой upsert/scd2

источник

23:51пожаловаться #4

DM

Dave Manukian in Data Engineers

@ssheremeta а у вас был батч или стриминг? И вы делали с броадкастом? :)

источник

23:52пожаловаться #5

MP

Md Palash in Data Engineers

Try heroku

источник

23:57пожаловаться #6

2020 December 11

DZ

Dmitry Zuev in Data Engineers

@ssheremeta а у вас был батч или стриминг? И вы делали с броадкастом? :)

В чем разница? Все равно батчами вставляешь, разница в размере только, тут надо понимать на что база способна. Чудес не бывает

источник

00:00пожаловаться #7

N

Nikita Blagodarnyy in Data Engineers

@ssheremeta а у вас был батч или стриминг? И вы делали с броадкастом? :)

А в чем проблема бродкаста? Ну создайте в форичбаче коннекшон.

источник

00:18пожаловаться #8

DM

Dave Manukian in Data Engineers

Nikita Blagodarnyy

А в чем проблема бродкаста? Ну создайте в форичбаче коннекшон.

Бродкаста. Да, я тоже к этому пришел, так и сделаю, спасибо :)

источник

00:19пожаловаться #9

N

Nikita Blagodarnyy in Data Engineers

Бродкаст объекта-это плохо?

источник

00:19пожаловаться #10

DZ

Dmitry Zuev in Data Engineers

Ещё есть лейзивал

источник

00:28пожаловаться #11

DZ

Dmitry Zuev in Data Engineers

источник

00:29пожаловаться #12

PK

Pearl Kerr in Data Engineers

u mean oofftoopic?

источник

04:54пожаловаться #13

KS

K S in Data Engineers

Что посоветуете для трансляции из csv/tsv в parquet?
Попробовал pyarrow, но что-то не нравится ему csv, капризничает.

источник

05:20пожаловаться #14

KS

K S in Data Engineers

И ещё вдогонку, когда я закидываю parquet в hdfs, нужно импортировать дельты в hive table. Пока додумался только через alter table location > new-delta.parquet

источник

05:22пожаловаться #15

KS

K S in Data Engineers

Недостаток в том, что если раз в час добавлять partition, то через год их будет туева хуча и запросы будут тормозить.

источник

05:24пожаловаться #16

A

Alex in Data Engineers

Compaction делать :)

источник

05:25пожаловаться #17

KS

K S in Data Engineers

Compaction делать :)

Ну это да, просто может есть какие то другие способы.

источник

05:26пожаловаться #18

A

Alex in Data Engineers

Это известная проблема с множеством мелких файлов

А добавление мелких партишенов ещё хуже бывает

источник

05:27пожаловаться #19

KS

K S in Data Engineers

Это известная проблема с множеством мелких файлов

А добавление мелких партишенов ещё хуже бывает

У меня дельты около 2ГБ, это маленький размер?

источник

05:29пожаловаться #20