В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2397 membersпожаловаться на группу
2021 April 22

А

Андрей in Data Engineers
Ну если бы все было так просто) там система огорожена, и шагу не ступишь без согласия админов.
Сейчас ситуация такая - либо спарк валится с эксепшеном, пытаясь сьесть пустые файлы, либо некорректно читает данные в режиме совместимости
источник
09:57пожаловаться#1

e

er@essbase.ru in Data Engineers
Пробуете дырку критичным инцидентом.   Иначе ваш забор охраняет OOM?😜
источник
10:00пожаловаться#2

А

Андрей in Data Engineers
Ну если совсем хреново будет, то создадим баг и отправим тем же админам) а они пусть голову ломают
источник
10:02пожаловаться#3

S

Shadle in Data Engineers
Привет, подскажите, пожалуйста, как на AirFlow при помощи каких операторов можно реализовать такой ETL процесс
Есть 2 базы данных
при появлении новых строк в таблице базы А сделать ETL в базу Б
и чтобы постоянно пендинговал это событие
источник
12:07пожаловаться#4

S

Shadle in Data Engineers
Буду благодарен, если дадите ссылку на ресурс, где подобный пример разбирается
источник
12:08пожаловаться#5

ЕГ

Евгений Глотов... in Data Engineers
Можно например в питон-операторе поднять спарк-сессию и сделать spark.read.jdbc(url1).write.jdbc(url2)
источник
12:10пожаловаться#6

ЕГ

Евгений Глотов... in Data Engineers
Только вот появление новых строк в каждой базе по-разному может происходить и логгироваться
источник
12:11пожаловаться#7

S

Shadle in Data Engineers
Хорошо, попробую выянсить про сессии спарка
источник
12:12пожаловаться#8

ЕГ

Евгений Глотов... in Data Engineers
Можно просто селектом по ts добавления выбирать, это может быть неоптимально, но зато работоспособно на любой базе
источник
12:13пожаловаться#9

S

Shadle in Data Engineers
как реализовать можно стартовую точку ts?
источник
12:15пожаловаться#10

S

Shadle in Data Engineers
алгоритмически
источник
12:15пожаловаться#11

S

Shadle in Data Engineers
например когда сработал даг это точка отсчета?
источник
12:15пожаловаться#12

ЕГ

Евгений Глотов... in Data Engineers
Макрос Execution_date
источник
12:17пожаловаться#13

ЕГ

Евгений Глотов... in Data Engineers
Или макрос по текущему времени
источник
12:18пожаловаться#14

ME

Max Efremov in Data Engineers
Бд сенсор, наверное
источник
12:18пожаловаться#15

ME

Max Efremov in Data Engineers
Детектить как-то строки, дампить и инсёртить в другую базу
источник
12:18пожаловаться#16

S

Shadle in Data Engineers
Снимок экрана 2021-04-22 в 12.18.37.png
(448.62 Кб)
источник
12:19пожаловаться#17

ME

Max Efremov in Data Engineers
Вообще, это в чат аирфлоу
источник
12:19пожаловаться#18

S

Shadle in Data Engineers
что то типо этого?
источник
12:19пожаловаться#19

S

Shadle in Data Engineers
Есть линк?
источник
12:19пожаловаться#20