Size: a a a

2020 November 08

G

Gev in Data Engineers
Anton Zadorozhniy
если навигатор у вас уже лицензирован то его точно стоит поставить и активировать, по-моему там можно кастомные метаданные определять и отгрузить туда схемы ваших таблиц в ПГ, я бы смотрел именно этот путь
Спасибо. А он лицензируется отдельно?
источник

AZ

Anton Zadorozhniy in Data Engineers
Gev
Спасибо. А он лицензируется отдельно?
это проприетарный продукт, я давно не сталкивался с  разными подписками,уверен что в какие-то он входит, в какие-то нет
источник

G

Gev in Data Engineers
Понятно. Буду разбираться.
источник
2020 November 09

SS

Sergey Shushkov in Data Engineers
Gev
Не. Это про то, как общаться с простгрей
А почему очередь не использовать какунибудь, у  кафки вроде есть коннектор под это дело даже пилить ниче не придется
источник

G

Gev in Data Engineers
Sergey Shushkov
А почему очередь не использовать какунибудь, у  кафки вроде есть коннектор под это дело даже пилить ниче не придется
А гарантии доставки?
источник

SS

Sergey Shushkov in Data Engineers
Там система акновледжмента же есть
источник

SS

Sergey Shushkov in Data Engineers
Т.е. если консумер не подтвердит то оффсет топика не сдвинется для него
источник

λ

λoλdog in Data Engineers
Кафка не очередь
источник

λ

λoλdog in Data Engineers
И одно сообщение поакать нельзя, придётся городить
источник

SS

Sergey Shushkov in Data Engineers
Ну про одно никто и не говорил, ждбс батч инсерты тоже потдерживает же
источник

SS

Sergey Shushkov in Data Engineers
λoλdog
Кафка не очередь
Рэбит подобные предлагаете? Там система ACK тоже была
источник

λ

λoλdog in Data Engineers
Ну есть пульсар, который вроде как как раз очереди умеет
источник

λ

λoλdog in Data Engineers
Но это не точно
источник

S

Stanislav in Data Engineers
Чем больше программных решений вы вставляете в пайплайн, тем менее надёжной и более дорогой в оьчлуге становится ваша система. Особенно когда речь о системах с сложной логикой типа кафки/пг.
Слежующмй этап будет - как ускорить вставку в пг. Гигабайт через ждбц - та ещё история.
источник

S

Stanislav in Data Engineers
Не хватает пг пхф как в гп или механизма словарей из хдфс как в кх
источник

N

Nikolay in Data Engineers
Stanislav
Чем больше программных решений вы вставляете в пайплайн, тем менее надёжной и более дорогой в оьчлуге становится ваша система. Особенно когда речь о системах с сложной логикой типа кафки/пг.
Слежующмй этап будет - как ускорить вставку в пг. Гигабайт через ждбц - та ещё история.
Гигабайт в какой промежуток времени ?
источник

SS

Sergey Sheremeta in Data Engineers
Stanislav
Чем больше программных решений вы вставляете в пайплайн, тем менее надёжной и более дорогой в оьчлуге становится ваша система. Особенно когда речь о системах с сложной логикой типа кафки/пг.
Слежующмй этап будет - как ускорить вставку в пг. Гигабайт через ждбц - та ещё история.
источник

N

Nikita Blagodarnyy in Data Engineers
источник

NN

Nordic Nordic in Data Engineers
Vsem dobrogo dna. Pomagite pojalusta nayti phisical log file location ,dla Cloudera Mapreduce Job log
источник

AE

Alexey Evdokimov in Data Engineers
даже близко не %)
источник