K
спарк можете через jdbc натравить напрямки
да я потом инструмнет допилю типа скупа
Size: a a a
2019 December 17
K
но на спарке
K
как показала практика оч удобно
K
а не эгенист конкретная таблица
AZ
я вообще щас посмотрел, он же конвертить в WKT CLOB на выгрузке, у вас валится сейчас конкретная джоба?
AZ
попробуйте split.by.amp
AZ
вы же TDCH используете, правильно?
K
попробуйте split.by.amp
его и пробовал
AZ
split.by.hash?
K
там не в хеше дело., там падает сча покажу с чем
AZ
K
господа, я ввел в заблуждение коннектором, другой коннектор используется. cloudera коннектор в терадату
A4
В спарке смотрю чужой код. часто встречаю свойство ._2
это что?
это что?
A4
есть даже метод ._2()
AS
Второй компонент тюпла
A4
а, это скала
A4
разобрался
O
У кого был опыт построения dwh на sql server? Есть компания у кого эта бд везде и они хотят сделать аналитическую бд, объемы данных такие что hadoop или какой-нибудь greenplum будет оверхедом. Плюс у них уже есть свои etl простые, написаны процедуры для аналитики и прочего, вообщем mssql проник в компанию очень прочно. Есть какие-то общие подходы, архитектурные паттерны, встроенные стредства для этой бд?
СХ
У кого был опыт построения dwh на sql server? Есть компания у кого эта бд везде и они хотят сделать аналитическую бд, объемы данных такие что hadoop или какой-нибудь greenplum будет оверхедом. Плюс у них уже есть свои etl простые, написаны процедуры для аналитики и прочего, вообщем mssql проник в компанию очень прочно. Есть какие-то общие подходы, архитектурные паттерны, встроенные стредства для этой бд?
фсрар пробовал, но в итоге отказался от такого варианта, перейдя на выборку по sql серверу и переносу данных в vertica