Size: a a a

2020 October 20

SD

Serg D. in Data Engineers
Stanislav
Точно в path нет?
hdfs dfs -ls  не показывает
источник

S

Stanislav in Data Engineers
Кхе кхе
источник

S

Stanislav in Data Engineers
А не вставляешь ли ты куда то еще
источник

S

Stanislav in Data Engineers
Таблица пустая?
источник

S

Stanislav in Data Engineers
Или партиции уже есть?
источник

SD

Serg D. in Data Engineers
Stanislav
А не вставляешь ли ты куда то еще
Вот...
источник

SD

Serg D. in Data Engineers
Кажется нашел
источник

SD

Serg D. in Data Engineers
Похоже у меня в параметр по которому партиционирование происходит попадает что-то левое
источник

SD

Serg D. in Data Engineers
Сейчас покопаю. Спасибо
источник

S

Stanislav in Data Engineers
Вечная история :)
источник

SD

Serg D. in Data Engineers
:) ну радует что я не один такой 😁
источник

S

Stanislav in Data Engineers
Без валидации поля партиционирования превращаются в... :)
источник

SS

Sergey Sheremeta in Data Engineers
источник

SD

Serg D. in Data Engineers
Ну я только начинаю постигать best practice этих технологий
источник

EK

Evgeny Kincharov in Data Engineers
Aliaksandr Heleisha
Была ошибка. Забыл версию на 3.1.3 поменять. Но суть не меняется org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Failed to setup local dir C:/hadoop-3.1.3/yarn/local, which was marked as good.       Я выдаю пермишены вручную, но после старта они сбрасываются
У меня такое было когда машина на которой запускаешь в домене и контроллер домена недоступен. В этом случае ломается определение прав на директорию. Можно докопать проваливаясь вниз под отладкой. В моём случае решением было поднять VPN до сети где контроллер домена.
источник

AH

Aliaksandr Heleisha in Data Engineers
Evgeny Kincharov
У меня такое было когда машина на которой запускаешь в домене и контроллер домена недоступен. В этом случае ломается определение прав на директорию. Можно докопать проваливаясь вниз под отладкой. В моём случае решением было поднять VPN до сети где контроллер домена.
Спасибо
источник
2020 October 21

VK

Vladimir K. in Data Engineers
Коллеги, всем привет. Вопрос по Data Vault. У меня в источнике есть таблица, в которой одно поле является ПК, а второе УК. Следовательно, в хаб я помещаю оба этих поля и вычисляю хэш от их конкатенации. Однако, в других таблицах могут быть ФК на одно из этих полей, а не на оба. И когда появляется такая информация, я не могу без костылей в таблице линке вычислить хэш ключ (только по одному полю, которое является ФК). Как быть?
Пока я думаю разбить этот хаб на два (в одном ПК, в другом УК) соединить их линком и туда прицепить сателит. Есть ли более рациональные варианты?
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
а что такое УК в вашем понятии?
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
уникальный?
источник

GP

Grigory Pomadchin in Data Engineers
Vladislav 👻 Shishkov
а что такое УК в вашем понятии?
уголовный кодекс
источник