AG
Без пересоздавания всей таблицы с нуля каждый раз
Size: a a a
2020 September 17
DZ
ну распределенный источник энтропии
DZ
ну или можно начать с uuid
DZ
ну распределенный источник энтропии
ну или хоть какой то общий
AG
Нет, не то. Это если бы мне ключ нужен был уникальный, как PK, но это не то. Видимо, я просто обьясняю криво. Попробую по другому:
Например, есть факт таблица, по которой я строю такую мапу
Я эту мапу сохраняю и делаю по ней таблицу в хайве для дальнейшей работы с ней.
Мне нужно мапу обновлять с новыми данными из фактов.
Как мне это делать без полного чтения фактов и полного чтения мапы чтобы anti join делать?
Например, есть факт таблица, по которой я строю такую мапу
foobar, 1
foo, 2
bar, 3
Я эту мапу сохраняю и делаю по ней таблицу в хайве для дальнейшей работы с ней.
Мне нужно мапу обновлять с новыми данными из фактов.
Как мне это делать без полного чтения фактов и полного чтения мапы чтобы anti join делать?
DZ
все равно не понятно
DZ
upsert нужен?
AG
Дыа, точняк
AG
ООо, ведь у нас дельталейк который умеет в апсерты.... пошел пробовать. Спасибо! 👍
DZ
вот только хотел сказать
DZ
в общем случае я бы делал merge в какой то промежуток времени
DN
Коллеги, ньюпролаб стоит своих денег?
DZ
имхо никакие такие курсы не стоят
DZ
на курсере все и так есть
DZ
на халяву
DN
имхо никакие такие курсы не стоят
Ок понял принял. Яндексовый курс норм?
DZ
норм, но его порезали там или типа того
DZ
плюс там был спик фром май харт
DN
плюс там был спик фром май харт
Ноу проблем виз диз
AB
Коллеги, ньюпролаб стоит своих денег?
некоторым работодатель оплачивает, некоторым нужен волшебный пинок и тд, а кому то норм и по книгам заниматься, за ньюпролаб знаю что там оч толковые преподы