Size: a a a

2021 September 29

UD

Uncel Duk in Data Engineers
Дорогие
источник

UD

Uncel Duk in Data Engineers
Железо дешевле если разраб получает 500к в год чистыми
источник

ИК

Иван Калининский... in Data Engineers
Как же анкор? Сейчас ещё и ActivityStream появился. Походу рано закапывать нормализацию
источник

AZ

Anton Zadorozhniy in Data Engineers
Я буду только рад если где-то по маркетинговому хайпу закопают идею нормализации деталек, такой джоб секьюрити для детей и внуков, и я сразу знаю чему их учить)
источник

ИК

Иван Калининский... in Data Engineers
Подход практичный и саркастичный хД
источник

Н

Николай Дубовик... in Data Engineers
Переделал табличку.

Меня интересует именно коректность структуры, могут быть где-то левые атрибуты, но это не суть.

Alexey, дал несколько советов, но тоже не совсем понтяно.

Если делать только ключ order_id, то он не будет уникален, т.к в отдном заказе может быть несколько работ и несколько исполнителей. Получается, что ключ должен быть составным.
источник

Н

Николай Дубовик... in Data Engineers
Хз кому верить все по разному говорят.
источник

AP

Anton Polyakov in Data Engineers
так сделай связку r_work_order и r_worker_order many-to-one?
источник

BT

Boris Tyshkevich in Data Engineers
чего-то я не понял,  кто тут хайп - анкор с DV или старые добрые кимбал с инмоном?   Оно конечно круто быть яндексом и держать команду не только для ять и кх, но и для дотачивания гринплюма.  Но при чем тут все остальные?  Посмотрите последнее выступление представителя яндекс-го на питерском хайлоаде.  На чем делать эти бесконечные джойны?
Так что обычным компаниям сейчас в самый раз будет clickhouse с кимбаловской звездочкой.
источник

Н

Николай Дубовик... in Data Engineers
Я адекватный, но что значит r_work_order и r_worker_order?
источник

Н

Николай Дубовик... in Data Engineers
many-to-one  понятно что такое
источник

AZ

Anton Zadorozhniy in Data Engineers
А из чего строить звездочки в КХ?
источник

BT

Boris Tyshkevich in Data Engineers
из словарей?
источник

AZ

Anton Zadorozhniy in Data Engineers
В смысле напрямую из источника, или делать с данными из источника что-то перед тем как в звезду положить (суррогатники, связи затаймстемпить, такое)
источник

BT

Boris Tyshkevich in Data Engineers
напрямую из источника - это уже как-бы перебор.  ETL какой-то все-таки надо делать, как без него.  А дальше, да - все как завещали - суррогатники, факты, размерности.  С денормализацией в разумных пределах.
источник

AZ

Anton Zadorozhniy in Data Engineers
Ну то есть это независимые витрины, процессы наливки витрин надо менять каждый раз когда источники меняются, правильно?
источник

BT

Boris Tyshkevich in Data Engineers
ну а как?  Что-то поменять все равно придется.
источник

AZ

Anton Zadorozhniy in Data Engineers
Например можно сделать детальный нормализованный слой, и менять процесс наливки из источника в детальки, а процессы построения витрин меняются только для новой функциональности
источник

BT

Boris Tyshkevich in Data Engineers
можно.  Но менять все равно придется.  Оно как бы и неплохо даже, непонято просто в чем тут пойнт.  Вот такая внутренняя структура ETL/ELT процессов.   Тоже жрет диски. Наверное можно попробовать съэкономить на нормализации - тоже конечно путь.  А можно и на колонках и компрессии.
источник

AZ

Anton Zadorozhniy in Data Engineers
Прекрасно, я спокоен за своих потомков)
источник