Size: a a a

2021 September 29

AZ

Anton Zadorozhniy in Data Engineers
Я как раз и говорю, у датабрикса есть очень крупные пользователи с DV и их вроде как все устраивает
источник

ЕГ

Евгений Глотов... in Data Engineers
Skew - это название для "насовать всё в одну партицию"
источник

AS

Andrey Smirnov in Data Engineers
я в таких случаях вспоминаю серию из мультика на аватаре, когда люди узнают что можно перемещать без трубок во рту и заднице
источник

D

Dmitry in Data Engineers
я в курсе. но потом приходишь к этому крупного, а он говорит "вот где карту получали, вот туда и идите" и начинаешь понимать почему устраивает
источник

ЕГ

Евгений Глотов... in Data Engineers
Очень крупному дешевле сказать, что всё устраивает, чем признать, что опять вложили бабки вникуда😆
источник

AS

Andrey Smirnov in Data Engineers
а, а как ручками, есть разные подходы
источник

I

Ilya in Data Engineers
Хорошая аналогия
источник

AZ

Anton Zadorozhniy in Data Engineers
Это уже спекуляции, по этой дороге дальше без меня :)
По моим данным есть ненулевой рынок компаний которых устраивает датабрикс в качестве платформы нормализованного детального слоя, в этом был мой аргумент
источник

ИК

Иван Калининский... in Data Engineers
Я в последнее время думаю, сколько времени у меня займёт сделать в спарке джоин по цене чтения. Естественно, фиксированный. И думаю, что если всё пойдёт хорошо, то к весне могу уложиться, чтобы другие задачи не пострадали.

Весьма возможно, что датабрикс преуспел в этом гораздо раньше
источник

R

Renarde in Data Engineers
//оффтоп который должен быть в Data Jobs, простите меня

А вы с такими идеями присоединяйтесь к нашей команде в Берлине - как раз этим ребята занимаются. Напишите мне в личку если заинтересованы 🙂

//оффтоп который должен быть в Data Jobs закончен
источник

D

Dmitry in Data Engineers
я не спорю что рынок есть, я даже искренне верую что есть целестремленные люди которые вкладывая сотни челокочасов доводят до "устраивает". но это не отменяет шафлинга. никак. и никак не добавляет плюсов DV/archer на платформах не любящих джойн
источник

AZ

Anton Zadorozhniy in Data Engineers
Спарк и КХ неидеально работают с джоинами не потому что джоины не нужны, а потому что это просто большая задача, там весь стек занят, от форматов и стораджа, до метаданных и оптимизатора
источник

D

Dmitry in Data Engineers
в датабриксе абсолютно тот же каталист оптимизатор. абсолютно. никакой принципиальной разницы со спарком не будет
источник

AZ

Anton Zadorozhniy in Data Engineers
Ну тут мы говорим про стек решений, и мб построить детальки в ГП/редшифт/терадате, а потом тащить в датабрикс для витрин для этих компаний (в сумме) дороже чем считать детальки в датабриксе?
источник

D

Dmitry in Data Engineers
так это же не по феншую с точки зрения lighthouse
источник

AZ

Anton Zadorozhniy in Data Engineers
Вы же знаете про бакеты и мап сайд джоины?
источник

D

Dmitry in Data Engineers
и спарковый каталист про них знает. как c++ воркеры тут помогут улучшится принципиально ?
источник

AZ

Anton Zadorozhniy in Data Engineers
Я не говорю про «принципиальное» улучшение, плюсовая реализация к типу джоинов не имеет отношения
источник

AZ

Anton Zadorozhniy in Data Engineers
Что такое феншуй в отношении архитектуры решений?
источник

D

Dmitry in Data Engineers
именно. потому я и смотрю на датабрикс, чуть улучшенный спарк, со всеми спарковыми шероховатостями. ничего принципального другого там никто не обещает. значит и системам с джойн на джойне, джойном погоняет будет сложней, чем инмонвским
источник