AZ
Я как раз и говорю, у датабрикса есть очень крупные пользователи с DV и их вроде как все устраивает
Size: a a a
2021 September 29
ЕГ
Skew - это название для "насовать всё в одну партицию"
AS
я в таких случаях вспоминаю серию из мультика на аватаре, когда люди узнают что можно перемещать без трубок во рту и заднице
D
я в курсе. но потом приходишь к этому крупного, а он говорит "вот где карту получали, вот туда и идите" и начинаешь понимать почему устраивает
ЕГ
Очень крупному дешевле сказать, что всё устраивает, чем признать, что опять вложили бабки вникуда😆
AS
а, а как ручками, есть разные подходы
I
Хорошая аналогия
AZ
Это уже спекуляции, по этой дороге дальше без меня :)
По моим данным есть ненулевой рынок компаний которых устраивает датабрикс в качестве платформы нормализованного детального слоя, в этом был мой аргумент
По моим данным есть ненулевой рынок компаний которых устраивает датабрикс в качестве платформы нормализованного детального слоя, в этом был мой аргумент
ИК
Я в последнее время думаю, сколько времени у меня займёт сделать в спарке джоин по цене чтения. Естественно, фиксированный. И думаю, что если всё пойдёт хорошо, то к весне могу уложиться, чтобы другие задачи не пострадали.
Весьма возможно, что датабрикс преуспел в этом гораздо раньше
Весьма возможно, что датабрикс преуспел в этом гораздо раньше
R
//оффтоп который должен быть в Data Jobs, простите меня
А вы с такими идеями присоединяйтесь к нашей команде в Берлине - как раз этим ребята занимаются. Напишите мне в личку если заинтересованы 🙂
//оффтоп который должен быть в Data Jobs закончен
А вы с такими идеями присоединяйтесь к нашей команде в Берлине - как раз этим ребята занимаются. Напишите мне в личку если заинтересованы 🙂
//оффтоп который должен быть в Data Jobs закончен
D
я не спорю что рынок есть, я даже искренне верую что есть целестремленные люди которые вкладывая сотни челокочасов доводят до "устраивает". но это не отменяет шафлинга. никак. и никак не добавляет плюсов DV/archer на платформах не любящих джойн
AZ
Спарк и КХ неидеально работают с джоинами не потому что джоины не нужны, а потому что это просто большая задача, там весь стек занят, от форматов и стораджа, до метаданных и оптимизатора
D
в датабриксе абсолютно тот же каталист оптимизатор. абсолютно. никакой принципиальной разницы со спарком не будет
AZ
Ну тут мы говорим про стек решений, и мб построить детальки в ГП/редшифт/терадате, а потом тащить в датабрикс для витрин для этих компаний (в сумме) дороже чем считать детальки в датабриксе?
D
так это же не по феншую с точки зрения lighthouse
AZ
Вы же знаете про бакеты и мап сайд джоины?
D
и спарковый каталист про них знает. как c++ воркеры тут помогут улучшится принципиально ?
AZ
Я не говорю про «принципиальное» улучшение, плюсовая реализация к типу джоинов не имеет отношения
AZ
Что такое феншуй в отношении архитектуры решений?
D
именно. потому я и смотрю на датабрикс, чуть улучшенный спарк, со всеми спарковыми шероховатостями. ничего принципального другого там никто не обещает. значит и системам с джойн на джойне, джойном погоняет будет сложней, чем инмонвским