AL
Size: a a a
2020 February 04
AL
@krivdathetriewe спасибо!
K
у нас для этого солр)
Ну тогда можно брать данные и класть в паркет раз в час или сутки
AL
Ну тогда можно брать данные и класть в паркет раз в час или сутки
ага, понял, спасибо!
DG
А накидайте плз, какие вы знаете способы борьбы со skew (skew join) в данных и примеры того, как это делают популярные движки в _автоматическом_ или _полуавтоматическом_ режиме?
AG
Самый простой это добавить поле с номером строки
AG
Остальное зависит от кейса. Нужно ли джойниться со скювнутым полем?
AG
Видел видос со спарк саммита где обсуждались способы борьбы со скю. Попробую найти
А
в хайв можно указать skew Значение при создании таблицы https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-SkewedTables
А
создаются отдельные дирректории под skew и обрабатываются отдельно, но разницы в скорости работы на тестовых замерах не увидел(
DG
создаются отдельные дирректории под skew и обрабатываются отдельно, но разницы в скорости работы на тестовых замерах не увидел(
Ага. Я читал еще про Pig. Там например есть возможность сэмплировать данные первым проходом, чтобы понять распределение. А затем ключи, которых сильно больше рандомно рассылаются по редьюсерам.
DG
Видел видос со спарк саммита где обсуждались способы борьбы со скю. Попробую найти
Спасибо, но это не совсем то. Как бороться в ручную понятно. Интереснее сумел ли кто-то сделать это в авоматическом режиме, пусть и с трейдофами.
AG
Спасибо, но это не совсем то. Как бороться в ручную понятно. Интереснее сумел ли кто-то сделать это в авоматическом режиме, пусть и с трейдофами.
Датабрикс умеет
DG
Какие то пейперы/техтоки не попадались от них?
GP
Какие то пейперы/техтоки не попадались от них?
в основном маркетинг пейперы/статьи/толки попадаются
AZ
Какие то пейперы/техтоки не попадались от них?
если про чистую теорию речь то способы борьбы известны давно и реализованы в самых зрелых движках: статистика с гистограммами по ключам (и/или продвинутый сэмплинг перед расчетом плана), выделение loner values, разделение на два джоина с разными типами для loners/regular ключей..
AZ
если вас конкретные публикации интересуют - поищите на acm, в подшивках The VLDB Journal за 90-ые
2020 February 05
ММ
Господа, приветствую. Как можно на уровне конфига спарка принудительно дробить файлы в hdfs'е по нужному мне размеру? (repartiton не подходит, df слишком большой, просто ресурсов не хватает)
ME
Размер блоков задать?
ММ
тоже нельзя