AB
Или на питоне?
Size: a a a
2020 September 17
DN
А на скале пишешь?
пифтон, но скала щупал немного
AB
Ну там для спарка скала апи самое френдли, после питона быстро в куришь 👍👍
2020 September 18
С
Коллеги DE, а кто как хранит в хадупчике видосики и аудиозаписи?
И хранит ли вообще?
И хранит ли вообще?
TT
Хранили в s3 самоподнятом
Резали на куски а не целиком фильмы
Резали на куски а не целиком фильмы
TT
В hdfs не встречал
AZ
Сюткин
Коллеги DE, а кто как хранит в хадупчике видосики и аудиозаписи?
И хранит ли вообще?
И хранит ли вообще?
SequenceFile, Avro (это размеченные), ну а сырые просто в формате источника
SS
коллеги, как можно сделать в спарке джойн к одной и той же маленькой таблице несколько раз?
так ругается на имплисит кросс джойн
так ругается на имплисит кросс джойн
val enrichedDF = factDF.alias("fact").
join(broadcast(peopleDF.alias("customer_dim")),
factDF("cust_id") === peopleDF("id"), "left").
join(broadcast(peopleDF.alias("vendor_dim")),
factDF("vend_id") === peopleDF("id"), "left").
selectExpr( "customer_dim.name as customer_name",
"vendor_dim.name as vendor_name",
"fact.*" )LS
Сюткин
Коллеги DE, а кто как хранит в хадупчике видосики и аудиозаписи?
И хранит ли вообще?
И хранит ли вообще?
Недавно конфа была по видео стримам от ОККО яндекс, play button называется от Яндекса там можно глянуть
DZ
коллеги, как можно сделать в спарке джойн к одной и той же маленькой таблице несколько раз?
так ругается на имплисит кросс джойн
так ругается на имплисит кросс джойн
val enrichedDF = factDF.alias("fact").
join(broadcast(peopleDF.alias("customer_dim")),
factDF("cust_id") === peopleDF("id"), "left").
join(broadcast(peopleDF.alias("vendor_dim")),
factDF("vend_id") === peopleDF("id"), "left").
selectExpr( "customer_dim.name as customer_name",
"vendor_dim.name as vendor_name",
"fact.*" )Ну я бы в один джоин сделал. В чем проблема?
DZ
Case when для имени
SS
Case when для имени
туплю... можете показать пример схематично?
DZ
коллеги, как можно сделать в спарке джойн к одной и той же маленькой таблице несколько раз?
так ругается на имплисит кросс джойн
так ругается на имплисит кросс джойн
val enrichedDF = factDF.alias("fact").
join(broadcast(peopleDF.alias("customer_dim")),
factDF("cust_id") === peopleDF("id"), "left").
join(broadcast(peopleDF.alias("vendor_dim")),
factDF("vend_id") === peopleDF("id"), "left").
selectExpr( "customer_dim.name as customer_name",
"vendor_dim.name as vendor_name",
"fact.*" )SELECT
CASE WHEN vend_id = id
THEN name
END vend_name,
CASE WHEN cust_id = id
THEN name
END cust_name
FROM fact
LEFT JOIN people ON cust_id = id OR vend_id = id
CASE WHEN vend_id = id
THEN name
END vend_name,
CASE WHEN cust_id = id
THEN name
END cust_name
FROM fact
LEFT JOIN people ON cust_id = id OR vend_id = id
SS
хммм, ораклоид внутри меня бьется в истерике
DZ
а чо?
DZ
я б тоже двумя джоинами сделал наверное. но увы
DM
@ssheremeta в чем проблема может быть в примере @zuynew ? Просто интересно, я бы тоже так сделал
DZ
надо планы посмотреть
DZ
в оракале
ФМ
коллеги, как можно сделать в спарке джойн к одной и той же маленькой таблице несколько раз?
так ругается на имплисит кросс джойн
так ругается на имплисит кросс джойн
val enrichedDF = factDF.alias("fact").
join(broadcast(peopleDF.alias("customer_dim")),
factDF("cust_id") === peopleDF("id"), "left").
join(broadcast(peopleDF.alias("vendor_dim")),
factDF("vend_id") === peopleDF("id"), "left").
selectExpr( "customer_dim.name as customer_name",
"vendor_dim.name as vendor_name",
"fact.*" )дело в обращении
peopleDF("id"), вот такое работает.join(broadcast(peopleDF.alias("customer_dim")), factDF("cust_id") === $"customer_dim.id", "left") .join(broadcast(peopleDF.alias("vendor_dim")), factDF("vend_id") === $"vendor_dim.id", "left")